SEO教程分类
SEO最新文章
SEO教程标签
SEO教程首页 / SEO基础 / ROBOTS文件基础知识

ROBOTS文件基础知识

发布时间:2020-12-03 02:17:45      浏览:133

一、ROBOTS概念

ROBOTS是一个协议,告诉搜索引爬虫什么可以抓取,什么不可以抓取。搜索引擎不产生内容,会派出大量的程序爬虫来抓取网络资源,如果我们网站有些内容不希望被搜索引擎蜘蛛访问抓取,有一些内容希望被抓取,所以我们写一个规则告诉搜索引擎遵守规则。相当于一个公司门口的公告,什么可以进,什么人不可以进。

ROBOTS是一个txt文件,存储于网站根目录下。搜索引擎蜘蛛到达网站首先就会查看robots文件内容。

二、ROBOTS作用

屏蔽无用的信息,节省服务器的带宽资源,提升收录。

三、如何生存ROBOTS文档

桌面建立一个robots.txt,自己书写内容,上传根目录。

可以利用百度站长平台、seo工具自动生成一个robots文档,之后上传根目录。

本文地址:http://www.seodaxue.com/292.html 标签:
猜你喜欢SEO文章:
欢迎对SEO大学SEO教程表达您的观点