SEO教程分类
SEO最新文章
SEO教程标签
网站首页 / SEO结构优化教程 / 避免网站蜘蛛陷阱8个方面

避免网站蜘蛛陷阱8个方面

发布时间:2020-09-25 04:41:47      浏览:82

蜘蛛陷阱是指阻止蜘蛛程序爬行网站的设计技术,对搜索引擎来说很不友好,如flash、框架等。

1 Flash。在网页的某一小部分使用Flash增强视觉效果是很正常的,对搜索引擎抓取和收录没有影响。但是如果网站整个首页就是一个大的Flash文件,这就构成了蜘蛛陷阱。搜索引擎是无法读取Flash文件中的文字内容和链接的。
有的网站在首页放一个Flash动画片头,用户访问网站看完片头后被转向到真正的HTML版本的文字网站首页。搜索引擎不能读取Flash,也没办法从动画跟踪到HTML版本页面。
如果Flash效果是必需的,至少也需要在首页加上一个通往HTML版本的链接。这个链接应该是在Flash文件之外的HTML代码中,搜索引擎跟踪这个链接可以抓取后面的HTML版本页面。

2.Session ID。有些网站使用Session ID跟踪用户访问,每个用户访问网站时都会生成独特唯一的Session ID,加在URL中,对搜索引擎的访问也当新用户加上一个不同的Session ID,是最常见的蜘蛛陷阱之一。
搜索引擎遇到Session ID,成功判断出Session ID就可以去掉Session ID,收录正常URL,判断不出来,要么不愿意收录,要么收录多个带有不同Session ID的URL,内容却完全一样,形成大量复制内容,这两种情况对网站优化都不利。
通常建议跟踪用户访问应该使用cookies而不要生成Session ID,或者让程序判断访问者是蜘蛛还是普通用户,如果是搜索引擎蜘蛛,则不生成Session ID。

3.网页跳转。搜索引擎对301以外转向比较敏感,如302跳转、JavaScrIPt跳转、Flash跳转、Meta Refresh跳转。如果必须转向,301转向是搜索引擎推荐的用于网址更改的转向,可以把页面权重从旧网址转移到新网址。其他转向方式都对蜘蛛爬行不利,尽量不要使用301转向以外的跳转。

4.框架结构。不利于搜索引擎抓取,搜索引擎也无法判断框架中的页面内容应该属于主框架,还是属于框架调用的文件。网站设计建议不使用框架结构。

5.动态URL。动态URL指的是数据库驱动的网站所生成的、带有问号、等号及参数的网址。一般来说动态URL不利于搜索引擎蜘蛛爬行,如果参数多,url长,应该尽量做伪静态规范url。

6.JavaScript链接。由于JavaScript可以创造出很多吸引人的视觉效果,有些网站喜欢使用JavaScript脚本生成导航系统。这也是比较严重的蛛蛛陷阱之一。建议链接必须使用最简单标准的HTML链接,尤其是导航系统。用CSS做导航系统一样可以实现很多视觉效果。

7.网站要求登录。有些网站内容放在需要用户登录之后才能看到的会员区域,这部分内容搜索引擎无法看到。蜘蛛不能填写用户名、密码,也不会注册。

8.强制使用Cookies。有些网站为了实现某种功能,如记住用户登录信息、跟踪用户访问路径等,强制用户使用Cookies,用户浏览器如果没有启用Cookies,页面显示不正常,强制使用Cookies只能造成搜索引擎蜘蛛无法正常访问。


本文地址:http://www.seodaxue.com/153.html
猜你喜欢:
欢迎评论或表达您的观点