当前位置:网站首页 > 网站优化知识 > 什么是蜘蛛陷阱?怎么样避免十大蜘蛛陷阱?

什么是蜘蛛陷阱?怎么样避免十大蜘蛛陷阱?

一、什么是蜘蛛陷阱?


常见的蜘蛛陷阱

蜘蛛陷阱是什么


蜘蛛陷阱是指有一些网站设计技术对搜索引擎来说很不友好,不利于蜘蛛爬行和抓取,这些技术就被称为蜘蛛陷阱。

目前很多浏览器在设计的时候考虑过这些因素,所以可能网页界面看起来非常正常,但这些蜘蛛陷阱会对蜘蛛程序造成障碍。

如果消除这些蜘蛛陷阱,可以使蜘蛛程序收录更多的网页。

SEO工作中,网页被收录是基础工作,但对于搜索引擎来讲,极少情况会100%收录你网站的所有网页,搜索引擎的爬虫程序设计的再精巧,也难以逾越所谓的蜘蛛陷阱。


二、怎么样避免十大蜘蛛陷阱


怎么样避免蜘蛛陷阱

怎么样避免蜘蛛陷阱


蜘蛛陷阱1、采用Session ID的页面

有的销售类网站为了分析用户的某些信息会采用会话ID来跟踪用户,每个用户访问网站的时候,都会增加一次Session ID而加入到URL中。

搜索引擎的每一次访问也会被当成一个新的用户,URL中会加上一个不同的Session ID,这样搜索引擎蜘蛛每次来访问时所得到的的同一个页面的URL将不一样,连带着不一样的Session ID,导致产生大量复制的内容,这是最常见的蜘蛛陷阱之一。

建议跟踪用户访问应该使用cookies,而不要生成Session ID,或者程序判断访问者是搜索引擎蜘蛛还是普通用户,如果是搜索引擎蜘蛛,则不生成Session ID.

蜘蛛陷阱2、喜欢采用Flash

很多企业都喜欢采用Flash,因为Flash本身可以做很多种效果,尤其是放在导航上视觉效果强,所以不少企业站喜欢做个Flash来展示自己公司的实力,文化,产品等,甚至一些企业网站的网站首页就是一个Flash,这就构成了蜘蛛陷阱。

搜索引擎抓取的HTML代码只有一个连向Flash文件的链接,没有其他文字内容,就无法读取Flash文件中的文字内容和链接,对搜索引擎来说并不是很友好。

建议非要加Flash效果,要在首页加一个通往HTML版本的链接,这个链接在Flash文件之外的HTML代码中,这样搜索引擎跟踪这个链接就能抓取后面的HTML版本页面。

蜘蛛陷阱3、各种形式的跳转

301重定向对每个SEO人员来说都很熟悉,这是对搜索引擎有利的,主要用于网址更改转向,把页面权重从旧网址转移到新网址。

但是其他转向方式都对蜘蛛爬行不利,比如302跳转、JavaScript跳转、Flash跳转、Meta Refresh跳转,蜘蛛很反感这些跳转。

因此除非万不得已,尽量不要使用301转向以外的跳转。

蜘蛛陷阱4、使用框架结构

早起框架结构使用的很泛滥,因为方便更新维护网站的页面,但现在的网站很少使用框架了。

因为现在随着各大CMS系统的开发问世,网站维护相对也越来越简单,再者框架存在也不利于搜索引擎抓取。

蜘蛛陷阱5、使用动态的URL

动态的URL指的是URL中加入太多的符号或参数的URL。

目前随着搜索引擎技术的不断发展,搜索引擎抓取动态URL没有任何问题,但从搜索引擎的角度来看,带有过多参数的动态URL还是不利于搜索引擎蜘蛛爬行,也不利于用户体验,尽量避免。

静态哪怕是伪静态URLl相对来说都比动态URL要好。(请参考:如何静态化URL)

蜘蛛陷阱6、JavaScript链接

有些网站喜欢使用JavaScript脚本生成导航系统,因为JavaScript可以制造出很多吸引人的视觉效果,但这也是比较严重的蜘蛛陷阱之一。

为了提高网站对搜索引擎的友好度并使网页能够更好的利于蜘蛛爬行,建议使用CSS,同样可以做到很好的视觉效果,尽量不要采用JavaScript。

当然有些站长不希望被收录的页面,不希望传递权重的链接,还是可以使用JavsScript加上robots文件阻止搜索引擎爬行抓取。

蜘蛛陷阱7、网站要求登录

有些网站内容放在需要用户登录之后才能看到的会员区域,这部分内容搜索引擎无法看到。

蜘蛛不能填写用户名、密码,也不会注册。

因此要尽量避免出现登录的程序。

蜘蛛陷阱8、强制使用Cookies

有些网站为了实现某种功能,如记住用户登录信息、跟踪用户访问路径等,强制用户使用Cookies,用户浏览器如果没有启动Cookies,页面显示就不正常。

对搜索引擎蜘蛛来说,相当于一个禁用了Cookies的浏览器,那么搜索引擎也就无法正常访问。

蜘蛛陷阱9、robots.txt书写错误和各种各样的作弊手法

比如说隐藏文字,隐藏链接等,采用伪装网页在判断来访者是蜘蛛还是普通浏览器者而显示不同的网页,使用默认错误的404页面等,同样会给蜘蛛带来爬行障碍。

蜘蛛陷阱10、采用强制注册或登录才能访问的页面

这种页面对于蜘蛛来说就相当为难了,因为蜘蛛无法提交注册,更无法输入用户名和密码登录查看内容,对于蜘蛛来说我们直接点击查看到的内容也应该是蜘蛛所能看到的内容。



版权声明:凡本网站原创作品,未经允许,不得转载,转载请注明“来源:搜我点上海网站优化公司”。

违反上述声明者将追究其法律责任。

阅读“什么是蜘蛛陷阱?怎么样避免十大蜘蛛陷阱?”的人还阅读了 上一篇:网站结构的分类有哪些? 下一篇:如何开通网盟推广账户?网盟推广账户的结构是怎样的?
网站优化相关文章