怎样避免网站页面被蜘蛛重复的抓取

发布时间:2021-12-04 16:10:16 作者:admin 来源:本站 浏览量(111) 点赞(29)
摘要:怎样避免网站页面被蜘蛛重复的抓取

我们要如何避免网站页面被蜘蛛重复的抓取呢?下面上海网站建设给大家介绍几点。

   一、通过robots文件来把这个页面来屏蔽掉,具体做法语法格式:

  Disallow: /page/ #限制抓取Wordpress分页如查你的网站有需要也可以把下面的语句一并写上,避免出现过多的重复页面。 * Disallow: /category/*/page/* #限制抓取分类的分页 * Disallow:/tag/ #限制抓取标签页面 * Disallow: */trackback/ #限制抓取Trackback内容 * Disallow:/category/* #限制抓取所有分类列表 什么是蜘蛛,也叫爬虫,其实是一段程序。这个程序的功能是,沿着你的网站的URL一层层的读取一些信息,做简单处理后,然后返馈给后台服务器进行集中处理。我们必需了解蜘蛛的喜好,对上海网站优化才能做到更好。接下来我们谈谈蜘蛛的工作过程。

  二、蜘蛛的时间

  网站的内容经常变化的,不是更新就是改模板。蜘蛛也是不断地更新和抓取网页的内容,蜘蛛的开发者会为爬虫设定一个更新周期,让其按照指定的时间去扫描网站,查看对比出哪些页面是需要进行更新工作的,诸如:主页的标题是否有更改,哪些页面是网站新增页面,哪些页面是已经过期失效的死链接等等。一个功能强太的搜索引擎的更新周期是不断优化的,因为搜索引擎的更新周期对搜索引擎搜索的查全率有很大影响。不过如果更新周期过长,便会使搜索引擎的搜索精确性和完整性降低,会有一些新生成的网页搜索不到;若更新周期太过于短,则技术实现难度加大,而且会对带宽、服务器的资源造成浪费,所以网站做好后期的网站维护很重要。

  三、蜘蛛遇到动态页面

  蜘蛛在处理动态网页信息是面临的难题。动态网页,是指由程序自动生成的页面。现在互联网发达程序开发脚本语言越来越多,自然开发出来的动态网页类型也越来越多,如jspaspphp等等一些语言。蜘蛛很难处理这些脚本语言生成的网页。优化人员在优化的时候,总是强调尽量不要采用JS代码,蜘蛛要完善处理这些语言,需要有自己的脚本程序。在进行网站优化,减少一些不必要的脚本代码,以便蜘蛛爬行抓取,少导致page页面的重复抓取!

  四、蜘蛛不重复抓取策略

  网站的网页数量非常大,蜘蛛进行抓取是一个很大的工程,网页的抓取需要费非常多线路带宽、硬件资源、时间资源等等。如果经常对同一个网页重复抓取不但会大大的降低了系统的效率,还造成精确度不高等问题。通常的搜索引擎系统都设计了不重复进行上海网页设计抓取的策略,这是为了保证在一定时间段内只对同一个网页进行一次抓取。

上一条:聊聊百度算法改进那点事 
下一条:病态网站如何才能恢复健康
二维码

扫一扫,关注我们

感兴趣吗?

欢迎联系我们,我们愿意为您解答任何有关网站/小程序/公众号疑难问题!

您身边的【互联网建设专家】

搜索千万次不如咨询1次

主营项目:网站制作、营销型企业官网建设、商城/分销系统开发、
微信公众号开发、H5制作、微信/支付宝小程序开发、APP开发等

立即咨询 微信:qianxia39