联系我们

百度优化:怎么符合百度抓取友好性

发布于:[2015-06-04 18:36:22]来源:seo优化:网站优化 点击:185次

百度优化,怎么符合百度抓取友好性

       百度优化:怎么符合百度抓取友好性?互联网资源庞大的数量级,这就要求抓取系统尽可能的高效利用带宽,在有限的硬件和带宽资源下尽可能多的抓取到有价值资源。这就造成了另一个问题,耗费被抓网站的带宽造成访问压力,如果程度过大将直接影响被抓网站的正常用户访问行为。因此,在抓取过程中就要进行一定的抓取压力控制,达到既不影响网站的正常用户访问又能尽量多的抓取到有价值资源的目的。


      通常情况下,最基本的是基于ip的压力控制。这是因为如果基于域名,可能存在一个域名对多个ip(很多大网站)或多个域名对应同一个ip(小网站共享ip)的问题。实际中,往往根据ip及域名的多种条件进行压力调配控制。同时,站长平台也推出了压力反馈工具,站长可以人工调配对自己网站的抓取压力,这时百度spider将优先按照站长的要求进行抓取压力控制。

      对同一个站点的抓取速度控制一般分为两类:其一,一段时间内的抓取频率;其二,一段时间内的抓取流量。同一站点不同的时间抓取速度也会不同,例如夜深人静月黑风高时候抓取的可能就会快一些,也视具体站点类型而定,主要思想是错开正常用户访问高峰,不断的调整。对于不同站点,也需要不同的抓取速度。

欢迎转载【百度优化:怎么符合百度抓取友好性】,请注明转自:上海seo优化公司 http://www.seo-999.com/article/20150603183832.html

业务咨询热线:1500-196-1525

客户咨询电话:15001961525

售后服务电话:18516214198

监督投诉电话:15001961525

E-maiI:wbb@sh185.com

公司地址:上海.闵行区.莘朱路918号

微信公众二维码

企乐网络公众微信二维码