联系我们

百度关键词seo:Baiduspider抓取过程中涉及的网络协议

发布于:[2015-06-11 18:53:06]来源:seo优化:网站优化 点击:196次

百度关键词seo,Baiduspider抓取过程中涉及的网络协议

      百度关键词seo:Baiduspider抓取过程中涉及的网络协议主要有以下几种:

     http协议:超文本传输协议,是互联网上应用最为广泛的一种网络协议,客户端和服务器端请求和应答的标准。客户端一般情况是指终端用户,服务器端即指网 站。终端用户通过浏览器、蜘蛛等向服务器指定端口发送http请求。发送http请求会返回对应的httpheader信息,可以看到包括是否成功、服务 器类型、网页最近更新时间等内容。

     https协议:实际是加密版http,一种更加安全的数据传输协议。

     UA属性:UAuser-agent,是http协议中的一个属性,代表了终端的身份,向服务器端表明我是谁来干嘛,进而服务器端可以根据不同的身份来做出不同的反馈结果。

     robots协议:robots.txt是搜索引擎访问一个网站时要访问的第一个文件,用以来确定哪些是被允许抓取的哪些是被禁止抓取的。 robots.txt必须放在网站根目录下,且文件名要小写。详细的robots.txt写法可参考 http://www.robotstxt.org 百度严格按照robots协议执行,另外,同样支持网页内容中添加的名为robotsmeta 签,indexfollownofollow等指令。

欢迎转载【百度关键词seo:Baiduspider抓取过程中涉及的网络协议】,请注明转自:上海seo优化公司 http://www.seo-999.com/article/20150603185523.html

业务咨询热线:1500-196-1525

客户咨询电话:15001961525

售后服务电话:18516214198

监督投诉电话:15001961525

E-maiI:wbb@sh185.com

公司地址:上海.闵行区.莘朱路918号

微信公众二维码

企乐网络公众微信二维码