百度用来抓取网页内容的程序,叫做Baiduspider(百度蜘蛛),抓取其他内容的蜘蛛,则是新的名字:
百度各个产品使用不同的user-agent:
产品名称 | 对应user-agent |
---|---|
无线搜索 | Baiduspider |
图片搜索 | Baiduspider-image |
视频搜索 | Baiduspider-video |
新闻搜索 | Baiduspider-news |
百度搜藏 | Baiduspider-favo |
百度联盟 | Baiduspider-cpro |
商务搜索 | Baiduspider-ads |
网页以及其他搜索 | Baiduspider |
那么,其他搜索引擎的蜘蛛是什么?
谷歌:googlebot 百度:baiduspider MSN:MSNbot Yahoo:Slurp
上一篇:如何选择长尾关键词?
下一篇:营销网站
版权所有 深圳市金猫数据网络有限公司 粤ICP备13059455号
公司地址:深圳市龙华区龙华街道油松科技大厦B栋419
电 话:13715363967 公司邮箱:jm3q@jm3q.com
Sitemap.xml 粤公网安备 44030902000741号