各大搜索引擎爬虫程序名称

通常搜索引擎抓取网页的方式就是通过搜索引擎的特定程序工具,去访问、索引互联网上的各个网站内容。
这类程序被称为:搜索机器人(Robot)、网络蜘蛛(spider)、爬虫(Web Crawler)等等。
而各大搜索引擎的爬虫名称如下:
Google
Googlebot:Google对一般网页的索引程序。
Googlebot-Mobile:Google对于移动设备,如手机网页的索引程序。
Googlebot-Image:Google专门用来抓取图片的程序。
Mediapartners-Google:为放置了Google Adsense广告联盟代码的网站使用的专用抓取程序,只针对放置了Google Adsense代码的网站。这个爬虫的作用是专门抓取Adsense广告内容。
Adsbot-Google:这是Google专门为Google Adwords客户设计的蜘蛛,如果你使用了Google的Adwords服务,那么这个蜘蛛就会派出这个蜘蛛来衡量放置了你广告的网站的质量。
百度
Baiduspider:百度的综合索引蜘蛛。
雅虎
Yahoo! Slurp:雅虎的综合索引爬虫程序。
Yahoo!-AdCrawler:雅虎专门为Yahoo!搜索引擎广告开发的专用蜘蛛。
有道
YodaoBot:有道搜索引擎综合索引蜘蛛
腾讯SOSO
Sosospider:腾讯SOSO综合索引蜘蛛
搜狗
sogou spider:搜狗综合索引蜘蛛
MSN
MSNBot:Live综合索引蜘蛛
对于搜索引擎的蜘蛛,可以通过robots.txt文件进行一定访问规范和限制。
而且并非所有的机器人都是无害的,有一些非法机器人伪装成主流搜索引擎漫游器对网站大量遍历,并且不遵循robots.txt规范,会严重拖垮网站性能。因此,网站管理员需要验证每个机器人身份是否合法。
建议通过DNS反向查询找出搜索引擎机器人IP地址对应的主机名称;用主机名查找IP地址以确认该主机名与IP地址匹配。
如:crawl-66-249-66-1.googlebot.com为google爬虫的主机名称。

转载请注明:刘思扬-思扬小站 » 各大搜索引擎爬虫程序名称

分享到

发表评论

分享:

支付宝

微信