...索引擎通过蜘蛛这一工具首先建立起对网站的爬取和选择性的抓取，百度有百度蜘蛛（Baiduspider），谷歌有谷歌机器人（Googlebot），360有360蜘蛛（360Spider），各大搜索引擎的蜘蛛名称大全都可以在百度上查询，其实名字各不同，但是各大蜘蛛就是一个抓取程序。
基于284个网页-相关网页
有时经常我们会需要能够找到一种方法来验证搜索引擎提供的抓取机器人（Googlebot）是不是正宗的。毕竟，任何垃圾制造者都可以用Googlebot来命名他们的抓取机器人，并声称自己是谷歌的。
基于176个网页-相关网页
以上来源于: WordNet
When was the last time Googlebot crawled your site
Google机器人最后一次爬行你的网站的时间
You can test whether a directory has been blocked correctly using either the Fetch as Googlebot or test robots.txt features in Webmaster Tools.
你可以使用网站管理员工具中的“像Googlebot一样抓取”或者“测试robots . txt”功能来检查目录是否被正确拦截。
The post advises website owners who are blocking Google's search bot software known as Googlebot from crawling their RSS/Atom feeds to unblock it via their robots.txt file.
该文章建议阻止Googlebot （Google的搜索机器人软件）爬虫收录网站RSS/Atom feeds的站长们通过robots.txt文件解除爬虫限制。
应用推荐