web crawler
...因素超过200种（谷歌自称），其中包括页面等级、标题、元标签、网站内容，以及域名的年龄等。 网络爬虫或网络蜘蛛（Web Crawler）也简称为爬虫或蜘蛛，代表搜索引擎在网路上进行浏览，目的是发现新的链接和页面，这是进行索引的第一个环节。
基于2093个网页-相关网页
... 障眼法(Cloaking) 网络爬虫或网络蜘蛛(Spider) 重复内容(DuplicateContent) ...
基于252个网页-相关网页
网络爬虫或者网络蜘蛛 Web Crawler
·2,447,543篇论文数据，部分数据来源于NoteExpress
每个搜索引擎都有自己爬行网页的自动化程序，叫做“网络蜘蛛（web spider）”或“网络爬虫（web crawler）”。
Each search engine has its own automated program called a "web spider" or "web crawler" that crawls the web.
youdao
应用推荐
模块上移
模块下移
不移动