... 机器人协议（Robots.txt） 网络爬虫或网络spider（Web Crawler） 复制内容（Duplicate Content） ...
基于1个网页-相关网页
网络爬虫或网络蜘蛛 Web Crawler ; Spider
网络爬虫或者网络蛛蛛 Web Crawler
网络爬虫或者网络蜘蛛 Web Crawler
网络爬虫或网络
Web crawlers or networks
以上为机器翻译结果，长、整句建议使用 人工翻译 。
每个搜索引擎都有自己爬行网页的自动化程序，叫做“网络蜘蛛（web spider）”或“网络爬虫（web crawler）”。
Each search engine has its own automated program called a "web spider" or "web crawler" that crawls the web.
youdao
应用推荐
模块上移
模块下移
不移动