robots协议即网络爬虫排除标准（robots exclusion protocol），也称为爬虫协议，搜索引擎根据网站设置的robots协议抓取可以被抓取的页面，对于不可以被抓取的页面，搜索引擎不抓取。
基于114个网页-相关网页
网络爬虫排除标准
Web crawler exclusion criteria
以上为机器翻译结果，长、整句建议使用 人工翻译 。
应用推荐
模块上移
模块下移
不移动