这种限制称为机器人排除标准（robot exclusion standard）或是机器人排除协议（robot exclusion protocol），或是robot．txt。
基于12个网页-相关网页
机器人排除标准
Robot exclusion criteria
以上为机器翻译结果，长、整句建议使用 人工翻译 。
确实问遵守机器人排除标准吗？
Does Ask observe the Robot Exclusion Standard?
youdao
应用推荐
模块上移
模块下移
不移动