这种限制称为机器人排除标准（robot exclusion standard）或是机器人排除协议（robot exclusion protocol），或是robot．txt。
基于12个网页-相关网页
standard for robot exclusion 机器人互斥标准 ; 标准
A Standard for Robot Exclusion Robot排除标准
robot exclusion standard
机器人排除标准
以上为机器翻译结果，长、整句建议使用 人工翻译 。
Does Ask observe the Robot Exclusion Standard?
确实问遵守机器人排除标准吗？
youdao
应用推荐
模块上移
模块下移
不移动