这种限制称为机器人排除标准(robot exclusion standard)或是机器人排除协议(robot exclusion protocol),或是robot.txt。
基于12个网页-相关网页
机器人排除标准
Robot exclusion criteria
以上为机器翻译结果,长、整句建议使用 人工翻译 。
确实问遵守机器人排除标准吗?
Does Ask observe the Robot Exclusion Standard?
youdao
应用推荐
模块上移
模块下移
不移动