标准档案 standard file 机器人互斥标准 standard for robot exclusion 产品模型数据交换标准 standard for the exchange of product model data,STEP ..
基于8个网页-相关网页
现在Robot.txt所采用的描述格式一般都遵循Martijn Koster所制定的Robot排他标准(Standard for Robot Exclusion,SRE),在SRE中主要定义了User-agent和Disallow两个描述域,用来标识对特定Robot的禁...
基于2个网页-相关网页
A Standard for Robot Exclusion Robot排除标准
应用推荐