因此从日志中 识别代理（Agent）或网络爬虫（Crawler or Spider）对站 点的访问是必须的。 正规化URI（Uniform Resource Identifier） ：由于各种默 认情况的存在，需要进一步正规化URI。
基于12个网页-相关网页
crawler or spider
爬行动物或蜘蛛
以上为机器翻译结果，长、整句建议使用 人工翻译 。
Each search engine has its own automated program called a "web spider" or "web crawler" that crawls the web.
每个搜索引擎都有自己爬行网页的自动化程序，叫做“网络蜘蛛（web spider）”或“网络爬虫（web crawler）”。
youdao
应用推荐
模块上移
模块下移
不移动