然后，一个自动化的搜索引擎爬虫(search engine crawler)会把这些URL诠释成三个分歧的URL，而不是一个URL带有三个分歧的输入值 (搜索引擎是不理会文件扩展名的，只把它算作URL中的另一个...
基于20个网页-相关网页
Crawler-Based Search Engine 机器人搜索引擎
Provides an entry point for the search engine crawler to easily follow the links within your Web pages.
为搜索引擎爬网程序提供入口点，以使爬网程序轻松地跟踪您的Web页面内的链接。
First, it's much easier for an application such as a search engine crawler to understand the relative importance of content, and second, a section is self-contained.
首先，应用程序(如搜索引擎crawler)能够更容易地了解内容的相对重要性，其次，节是自包含的。
Each search engine has its own automated program called a "web spider" or "web crawler" that crawls the web.
每个搜索引擎都有自己爬行网页的自动化程序，叫做“网络蜘蛛（web spider）”或“网络爬虫（web crawler）”。
应用推荐