然后，一个自动化的搜索引擎爬虫(search engine crawler)会把这些URL诠释成三个分歧的URL，而不是一个URL带有三个分歧的输入值 (搜索引擎是不理会文件扩展名的，只把它算作URL中的另一个...
基于20个网页-相关网页
Provides an entry point for the search engine crawler to easily follow the links within your Web pages.
为搜索引擎爬网程序提供入口点，以使爬网程序轻松地跟踪您的Web页面内的链接。
First, it's much easier for an application such as a search engine crawler to understand the relative importance of content, and second, a section is self-contained.
首先，应用程序(如搜索引擎crawler)能够更容易地了解内容的相对重要性，其次，节是自包含的。
Each search engine has its own automated program called a "web spider" or "web crawler" that crawls the web.
每个搜索引擎都有自己爬行网页的自动化程序，叫做“网络蜘蛛（web spider）”或“网络爬虫（web crawler）”。
应用推荐