... 关键词：搜索引擎；信息采集；网络爬虫；数据缓冲池 [gap=774]Key words: search engine; information gathering; web-crawler; data buffer pool ...
基于4个网页-相关网页
web crawler 网络爬虫或网络蜘蛛 ; 网络爬虫
general purpose web crawler 通用网络爬虫
Incremental Web Crawler 增量式网络爬虫
Deep Web Crawler 深层网络爬虫
topic web crawler 主题网络蜘蛛
MSRBot Web Crawler 爬网机器人
Relocatable Web Crawler 基于可迁移爬行器
direct web Crawler 定向网络爬虫
Based on the knowledge of Web structure and web crawler’s online status and meta-search technology,we proposed a new global search algorithm—genetic algorithm,which synthesizes the linkage’s immediate value and future value dynamically .
在深入研究Web拓扑结构基础上,利用网络蜘蛛的在线状态,提出了基于全局信息的、动态综合了链接的立即回报价值和未来回报价值的遗传算法。
参考来源 - 遗传算法在主题Web信息采集中的应用研究 in C·2,447,543篇论文数据，部分数据来源于NoteExpress
以上来源于: WordNet
The behavior policies define which pages the crawler will bring down to the indexer, how often to go back to a Web site to check it again, and something called a politeness policy.
这种行为策略定义了爬虫会将哪些页面带入索引程序、以什么样的频率回到Web站点上再次对它进行检查，以及一种礼貌原则。
This information helps the Web crawler determine what the set of pages is and when to crawl them.
这一信息能帮助web爬虫程序决定要爬行哪些页面以及爬行的时间。
Thus the efficiency of site crawls provides relief to both sides: the hosting Web server and the crawler as well, by keeping the number of GET requests for pages at a minimum.
这样，站点爬行的效率为两边都减轻了负担：宿主Web服务器和爬虫程序，方法是把GET页面请求数量保持在最小值。
应用推荐