...因素超过200种（谷歌自称），其中包括页面等级、标题、元标签、网站内容，以及域名的年龄等。 网络爬虫或网络蜘蛛（Web Crawler）也简称为爬虫或蜘蛛，代表搜索引擎在网路上进行浏览，目的是发现新的链接和页面，这是进行索引的第一个环节。
基于1952个网页-相关网页
面向电子商务网站的专业网络爬虫设计与实现_计算机毕业论文，计算机论文，计算机论文范文_毕业论文天下网 关键字：搜索引擎，网络爬虫，电子商务 [gap=1395]Key Words: Search engine, Web Crawler, E-commerce
基于256个网页-相关网页
general purpose web crawler 通用网络爬虫
Incremental Web Crawler 增量式网络爬虫
Deep Web Crawler 深层网络爬虫
topic web crawler 主题网络蜘蛛
MSRBot Web Crawler 爬网机器人
Relocatable Web Crawler 基于可迁移爬行器
web-crawler 网络爬虫
direct web Crawler 定向网络爬虫
Based on the knowledge of Web structure and web crawler’s online status and meta-search technology,we proposed a new global search algorithm—genetic algorithm,which synthesizes the linkage’s immediate value and future value dynamically .
在深入研究Web拓扑结构基础上,利用网络蜘蛛的在线状态,提出了基于全局信息的、动态综合了链接的立即回报价值和未来回报价值的遗传算法。
参考来源 - 遗传算法在主题Web信息采集中的应用研究 in C·2,447,543篇论文数据，部分数据来源于NoteExpress
以上来源于: WordNet
Each search engine has its own automated program called a "web spider" or "web crawler" that crawls the web.
每个搜索引擎都有自己爬行网页的自动化程序，叫做“网络蜘蛛（web spider）”或“网络爬虫（web crawler）”。
Using it, you can setup a multi-threaded web crawler in few minutes.
提供了简单易用的接口，可以在几分钟内创建一个多线程网络爬虫。
Topic web crawler search strategy is the core of professional search engine technology.
主题网络蜘蛛搜索策略是专业搜索引擎的核心技术。
应用推荐