一种并行Crawler系统中的URL分配算法设计

摘要：

本文研究了分布式体系结构下的并行Crawler采集模型,分析了各组件的功能及备Crawler在并行搜索时,为保证系统的负载均衡而应遵循的基本规则,并提出了一种基于散列(hash)的URL的调度算法.

关键词： 并行计算 分布式Crawler 散列算法 URL分配

作者: 万源 万方 王大震

作者单位: 武汉理工大学理学院,武汉,430070 湖北工业大学计算机科学技术系,武汉,430068

会议类型: 国内会议

会议名称: 第五届中国计算机支持的协同工作学术会议(C=CSCW2006)与第三届全国智能信息网络学术会议(IIN2006)

会议地点: 福州

会议语种:中文

页码: 117-119

在线出版日期: 2006-11-01（万方平台首次上网日期，不代表论文的发表时间）