云计算在网络爬虫中的应用
根据当前在线web信息挖掘系统中网络爬虫采集的信息量的动态变化问题,引入了基于云计算的网络爬虫,利用了云计算易扩展,按需使用的理念,动态控制网络爬虫服务器的数量,并提出了两种数量控制策略,既满足网络信息采集的实时性又提高了计算资源的利用率。通过分析对比验证了引入云计算的网络爬虫在资源利用率提高上的有效性。
云计算 网络爬虫 资源利用 控制策略 信息采集
王忠儒 安伦 贾焰
湖南长沙国防科技大学 410073
国内会议
南宁
中文
81-87
2010-11-01(万方平台首次上网日期,不代表论文的发表时间)