网络爬虫技术的研究综述

摘要：

随着互联网的规模及普及不断增加,网上信息数量成指数级增长.如何从海量信息中准确有效地检索出所需的信息,成为一个重要而迫切的研究课题.简单介绍了爬虫的发展历史,并介绍了为满足日益增长的大数据的需要由网络爬虫进化而来的主题网络爬虫的几种典型算法.

关键词： 网络爬虫技术 海量数据 信息检索 网页分析算法

作者: 荆文鹏 王育坚 董伟伟

作者单位: 北京联合大学信息学院 北京 100101

会议类型: 国内会议

会议名称: 中国计算机用户协会网络应用分会2014年第十八届网络新技术与应用年会

会议地点: 昆明

会议语种:中文

页码: 408-409,426

在线出版日期: 2014-11-01（万方平台首次上网日期，不代表论文的发表时间）