新浪微博数据挖掘方案研究
随着新浪微博用户群体的增长，基于新浪微博数据的分析已经引起了社会的广泛关注，其中新浪微博的数据获取是微博研究首先需要解决的问题。本文提出了基于新浪微博API与基于页面解析的新浪微博数据获取方案。程序逻辑控制API调用方法与频率，获取JSON对象并解析实现高效数据获取。同时将传统的网络爬虫结合网页解析技术结合API同时使用，解决了因API接口开放不完善，且因在返回结果数量上限与调用频率方面的限制，导致不能有效实现新浪微博数据的全面获取的问题。经过实验测试，通过两套方案的结合可以实现新浪微博数据高效全面的获取。
新浪微博 数据挖掘 技术分析 智能信息检索 网页解析
廉捷 周欣 曹伟 刘云
北京交通大学 通信与信息系统北京市重点实验室,北京 100044 中国信息安全测评中心,北京 100044
国内会议
北京
中文
265-275
2011-10-01（万方平台首次上网日期，不代表论文的发表时间）