基于浏览器测试组件的社交网络数据获取技术
社交网络数据获取是社交网络分析重要的前提条件.当前各大社交网络平台对于第三方爬虫的屏蔽措施日益复杂,页面也通常日益复杂、动态生成,传统的数据获取手段受到严峻的挑战.本文提出了一种基于浏览器测试组件的社交网络数据获取技术,通过模拟正常用户的行为以规避社交网络对于传统网络爬虫的限制,实现目标数据的高效获取.以web端QQ群信息获取为例验证了此技术的可行性和有效性.
社交网络 数据获取 用户行为 浏览器测试组件
陈学敏 沙灜
中国科学院信息工程研究所,北京
国内会议
武汉
中文
429-435
2015-05-26(万方平台首次上网日期,不代表论文的发表时间)