Twitter中近似重复消息的判定方法研究
微博客是Web2.0出现以来的一个新生概念。著名的Twitter系统是微博客中具有代表性的一个，其全球用户已经超过一亿，在世界范围内具有重要影响力：目前知名政治家、社会名流和大企业几乎都是Twitter的用户。Twitter系统中的消息通常比较短小，而且语法不规范。同时，由于Twitter中允许用户以多种格式自由转发消息，系统中存在大量内容重复或近似重复的消息。重复消息的存在加重了系统存储的负担，对用户阅读、理解以及分析消息的内容也造成了不利影响。本文分析了Twitter系统中转发消息的语法特点，并利用这些语法特点提取规则，把转发的消息变成普通的消息。本文还提出统计字符种类和最短编辑距离两种字符串距离计算的方法以判定Twitter中近似重复的消息。实验结果表明，两种方法具有扩展性强、实现简单、效率高等优点，能够有效地解决Twitter上的信息重复现象。
微博客 Twitter系统 重复信息 统计字符种类 字符串距离
曹鹏 李静远 满彤 刘悦 程学旗
国科学院计算技术研究所网络重点实验室,北京,100190;中国科学院研究生院,北京,100190 中国科学院计算技术研究所网络重点实验室,北京,100190 中国科学院计算技术研究所网络重点实验室,北京,100190;中国科学院研究生院,北京,100190
国内会议
黑龙江镜泊湖
中文
32-39
2010-08-12（万方平台首次上网日期，不代表论文的发表时间）