大规模短文本的不完全聚类
聚类分析是机器学习的一个重要手段，人们可以通过聚类发现信息中潜在的热点或规律。至今，已经有大量聚类算法被研究和提出。随着互联网的日益普及，查询日志、twitter等短文本信息逐渐在人们生活中起着越来越重要的作用。这类短文本信息数量巨大，通常可达到千万乃至亿级，现有的聚类算法在对这类大规模短文本信息进行聚类分析时往往显得异常无力。本文通过对实际应用中的短文本信息进行实验分析，发现了这类数据所具有的“长尾分布”，并由此提出了不完全聚类思想，可以有效地提高这类短文本信息的聚类性能。
短文本 聚类分析 不完全聚类 机器学习
彭泽映 俞晓明 许洪波
中国科学院计算技术研究所,北京,100190
国内会议
黑龙江镜泊湖
中文
563-569
2010-08-12（万方平台首次上网日期，不代表论文的发表时间）