知识增益:文本分类中一种新的特征选择方法
特征选择在文本分类中起重要的作用。文档频率(DF)、信息增益(IG)和互信息(MI)等特征选择方法在文本分类中广泛应用。已有的实验结果表明,IG是最有效的特征选择算法之一,该方法基于申农提出的信息论。本文基于粗糙集理论,提出了一种新的特征选择方法(KG算法),该方法依据粗糙集理论关于知识的观点,即知识是分类事物的能力,将知识进行量化,提出知识增益的概念,得到基于知识增益的特征选择方法。在两个通用的语料集OHSUMED和NewsGroup上进行分类实验发现:KG算法均超过IG的性能,特别是在特征空间的维数降到低维时尤其明显,可见KG算法有较好的性能。
文本分类 特征选择 粗糙集 信息检索
徐燕 王斌 李锦涛 孙春明
中国科学院计算技术研究所,北京,100080
国内会议
苏州
中文
183-189
2007-11-01(万方平台首次上网日期,不代表论文的发表时间)