网络中新词识别方法研究

摘要：

随着互联网的迅猛发展,网络中新词大量涌现.本文提出一种新词识别方法,该方法利用基于PAT-Array的重复字符串抽取候选串,提高新词的召回率.在此基础上结合分析新词的内部模式,对垃圾串进行过滤以确定新词.本文利用训练垃圾词典的方法对单字串垃圾进行过滤,用改进的互信息与独立成词概率结合的方法确定多字词模式的新词.由此,大幅度提高了新词识别的准确率.

关键词： 互联网 新词识别 内部模式 垃圾串过滤

作者: 王倩倩 范通让

作者单位: 石家庄铁道大学信息科学与技术学院,河北石家庄市050043

会议类型: 国内会议

会议名称: SCEG2014研讨会(2014年“计算机科学与技术及教育技术“学术研讨会)

会议地点: 石家庄

会议语种:中文

页码: 152-157

在线出版日期: 2014-06-30（万方平台首次上网日期，不代表论文的发表时间）