融合规则与统计的微博新词发现方法

摘要：

　　结合微博新词的构词规则自由度大和极其复杂的特点,针对传统的C/NC-value方法抽取的结果新词边界的识别准确率不高,以及低频微博新词无法正确识别的问题,提出了一种融合人工启发式规则、C/NC-value改进算法和条件随机场(Conditional Random Field,CRF)模型的微博新词抽取方法。一方面,人工启发式规则是指对微博新词的分类和归纳总结,并从微博新词构词的词性、字符类别和表意符号等角度设计的微博新词的构词规则；另一方面,改进的C/NC-value 方法通过引入词频、邻接熵和互信息等统计量来重构NC-value 目标函数,并使用条件随机场(CRF)模型训练和识别新词,最终达到提高新词边界识别准确率和低频新词识别精度的目的。实验结果显示,与传统方法相比,所提出的方法能有效地提高微博新词识别的F值。

关键词： 微博新词 构词规则 统计量特征 C/NC-value方法 条件随机场模型

作者: 周霜霜 徐金安 陈钰枫 张玉洁

作者单位: 北京交通大学 计算机与信息技术学院,北京 100044

会议类型: 国际会议

会议名称: 第五届自然语言处理与中文计算会议(NLPCC-ICCPOL2016)

会议地点: 昆明

会议语种:中文

页码: 1-8

在线出版日期: 2016-12-02（万方平台首次上网日期，不代表论文的发表时间）