基于Active Learning的中文分词领域自适应

摘要：

在新闻领域标注语料上训练的中文分词系统在跨领域时性能会有明显下降.针对目标领域的大规模标注语料难以获取的问题,本文提出Active learning算法与n-gram统计特征相结合的领域自适应方法.该方法通过对目标领域文本与已有标注语料的差异进行统计分析,选择含有最多未标记过的语言现象的小规模语料优先进行人工标注,然后再结合大规模文本中的n-gram统计特征训练目标领域的分词系统.本文采用了CRF训练模型,并在100万句的科技文献领域上,验证了所提方法的有效性,评测数据为人工标注的300句科技文献语料.实验结果显示,在科技文献测试语料上,基于Active Learning训练的分词系统在各项评测指标上均有提高.

关键词： 中文分词系统 领域自适应方法 主动学习算法

作者: 许华婷 张玉洁 杨晓晖 单华 徐金安 陈钰枫

作者单位: 北京交通大学,北京,100044

会议类型: 国内会议

会议名称: 中国中文信息学会2015学术年会(CIPS2015)暨第十四届全国计算语言学学术会议(CCL2015)、第三届基于自然标注大数据的自然语言处理国际学术研讨会(NLP-NABD2015)

会议地点: 广州

会议语种:中文

页码: 1-9

在线出版日期: 2015-11-13（万方平台首次上网日期，不代表论文的发表时间）