基于word2vec的大中华区词对齐库的构建

摘要：

本文针对大陆、香港和台湾地区(简称大中华区)存在同一种语义但采用不同词语进行表达的语言现象进行分析.首先,抓取了维基百科以及简繁体新闻网站上的3,200,000万组大中华区平行句对,手工标注了一致性程度达到95％以上的10,000组大中华区平行词对齐语料库.同时,提出了一个基于word2vec的两阶段的大中华区词对齐模型,该模型采用word2vec获取大中华区词语的向量表示形式,并融合了有效的余弦相似度计算方法以及后处理技术.实验结果表明提出的大中华区词对齐模型在以上两种不同文体的词对齐语料库上的F1值显著优于现有的GIZA++和基于HMM的基准模型.此外,在维基百科上利用该词对齐模型进一步生成了90,029组准确率达82.66％的大中华区词语三元组.

关键词： 词对齐 余弦相似度 向量表示

作者: 王明文 徐雄飞 徐凡 李茂西

作者单位: 江西师范大学计算机信息工程学院,南昌 330022

会议类型: 国内会议

会议名称: 中国中文信息学会2015学术年会(CIPS2015)暨第十四届全国计算语言学学术会议(CCL2015)、第三届基于自然标注大数据的自然语言处理国际学术研讨会(NLP-NABD2015)

会议地点: 广州

会议语种:中文

页码: 1-11

在线出版日期: 2015-11-13（万方平台首次上网日期，不代表论文的发表时间）