基于子字单元的神经机器翻译未登录词翻译分析
神经机器翻译(NMT)为机器翻译系统提供了一种全新的方法,它与传统的统计机器翻译系统(SMT)相比,翻译结果具有更加流畅的优势.但是NMT系统也有着其自身的缺点:翻译精准度的问题,尤其是对未登录词的翻译.2016年,Rico Sennrich和Barry Haddow等人提出了Byte Pair Encoding(BPE)的方法,将原有的单词拆解成了更小单元的高频词进行翻译.现如今,这种方法已经被广泛用于各种开源的神经机器翻译系统中.本文主要针对BPE方法在中英神经机器翻译中的应用,分析BPE方法在多大程度上解决了未登录词翻译的问题.实验表明,与传统的NMT系统相比,BPE方法获得了1.02BLEU值的提升,对未登录词的翻译精准度达到了45％左右,与SMT系统翻译精准度相似.因此可以得出结论:BPE的方法是一种对NMT系统中未登录词问题的行之有效的解决方法.
神经机器翻译 未登录词 子字单元 BPE编码
韩冬 李军辉 熊德意 周国栋
苏州大学计算机科学与技术学院,江苏省苏州市215006
国内会议
第十六届全国计算语言学学术会议暨第五届基于自然标注大数据的自然语言处理国际学术研讨会
南京
中文
1-8
2017-10-13（万方平台首次上网日期，不代表论文的发表时间）