基于多模态神经网络的图像中文摘要生成方法

摘要：

图像的自然语言描述(Image Caption)是一个融合计算机视觉、自然语言处理和机器学习的跨领域课题.它作为多模态信息处理的关键技术,近年来取得了显著成果.当前研究大多针对图像生成英文摘要,而对于中文摘要的生成方法研究较少.本文提出了一种基于多模态神经网络和特征融合的图像中文摘要生成方法.该方法由编码器和解码器组成,编码器基于卷积神经网络,包括单标签视觉特征提取网络和多标签关键词特征预测网络,解码器基于长短时记忆网络,由多模态摘要生成网络构成.在解码过程中,本文针对长短时记忆网络的特点提出了四种多模态特征融合方案CNIC-X、CNIC-H、CNIC-C和CNIC-HC.在中文摘要数据集Flickr8kCN上实验,结果表明本文提出的方法优于现有的中文摘要生成模型.

关键词： 图像中文摘要 多模态处理 神经网络 生成模型

作者: 刘泽宇 马龙龙 吴健 孙乐

作者单位: 中国科学院软件研究所 中文信息处理研究室,北京 100190;中国科学院大学,北京 100190 中国科学院软件研究所 中文信息处理研究室,北京 100190

会议类型: 国内会议

会议名称: 第十六届全国计算语言学学术会议暨第五届基于自然标注大数据的自然语言处理国际学术研讨会

会议地点: 南京

会议语种:中文

页码: 1-11

在线出版日期: 2017-10-13（万方平台首次上网日期，不代表论文的发表时间）