多模式语音合成
传统语音合成是单模式的,本文首次提出并实现一种多模式语音合成系统,系统在播放合成语音同时,还伴随有唇动,面部行为以及身体手势动作等.在多模式合成系统中,各模式之间的同步以及协同是至关重要的,本文由此提出基于聚类,统计以及机器学习等方法相结合的语音唇动同步处理方法以及基于手语时长的手势语音合成协同控制方法用于多模式数据之间的同步与协同控制中.通过文本分析,利用手语合成中的时间信息可以控制语音合成的时长,从而实现身体动作与语音输出的协同,利用合成语音,通过学习训练,可直接将语音隐射到人脸动画参数上,从而又实现了语音与辱动的有效同步.本文给出定量与定性两种实验方法,结果表明文中提出方法是有效的,并极大提高了多模式语音合成系统的真实感和自然度.
语音合成系统 多模式 语音唇动同步处理 手语合成 语言手势协同
陈益强 高文 中科院研究生院(北京) 哈尔滨工业大学计算机系(哈尔滨) 王兆其 杨长水 姜大龙
中科院计算技术研究所(北京)
国内会议
深圳
中文
163-168
2001-11-20（万方平台首次上网日期，不代表论文的发表时间）