情感表达的跨文化多模态感知研究
视频和音频两个模态的信息在交际过程中起着至关重要的作用，本研究关注的问题是情感表达中不同文化背景的听者对情感的感知(解码)与这两个模态(面部表情和情感声音)的关系。发音人为中国人，录制她的5个语句的7种情感(6种基本情感+中性情感)的音频和面部表情，制作三类刺激：只有音频信息(A-only)、只有面部视频信息(V-only)以及视频和音频同步信息(AV-Congruent)。听辨人为10名不会日语的中国人和10名不会汉语的日本人。对听辨结果分析发现，面部视频信息的加入有益于情感的感知，视频和音频信息在跨文化的情感解码中起着不同的作用，与情感的唤醒度arousal有密切的关系，相关距离空间分布模式说明听辨结果具有稳定性，跨文化的情感感知存在普遍的心理基础。
情感表达 语音感知 面部表情 跨文化感知
李爱军 邵鹏飞 党建武
中国社会科学院语言所,北京 100732 中国社会科学院语言所,北京 100732 山东师范大学,济南,250014 日本北陸先端科学技術大学院大学情報科学研究科,〒923-1292 石川県能美市旭台 1-1
国内会议
乌鲁木齐
中文
167-174
2009-08-14（万方平台首次上网日期，不代表论文的发表时间）