A Versatile Multimodal Learning Framework for Zero-Shot Emotion Recognition

计算机科学 情绪识别 零(语言学) 人工智能 模式识别(心理学) 人机交互 语音识别 哲学 语言学
作者
Fan Qi,Huaiwen Zhang,Xiaoshan Yang,Changsheng Xu
出处
期刊:IEEE Transactions on Circuits and Systems for Video Technology [Institute of Electrical and Electronics Engineers]
卷期号:34 (7): 5728-5741 被引量:12
标识
DOI:10.1109/tcsvt.2024.3362270
摘要

Multi-modal Emotion Recognition (MER) aims to identify various human emotions from heterogeneous modalities. With the development of emotional theories, there are more and more novel and fine-grained concepts to describe human emotional feelings. Real-world recognition systems often encounter unseen emotion labels. To address this challenge, we propose a versatile zero-shot MER framework to refine emotion label embeddings for capturing inter-label relationships and improving discrimination between labels. We integrate prior knowledge into a novel affective graph space that generates tailored label embeddings capturing inter-label relationships. To obtain multimodal representations, we disentangle the features of each modality into egocentric and altruistic components using adversarial learning. These components are then hierarchically fused using a hybrid co-attention mechanism. Furthermore, an emotion-guided decoder exploits label-modal dependencies to generate adaptive multimodal representations guided by emotion embeddings. We conduct extensive experiments with different multimodal combinations, including visual-acoustic and visual-textual inputs, on four datasets in both single-label and multi-label zero-shot settings. Results demonstrate the superiority of our proposed framework over state-of-the-art methods.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
李爱国的应助被Charlie采纳,获得10
1秒前
2秒前
2秒前
yyy完成签到,获得积分10
3秒前
孔wj完成签到,获得积分10
3秒前
3秒前
ili完成签到,获得积分10
4秒前
威武的沂发布了新的文献求助10
5秒前
冷静剑鬼完成签到,获得积分10
5秒前
万能图书馆的应助被uu采纳,获得10
5秒前
5秒前
隐形曼青的应助被uu采纳,获得10
5秒前
香蕉觅云的应助被uu采纳,获得10
5秒前
6秒前
6秒前
无花果的应助被uu采纳,获得10
6秒前
Orange的应助被颖颖不吃酸采纳,获得10
6秒前
molihuakai的应助被uu采纳,获得10
6秒前
打打的应助被uu采纳,获得10
6秒前
Ava的应助被uu采纳,获得10
6秒前
vary发布了新的文献求助10
6秒前
7秒前
7秒前
张l发布了新的文献求助10
8秒前
嘻嘻哈哈完成签到,获得积分20
9秒前
9秒前
9秒前
张原宇完成签到,获得积分10
10秒前
Elanie.zh完成签到,获得积分10
11秒前
Zoe_Zhang发布了新的文献求助10
12秒前
重要砖头完成签到,获得积分10
12秒前
科研小李发布了新的文献求助30
12秒前
wenhan发布了新的文献求助10
12秒前
12秒前
爆米花的应助被GBYYYY采纳,获得10
13秒前
Maestro_S的应助被renn采纳,获得30
13秒前
独特采萱完成签到,获得积分10
13秒前
科研爱溪溪完成签到,获得积分10
14秒前
晓风发布了新的文献求助10
15秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
Improving the wear resistance of vehicle gear oil by oil soluble LaF3 nanoparticles and typical additives of gear oil 500
Boundaries and Bodhisattvas 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8184061
求助须知:如何正确求助?哪些是违规求助? 9573151
关于积分的说明 21829878
捐赠科研通 7781058
什么是DOI,文献DOI怎么找? 3434216
关于科研通互助平台的介绍 2558337
邀请新用户注册赠送积分活动 2480674