MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis

计算机科学 模式 线性子空间 任务(项目管理) 人工智能 子空间拓扑 过程(计算) 模态(人机交互) 机器学习 数学 工程类 几何学 社会科学 操作系统 社会学 系统工程
作者
Devamanyu Hazarika,Roger Zimmermann,Soujanya Poria
出处
期刊: [Association for Computing Machinery]
卷期号:: 1122-1131 被引量:1779
标识
DOI:10.1145/3394171.3413678
摘要

Multimodal Sentiment Analysis is an active area of research that leverages multimodal signals for affective understanding of user-generated videos. The predominant approach, addressing this task, has been to develop sophisticated fusion techniques. However, the heterogeneous nature of the signals creates distributional modality gaps that pose significant challenges. In this paper, we aim to learn effective modality representations to aid the process of fusion. We propose a novel framework, MISA, which projects each modality to two distinct subspaces. The first subspace is modality-invariant, where the representations across modalities learn their commonalities and reduce the modality gap. The second subspace is modality-specific, which is private to each modality and captures their characteristic features. These representations provide a holistic view of the multimodal data, which is used for fusion that leads to task predictions. Our experiments on popular sentiment analysis benchmarks, MOSI and MOSEI, demonstrate significant gains over state-of-the-art models. We also consider the task of Multimodal Humor Detection and experiment on the recently proposed UR_FUNNY dataset. Here too, our model fares better than strong baselines, establishing MISA as a useful multimodal framework.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
cdercder的应助被皮卡丘采纳,获得10
刚刚
1秒前
标致以云完成签到,获得积分10
1秒前
2秒前
徐凤年发布了新的文献求助10
2秒前
sss发布了新的文献求助10
2秒前
芋头发布了新的文献求助10
2秒前
3秒前
3秒前
4秒前
酷波er的应助被xx采纳,获得10
4秒前
4秒前
慕青的应助被小汤圆采纳,获得10
5秒前
充电宝的应助被wangfei采纳,获得10
5秒前
alan发布了新的文献求助30
6秒前
6秒前
踏实煎蛋发布了新的文献求助10
7秒前
8秒前
Grey完成签到,获得积分10
8秒前
8秒前
qq发布了新的文献求助10
9秒前
我有我风格完成签到 ,获得积分10
10秒前
久伴发布了新的文献求助10
11秒前
完美世界的应助被一颗两颗星采纳,获得10
11秒前
FashionBoy的应助被sss采纳,获得10
11秒前
hbutsj发布了新的文献求助10
12秒前
13秒前
丘比特的应助被FaFa采纳,获得10
13秒前
14秒前
15秒前
扶摇完成签到,获得积分10
15秒前
303完成签到 ,获得积分10
16秒前
17秒前
xx发布了新的文献求助10
18秒前
FaFa完成签到,获得积分10
18秒前
爆米花的应助被lilac采纳,获得10
18秒前
li完成签到 ,获得积分10
20秒前
11完成签到,获得积分10
20秒前
wangfei发布了新的文献求助10
20秒前
smy完成签到 ,获得积分10
20秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8188221
求助须知:如何正确求助?哪些是违规求助? 9576025
关于积分的说明 21845049
捐赠科研通 7786165
什么是DOI,文献DOI怎么找? 3435226
关于科研通互助平台的介绍 2559559
邀请新用户注册赠送积分活动 2482157