MissModal: Increasing Robustness to Missing Modality in Multimodal Sentiment Analysis

计算机科学 模式 缺少数据 稳健性(进化) 人工智能 推论 模态(人机交互) 概括性 机器学习 多模式学习 情绪分析 代表(政治) 自然语言处理 社会学 心理治疗师 法学 化学 基因 政治 生物化学 社会科学 政治学 心理学
作者
Ronghao Lin,Haifeng Hu
出处
期刊:Transactions of the Association for Computational Linguistics [Association for Computational Linguistics]
卷期号:11: 1686-1702 被引量:98
标识
DOI:10.1162/tacl_a_00628
摘要

Abstract When applying multimodal machine learning in downstream inference, both joint and coordinated multimodal representations rely on the complete presence of modalities as in training. However, modal-incomplete data, where certain modalities are missing, greatly reduces performance in Multimodal Sentiment Analysis (MSA) due to varying input forms and semantic information deficiencies. This limits the applicability of the predominant MSA methods in the real world, where the completeness of multimodal data is uncertain and variable. The generation-based methods attempt to generate the missing modality, yet they require complex hierarchical architecture with huge computational costs and struggle with the representation gaps across different modalities. Diversely, we propose a novel representation learning approach named MissModal, devoting to increasing robustness to missing modality in a classification approach. Specifically, we adopt constraints with geometric contrastive loss, distribution distance loss, and sentiment semantic loss to align the representations of modal-missing and modal-complete data, without impacting the sentiment inference for the complete modalities. Furthermore, we do not demand any changes in the multimodal fusion stage, highlighting the generality of our method in other multimodal learning systems. Extensive experiments demonstrate that the proposed method achieves superior performance with minimal computational costs in various missing modalities scenarios (flexibility), including severely missing modality (efficiency) on two public MSA datasets.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
1秒前
cuicui完成签到 ,获得积分10
1秒前
科研通AI6.2的应助被Liu采纳,获得10
1秒前
ZS发布了新的文献求助10
1秒前
Cecilia发布了新的文献求助10
1秒前
1秒前
所所的应助被聪慧栾采纳,获得10
2秒前
2秒前
cz完成签到 ,获得积分10
2秒前
li完成签到,获得积分10
2秒前
只是听说发布了新的文献求助10
2秒前
慕青的应助被ZHANG采纳,获得10
2秒前
王智发布了新的文献求助10
2秒前
珍珠发布了新的文献求助30
2秒前
2秒前
大模型的应助被Dynamiclife采纳,获得10
3秒前
英俊的铭的应助被可妍昇采纳,获得10
3秒前
QQ发布了新的文献求助10
3秒前
笔墨倾城完成签到,获得积分10
3秒前
陈新发布了新的文献求助10
4秒前
4秒前
4秒前
ding的应助被uro采纳,获得10
4秒前
hua发布了新的文献求助10
5秒前
5秒前
5秒前
超级的鹅完成签到,获得积分10
5秒前
Beryl完成签到 ,获得积分10
5秒前
5秒前
桐桐的应助被wuyuhang采纳,获得10
5秒前
111完成签到,获得积分10
6秒前
扶苏完成签到,获得积分10
6秒前
TWW发布了新的文献求助10
6秒前
ZZZ关注了科研通微信公众号
6秒前
montecount完成签到,获得积分10
6秒前
kle完成签到,获得积分10
7秒前
7秒前
GIK尘发布了新的文献求助10
7秒前
chengzi发布了新的文献求助10
7秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
Social Psychology in the Real World 600
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8180807
求助须知:如何正确求助?哪些是违规求助? 9570895
关于积分的说明 21815089
捐赠科研通 7777155
什么是DOI,文献DOI怎么找? 3433347
关于科研通互助平台的介绍 2557613
邀请新用户注册赠送积分活动 2479317