Multimodal Sentiment Analysis Based on Nonverbal Representation Optimization Network and Contrastive Interaction Learning

模式 计算机科学 代表(政治) 模态(人机交互) 人工智能 情态动词 情绪分析 光学(聚焦) 自然语言处理 机器学习 多模式学习 特征学习 语义学(计算机科学) 社会学 化学 高分子化学 物理 程序设计语言 法学 光学 政治 社会科学 政治学
作者
Zhibang Quan,Tao Sun,Mengli Su,Jishu Wei,Xiang Zhang,Shenjie Zhong
出处
期刊:Conference proceedings [Institute of Electrical and Electronics Engineers]
卷期号:: 3086-3091 被引量:10
标识
DOI:10.1109/smc53654.2022.9945514
摘要

Multimodal sentiment analysis is an active subfield of natural language processing. It aims to extract and integrate semantic information gathered from multiple modalities to identify the sentiments expressed by users. Indeed, the complementary and heterogeneous information between modalities influences the prediction results. Recent research proposals employ a single neural network to obtain mutually independent representations of all modalities. However, a problem that may limit previous work from reaching a higher level is that this does not consider the modal heterogeneity problem between different modalities. This, in turn, may lead to the presence of additional noise in the representations before modal fusion. For this reason, we propose a new framework, MICS, which adopts a suitable strategy for each modality and provides a better representation for fusion. Also, we design a multimodal comparative learning interaction module for the fusion phase, which plays a crucial role in the information interaction between modalities. Our extensive experiments on two publicly available and popular benchmarks, MOSI and MOSEI, show that MICS can better focus on the characteristics of different modal data and has significant advantages over previous complex baselines.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
踏实博超完成签到 ,获得积分10
1秒前
3秒前
我是老大的应助被leo采纳,获得10
3秒前
帅气大男孩完成签到 ,获得积分10
4秒前
丘比特的应助被Ronedler采纳,获得10
4秒前
Cat4pig完成签到 ,获得积分10
5秒前
6秒前
喜悦的友易完成签到,获得积分10
7秒前
wang发布了新的文献求助10
7秒前
7秒前
7秒前
Han完成签到,获得积分10
7秒前
zhangzhangzhang完成签到,获得积分10
7秒前
xxy发布了新的文献求助20
8秒前
小汤圆完成签到,获得积分10
8秒前
科研通AI6.3的应助被大气幻柏采纳,获得10
9秒前
cdercder的应助被皮卡丘采纳,获得10
9秒前
10秒前
标致以云完成签到,获得积分10
10秒前
11秒前
徐凤年发布了新的文献求助10
11秒前
sss发布了新的文献求助10
11秒前
芋头发布了新的文献求助10
11秒前
12秒前
12秒前
13秒前
酷波er的应助被xx采纳,获得10
13秒前
13秒前
慕青的应助被小汤圆采纳,获得10
14秒前
充电宝的应助被wangfei采纳,获得10
14秒前
alan发布了新的文献求助30
15秒前
15秒前
踏实煎蛋发布了新的文献求助10
16秒前
17秒前
Grey完成签到,获得积分10
17秒前
17秒前
qq发布了新的文献求助10
18秒前
我有我风格完成签到 ,获得积分10
19秒前
久伴发布了新的文献求助10
20秒前
完美世界的应助被一颗两颗星采纳,获得10
20秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8188221
求助须知:如何正确求助?哪些是违规求助? 9576025
关于积分的说明 21845049
捐赠科研通 7786165
什么是DOI,文献DOI怎么找? 3435226
关于科研通互助平台的介绍 2559559
邀请新用户注册赠送积分活动 2482157