亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整的填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

Effects of Physiological Signals in Different Types of Multimodal Sentiment Estimation

不可见的 情绪分析 计算机科学 模式 人工智能 估计 光学(聚焦) 自然语言处理 融合 机器学习 语音识别 数学 语言学 计量经济学 社会学 哲学 经济 管理 物理 光学 社会科学
作者
Shun Katada,Shogo Okada,Kazunori Komatani
出处
期刊:IEEE Transactions on Affective Computing [Institute of Electrical and Electronics Engineers]
卷期号:14 (3): 2443-2457 被引量:7
标识
DOI:10.1109/taffc.2022.3155604
摘要

Multimodal sentiment analysis has become a focus of research in recent years. However, most studies of multimodal sentiment analysis have considered only signals that are observable by humans, such as linguistic, audio and visual information, whereas the contribution of the multimodal fusion of such signals with unobservable signals, i.e., physiological signals, has not been comprehensively explored. In this study, we aim to investigate effects of physiological signals in multimodal sentiment analysis by evaluating all of the fusion models for different types of sentiment estimation in naturalistic human-agent interaction settings. Our results suggest that physiological features are effective in the unimodal model and that the fusion of linguistic representations with physiological features provides the best results for estimating self-sentiment labels as annotated by the users themselves. In contrast, the tensor fusion of linguistic representations with audiovisual features is effective for estimating sentiment labels as annotated by a third party in regression tasks, which can be derived from the corresponding signals that are observable by humans. A detailed analysis of the self-sentiment estimation results suggests that different modalities play different roles in sentiment estimation, and corresponding implications are discussed.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
秋雪瑶应助鲸落采纳,获得10
5秒前
10秒前
14秒前
香妃发布了新的文献求助10
16秒前
鲸落发布了新的文献求助10
17秒前
上官若男应助sinyipyeung采纳,获得10
23秒前
33秒前
龚幻梦发布了新的文献求助10
40秒前
情怀应助龚幻梦采纳,获得10
49秒前
51秒前
sinyipyeung发布了新的文献求助10
57秒前
清爽的大树完成签到,获得积分10
1分钟前
1分钟前
高po完成签到 ,获得积分10
1分钟前
1分钟前
龚幻梦发布了新的文献求助10
1分钟前
褚青筠完成签到,获得积分10
1分钟前
秋雪瑶应助龚幻梦采纳,获得10
1分钟前
小球发布了新的文献求助30
1分钟前
1分钟前
2分钟前
龚幻梦发布了新的文献求助10
2分钟前
nenoaowu应助科研通管家采纳,获得20
2分钟前
2分钟前
白云朵儿发布了新的文献求助10
2分钟前
2分钟前
sinyipyeung发布了新的文献求助10
2分钟前
在水一方应助落伍少年采纳,获得10
3分钟前
威武吴完成签到,获得积分10
3分钟前
sinyipyeung完成签到,获得积分20
3分钟前
田様应助香妃采纳,获得10
3分钟前
乐乐应助香妃采纳,获得10
3分钟前
3分钟前
小球完成签到,获得积分10
4分钟前
RyanNeo应助科研通管家采纳,获得10
4分钟前
moxin完成签到,获得积分10
4分钟前
4分钟前
星河发布了新的文献求助10
4分钟前
4分钟前
5分钟前
高分求助中
Un calendrier babylonien des travaux, des signes et des mois: Séries iqqur îpuš 1036
Sustainable Land Management: Strategies to Cope with the Marginalisation of Agriculture 1000
Corrosion and Oxygen Control 600
Heterocyclic Stilbene and Bibenzyl Derivatives in Liverworts: Distribution, Structures, Total Synthesis and Biological Activity 500
重庆市新能源汽车产业大数据招商指南(两链两图两池两库两平台两清单两报告) 400
Division and square root. Digit-recurrence algorithms and implementations 400
行動データの計算論モデリング 強化学習モデルを例として 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 有机化学 工程类 生物化学 纳米技术 物理 内科学 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 电极 光电子学 量子力学
热门帖子
关注 科研通微信公众号,转发送积分 2545467
求助须知:如何正确求助?哪些是违规求助? 2175634
关于积分的说明 5600159
捐赠科研通 1896337
什么是DOI,文献DOI怎么找? 946226
版权声明 565355
科研通“疑难数据库(出版商)”最低求助积分说明 503552