Cross-modal fine-grained alignment and fusion network for multimodal aspect-based sentiment analysis

计算机科学 情态动词 情绪分析 判决 模态(人机交互) 人工智能 自然语言处理 依赖关系(UML) 宏 变压器 图形 表达式(计算机科学) 保险丝(电气) 理论计算机科学 化学 物理 量子力学 电压 高分子化学 电气工程 程序设计语言 工程类
作者
Luwei Xiao,Xingjiao Wu,Shuwen Yang,Junjie Xu,Jie Zhou,Liang He
出处
期刊:Information Processing and Management [Elsevier BV]
卷期号:60 (6): 103508-103508 被引量:131
标识
DOI:10.1016/j.ipm.2023.103508
摘要

Multi-modal Aspect-based Sentiment Analysis (MABSA) aims to forecast the polarity of sentiment concerning aspects within a given sentence based on the correlation between the sentence and its accompanying image. Comprehending multi-modal sentiment expression requires strong cross-modal alignment and fusion ability. Previous state-of-the-art (SOTA) models fail to explicitly align valuable visual clues with aspect and sentiment information in textual representations and overlook the utilization of syntactic dependency information in the accompanying text modality. We present CoolNet (Cross-modal Fine-grained Alignment and Fusion Network) to boost the performance of visual-language models in seamlessly integrating vision and language information. Specifically, CoolNet starts by transforming an image into a textual caption and a graph structure, then dynamically aligns the semantic and syntactic information from both the input sentence and the generated caption, as well as models the object-level visual features. Finally, a cross-modal transformer is employed to fuse and model the inter-modality dynamics.This network boasts advanced cross-modal fine-grained alignment and fusion capabilities. On standard benchmarks such as Twitter-2015 and Twitter-2017, CoolNet consistently outperforms state-of-the-art algorithm FITE with notable improvements in accuracy and Macro-F1 values. Specifically, we observe an improvement in accuracy and Macro-F1 values by 1.43% and 1.38% for Twitter-2015, and 0.74% and 0.88% for Twitter-2017, respectively, demonstrating the superiority of our CoolNet architecture.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
UN发布了新的文献求助10
1秒前
1秒前
科目三的应助被科研不是科幻采纳,获得10
1秒前
Nicole发布了新的文献求助10
2秒前
3秒前
汉堡包的应助被书亚采纳,获得10
4秒前
4秒前
6秒前
6秒前
zhangweiyuan04完成签到,获得积分10
8秒前
大个的应助被lll采纳,获得10
8秒前
8秒前
开心瓜瓜瓜完成签到,获得积分10
8秒前
8秒前
哈哈哈发布了新的文献求助10
8秒前
123完成签到,获得积分20
9秒前
科目三的应助被迷人的柚子采纳,获得10
9秒前
9秒前
嘉嘉发布了新的文献求助10
10秒前
Xiao完成签到,获得积分10
10秒前
Mine完成签到,获得积分10
10秒前
llllll发布了新的文献求助10
11秒前
11秒前
NN发布了新的文献求助30
11秒前
Nuyoah完成签到,获得积分10
11秒前
ther完成签到,获得积分20
11秒前
12秒前
科研小白发布了新的文献求助10
12秒前
12秒前
13秒前
123发布了新的文献求助30
13秒前
海豚湾发布了新的文献求助10
14秒前
14秒前
一百发布了新的文献求助10
15秒前
天天发布了新的文献求助20
16秒前
qiandi发布了新的文献求助10
17秒前
大雪纷飞发布了新的文献求助10
17秒前
lxz完成签到,获得积分10
17秒前
17秒前
18秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
Grapes 1000
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8178484
求助须知:如何正确求助?哪些是违规求助? 9569318
关于积分的说明 21803439
捐赠科研通 7773381
什么是DOI,文献DOI怎么找? 3432819
关于科研通互助平台的介绍 2556838
邀请新用户注册赠送积分活动 2478441