Multimodal Causal Relations Enhanced CLIP for Image-to-Text Retrieval

计算机科学 人工智能 因果模型 一般化 模态(人机交互) 图像(数学) 图形 图像检索 语义学(计算机科学) 任务(项目管理) 自然语言处理 模式识别(心理学) 理论计算机科学 数学 经济 数学分析 统计 管理 程序设计语言
作者
Weijia Feng,Dazhen Lin,Donglin Cao
出处
期刊:Lecture Notes in Computer Science 卷期号:: 210-221
标识
DOI:10.1007/978-981-99-8429-9_17
摘要

Traditional image-to-text retrieval models learn joint representations by aligning multimodal features, typically learning the weak correlation between image and text data which can introduce noise during modality alignment. To solve this problem, we propose a Multimodal Causal CLIP (MMC-CLIP) network that integrates causal semantic relationships into CLIP for image-to-text retrieval task. Firstly, we employ the Multimodal Causal Discovery (MCD) method, which models the causal relationships of causal variables in both image and text data to construct the multimodal causal graph. Subsequently, we seamlessly integrate the causal nodes extracted from the multimodal causal graph as learnable prompts within the CLIP model, giving rise to the novel framework of Multimodal Causal CLIP. By integrating causal semantics into CLIP, MMC-CLIP effectively enhances the correlation between causal variables in image and text modalities, leading to an improved alignment capability for multimodal image-text data. We demonstrate the superiority and generalization of the proposed method by outperforming all strong baselines in image-to-text retrieval task on the Flickr30K and MSCOCO datasets.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
天天快乐应助huahua采纳,获得10
2秒前
2秒前
小小发布了新的文献求助10
2秒前
3秒前
Ezio_sunhao完成签到,获得积分10
4秒前
左眼天堂发布了新的文献求助10
5秒前
受伤书文发布了新的文献求助10
8秒前
9秒前
smile发布了新的文献求助30
13秒前
pcc完成签到,获得积分20
14秒前
YY完成签到 ,获得积分10
14秒前
菜芽君完成签到,获得积分10
14秒前
科目三应助灵巧的大开采纳,获得10
15秒前
15秒前
enjoy完成签到 ,获得积分10
17秒前
17秒前
18秒前
wuxunxun2015发布了新的文献求助10
21秒前
张颖完成签到 ,获得积分10
23秒前
在水一方应助wsx采纳,获得10
25秒前
34发布了新的文献求助10
25秒前
稀松完成签到,获得积分0
26秒前
Ava应助学习采纳,获得10
28秒前
ksen发布了新的文献求助20
32秒前
文文完成签到 ,获得积分10
36秒前
38秒前
xu完成签到 ,获得积分10
38秒前
34完成签到,获得积分10
41秒前
学习发布了新的文献求助10
43秒前
44秒前
轻蹈云巅完成签到,获得积分10
45秒前
JamesPei应助一条柴小火来采纳,获得10
46秒前
踏实无敌应助科研通管家采纳,获得50
47秒前
47秒前
英俊的铭应助科研通管家采纳,获得10
47秒前
踏实无敌应助科研通管家采纳,获得50
47秒前
47秒前
斯文败类应助科研通管家采纳,获得10
47秒前
幽默果汁完成签到 ,获得积分10
48秒前
高分求助中
【此为提示信息,请勿应助】请按要求发布求助,避免被关 20000
Production Logging: Theoretical and Interpretive Elements 3000
CRC Handbook of Chemistry and Physics 104th edition 1000
Izeltabart tapatansine - AdisInsight 600
Introduction to Comparative Public Administration Administrative Systems and Reforms in Europe, Third Edition 3rd edition 500
Distinct Aggregation Behaviors and Rheological Responses of Two Terminally Functionalized Polyisoprenes with Different Quadruple Hydrogen Bonding Motifs 450
Individualized positive end-expiratory pressure in laparoscopic surgery: a randomized controlled trial 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 工程类 有机化学 物理 生物化学 纳米技术 计算机科学 化学工程 内科学 复合材料 物理化学 电极 遗传学 量子力学 基因 冶金 催化作用
热门帖子
关注 科研通微信公众号,转发送积分 3761727
求助须知:如何正确求助?哪些是违规求助? 3305495
关于积分的说明 10134394
捐赠科研通 3019564
什么是DOI,文献DOI怎么找? 1658199
邀请新用户注册赠送积分活动 791974
科研通“疑难数据库(出版商)”最低求助积分说明 754751