Multi-Grained Multimodal Interaction Network for Entity Linking

计算机科学 人工智能 背景(考古学) 水准点(测量) 模式 判别式 自然语言处理 一致性(知识库) 任务(项目管理) 机器学习 代表(政治) 相似性(几何) 图形 过程(计算) 理论计算机科学 图像(数学) 地理 法学 社会学 管理 经济 古生物学 大地测量学 操作系统 政治 生物 社会科学 政治学
作者
Pengfei Luo,Tong Xu,Shiwei Wu,Chen Zhu,Linli Xu,Enhong Chen
出处
期刊: [Association for Computing Machinery]
卷期号:: 1583-1594 被引量:29
标识
DOI:10.1145/3580305.3599439
摘要

Multimodal entity linking (MEL) task, which aims at resolving ambiguous mentions to a multimodal knowledge graph, has attracted wide attention in recent years. Though large efforts have been made to explore the complementary effect among multiple modalities, however, they may fail to fully absorb the comprehensive expression of abbreviated textual context and implicit visual indication. Even worse, the inevitable noisy data may cause inconsistency of different modalities during the learning process, which severely degenerates the performance. To address the above issues, in this paper, we propose a novel Multi-GraIned Multimodal InteraCtion Network (MIMIC) framework for solving the MEL task. Specifically, the unified inputs of mentions and entities are first encoded by textual/visual encoders separately, to extract global descriptive features and local detailed features. Then, to derive the similarity matching score for each mention-entity pair, we device three interaction units to comprehensively explore the intra-modal interaction and inter-modal fusion among features of entities and mentions. In particular, three modules, namely the Text-based Global-Local interaction Unit (TGLU), Vision-based DuaL interaction Unit (VDLU) and Cross-Modal Fusion-based interaction Unit (CMFU) are designed to capture and integrate the fine-grained representation lying in abbreviated text and implicit visual cues. Afterwards, we introduce a unit-consistency objective function via contrastive learning to avoid inconsistency and model degradation. Experimental results on three public benchmark datasets demonstrate that our solution outperforms various state-of-the-art baselines, and ablation studies verify the effectiveness of designed modules.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
可爱的路灯完成签到,获得积分10
1秒前
2秒前
2秒前
科研通AI2S的应助被苹果俊驰采纳,获得10
2秒前
红雨瓢泼完成签到,获得积分10
2秒前
xuexue完成签到,获得积分10
2秒前
缓慢的元槐完成签到,获得积分10
3秒前
vicissitude发布了新的文献求助10
3秒前
3秒前
Franklin发布了新的文献求助10
3秒前
慧子发布了新的文献求助10
4秒前
LL完成签到,获得积分10
4秒前
5秒前
5秒前
5秒前
5秒前
852的应助被哈基米大魔王采纳,获得10
5秒前
852的应助被归宁采纳,获得10
6秒前
白嫖怪发布了新的文献求助10
6秒前
6秒前
nicheng发布了新的文献求助10
6秒前
8秒前
852的应助被zizilala采纳,获得10
9秒前
FashionBoy的应助被科研通管家采纳,获得10
9秒前
9秒前
秋风的应助被科研通管家采纳,获得10
9秒前
英姑的应助被科研通管家采纳,获得10
9秒前
9秒前
无花果的应助被科研通管家采纳,获得10
10秒前
烟花的应助被科研通管家采纳,获得10
10秒前
共享精神的应助被科研通管家采纳,获得10
10秒前
10秒前
peeparo发布了新的文献求助20
10秒前
10秒前
科研通AI6.4的应助被科研通管家采纳,获得100
10秒前
null的应助被科研通管家采纳,获得10
10秒前
酷波er的应助被科研通管家采纳,获得10
10秒前
10秒前
SciGPT的应助被科研通管家采纳,获得10
11秒前
赘婿的应助被科研通管家采纳,获得10
11秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
Grapes 1000
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8178866
求助须知:如何正确求助?哪些是违规求助? 9569638
关于积分的说明 21805411
捐赠科研通 7774048
什么是DOI,文献DOI怎么找? 3432955
关于科研通互助平台的介绍 2556873
邀请新用户注册赠送积分活动 2478628