Bridged Semantic Alignment for Zero-Shot 3D Medical Image Diagnosis

计算机科学 水准点(测量) 自动汇总 人工智能 语义鸿沟 语义学(计算机科学) 构造(python库) 机器学习 桥(图论) 医学影像学 自然语言处理 图像(数学) 特征提取 可视化 训练集 情报检索 模式识别(心理学) 监督学习 深度学习 统一医学语言系统 语义相似性 异常 图像分割 分割 方向(向量空间) 计算机视觉 数据挖掘
作者
Haoran Lai,Zihang Jiang,Qingsong Yao,Rongsheng Wang,Zhiyang He,Xiaodong Tao,Weifu Lv,Wei Wei,S. Kevin Zhou
出处
期刊:IEEE Journal of Biomedical and Health Informatics [Institute of Electrical and Electronics Engineers]
卷期号:PP: 1-14
标识
DOI:10.1109/jbhi.2025.3629096
摘要

3D medical images such as computed tomography are widely used in clinical practice, offering a great potential for automatic diagnosis. Supervised learning-based approaches have achieved significant progress but rely heavily on extensive manual annotations, limited by the availability of training data and the diversity of abnormality types. Vision-language alignment (VLA) offers a promising alternative by enabling zero-shot learning without additional annotations. However, we empirically discover that the visual and textural embeddings after alignment endeavors from existing VLA methods form two well-separated clusters, presenting a wide gap to be bridged. To bridge this gap, we propose a Bridged Semantic Alignment (BrgSA) framework. First, we utilize a large language model to perform semantic summarization of reports, extracting high-level semantic information. Second, we design a Cross-Modal Knowledge Interaction module that leverages a cross-modal knowledge bank as a semantic bridge, facilitating interaction between the two modalities, narrowing the gap, and improving their alignment. To comprehensively evaluate our method, we construct a benchmark dataset that includes 15 underrepresented abnormalities as well as utilize two existing benchmark datasets. Experimental results demonstrate that BrgSA achieves state-of-the-art performances on both public benchmark datasets and our custom-labeled dataset, with significant improvements in zero-shot diagnosis of underrepresented abnormalities.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
Iris发布了新的文献求助10
1秒前
yehata发布了新的文献求助10
1秒前
万能图书馆的应助被小Z采纳,获得10
1秒前
2秒前
2秒前
aaa完成签到,获得积分20
3秒前
陈门若市完成签到,获得积分20
3秒前
7788发布了新的文献求助10
4秒前
5秒前
隐形太英完成签到,获得积分10
5秒前
爆米花的应助被yehata采纳,获得10
6秒前
科研通AI6.4的应助被东风采纳,获得10
6秒前
xxxx的应助被东风采纳,获得10
6秒前
英俊的铭的应助被科研民工采纳,获得10
7秒前
挞挞黄发布了新的文献求助10
7秒前
8秒前
8秒前
坚定啤酒发布了新的文献求助10
8秒前
8秒前
栀子酒发布了新的文献求助10
8秒前
9秒前
贝奇发布了新的文献求助10
9秒前
NexusExplorer的应助被正途采纳,获得10
9秒前
liuying0627完成签到,获得积分10
9秒前
9秒前
星辰大海的应助被yuzhouhaohan采纳,获得10
10秒前
aaa发布了新的文献求助10
10秒前
JamesPei的应助被匆匆采纳,获得10
11秒前
木土月月禾呈完成签到,获得积分10
11秒前
chuchu完成签到 ,获得积分10
11秒前
12秒前
稳重沛白发布了新的文献求助10
12秒前
江花朝发布了新的文献求助10
13秒前
等待三德完成签到 ,获得积分10
13秒前
CodeCraft的应助被月夕花晨采纳,获得10
13秒前
研友_VZG7GZ的应助被toki采纳,获得10
13秒前
16秒前
molihuakai的应助被18756828852采纳,获得30
16秒前
YU发布了新的文献求助10
16秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Agyptische Geschichte der 21.30. Dynastie 510
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8192519
求助须知:如何正确求助?哪些是违规求助? 9579028
关于积分的说明 21863207
捐赠科研通 7792025
什么是DOI,文献DOI怎么找? 3436955
关于科研通互助平台的介绍 2560622
邀请新用户注册赠送积分活动 2483832