MedPrompt: LLM–CNN Fusion with Weight Routing for Medical Image Segmentation and Classification

作者
Shadman Sobhan,Kazi Abrar Mahmud,Abduz Zami,Mohiuddin Ahmed,Md Palash Uddin
出处
期刊:Biomedical Signal Processing and Control [Elsevier BV]
卷期号:113: 109251-109251 被引量:5
标识
DOI:10.1016/j.bspc.2025.109251
摘要

Most existing medical image analysis systems are task-specific, requiring separate models for classification and segmentation, and lack the flexibility to support user-defined workflows expressed in natural language. Developing a prompt-driven medical assistant introduces significant challenges, including the need for large annotated datasets, integration of multimodal data (text and images), high computational demands, and the difficulty of adapting to diverse tasks without retraining. To address these challenges, we present MedPrompt, a unified and extensible framework that combines a few-shot prompted Large Language Model (LlaMA-4-17B) for task planning with a modular CNN architecture (DeepFusionLab) for image analysis. The LLM parses user instructions and generates structured JSON workflows, dynamically selecting and routing task-specific pretrained weights to DeepFusionLab—a strategy we term dynamic weight routing . This eliminates the need for retraining when adding new tasks and supports multi-stage and conditional task execution. We evaluate MedPrompt on 19 public datasets across 12 tasks and 5 imaging modalities. The system achieves 97% end-to-end correctness in interpreting and executing natural language prompts, with an average inference latency of 2.5 s on CPU—suitable for near real-time clinical applications. DeepFusionLab demonstrates strong segmentation accuracy (e.g., Dice ∼ 0.9856 for lungs) and classification performance (F1 ∼ 0.9744 for tuberculosis). Overall, MedPrompt offers a scalable, interpretable, and deployment-ready solution for prompt-driven medical image analysis across a wide range of clinical scenarios.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
AAA完成签到,获得积分10
1秒前
1秒前
哈47发布了新的文献求助10
1秒前
spinor完成签到,获得积分10
1秒前
xiaolong发布了新的文献求助10
2秒前
3秒前
dxl完成签到,获得积分10
3秒前
4秒前
里予完成签到,获得积分10
6秒前
8秒前
林结衣完成签到,获得积分10
10秒前
小荷才露尖尖角的应助被杨波采纳,获得50
11秒前
可爱的函函的应助被成就书芹采纳,获得10
13秒前
外向的沛柔完成签到,获得积分10
13秒前
lps888666发布了新的文献求助10
13秒前
砥砺前行发布了新的文献求助10
13秒前
专注的荧完成签到 ,获得积分10
13秒前
feixiangyyq完成签到,获得积分10
13秒前
慈祥的丹寒完成签到 ,获得积分10
14秒前
16秒前
王诗琪完成签到,获得积分10
17秒前
17秒前
miaomiao完成签到,获得积分20
17秒前
水煮电吹风的应助被心木采纳,获得10
17秒前
18秒前
阿狸完成签到,获得积分10
18秒前
18秒前
19秒前
20秒前
王诗琪发布了新的文献求助10
21秒前
bubu完成签到,获得积分10
22秒前
惠1发布了新的文献求助10
22秒前
111111完成签到,获得积分10
23秒前
24秒前
Elowen发布了新的文献求助30
25秒前
25秒前
友好绿草完成签到,获得积分10
25秒前
FG发布了新的文献求助10
26秒前
初一完成签到,获得积分10
26秒前
27秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
Boundaries and Bodhisattvas 500
高分子基功能界面水蒸发材料与应用研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8181658
求助须知:如何正确求助?哪些是违规求助? 9571454
关于积分的说明 21818081
捐赠科研通 7777987
什么是DOI,文献DOI怎么找? 3433508
关于科研通互助平台的介绍 2557696
邀请新用户注册赠送积分活动 2479568