A Deep Learning Multimodal Fusion-Based Method for Cell and Nucleus Segmentation

分割 计算机科学 人工智能 深度学习 基本事实 图像分割 模式识别(心理学) 计算机视觉 模态(人机交互)
作者
Bin Shen,Zhen Gu,Jiale Zhou,Bingyong Yan,Yiquan Fang,Huifeng Wang
出处
期刊:IEEE Transactions on Medical Imaging [Institute of Electrical and Electronics Engineers]
卷期号:45 (1): 112-124 被引量:5
标识
DOI:10.1109/tmi.2025.3592625
摘要

In recent years, deep learning has been widely utilized in the fields of biomedical image segmentation and cellular image analysis. Supervised deep neural networks trained on annotated data have demonstrated good performance in tasks related to cell and nucleus segmentation. However, the use of supervised models necessitates carefully constructed training data and a substantial amount of ground truth information. Unfortunately, high-quality annotated data for cellular images are scarce. To address the issue of limited datasets, we propose a cell and nucleus segmentation method based on deep learning multimodal fusion. The proposed method includes three modules: a segmentation fundamental module, a multimodal prompter module, and an object output module. This comprehensive approach enables cell and nucleus segmentation tasks to be performed without the need for retraining on new data. The segmentation fundamental module is the core of the framework, as it provides essential segmentation capabilities. By leveraging preexisting models trained on natural imagery, this module effectively performs cell segmentation by incorporating prior knowledge. The multimodal prompter module, a pretrained model, aids in combining image and textual information. It employs a data fusion technique for multiple modalities to deliver prompts that steer the network's output, thereby avoiding the constraints inherent to single-modality approaches. The object output module combines the inputs from the preceding modules to generate the final segmentation output. The experimental validation confirms the superiority of the proposed method, which outperforms comparative methods in cell and nucleus segmentation tasks and has promise for future applications in cell tracking.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
拓木幸子完成签到,获得积分10
刚刚
qc完成签到,获得积分10
1秒前
天天快乐的应助被瓅芩采纳,获得10
1秒前
fei完成签到 ,获得积分10
1秒前
zzzyyyuuu完成签到 ,获得积分0
1秒前
1秒前
1秒前
2秒前
讨厌鬼发布了新的文献求助10
2秒前
shawfang发布了新的文献求助10
2秒前
LIYUZHEN完成签到,获得积分10
2秒前
coozrasimon发布了新的文献求助30
3秒前
外向白开水完成签到,获得积分10
3秒前
随便完成签到,获得积分10
4秒前
陈夏萍完成签到 ,获得积分10
4秒前
勤奋乐天完成签到,获得积分10
4秒前
在水一方的应助被泡芙采纳,获得10
4秒前
5秒前
6秒前
平常从蓉完成签到,获得积分0
6秒前
7秒前
shiqiyuan发布了新的文献求助10
7秒前
完美世界的应助被募雨qaq采纳,获得10
7秒前
sylus完成签到,获得积分10
7秒前
丁丁当当发布了新的文献求助30
8秒前
黎明完成签到,获得积分10
8秒前
RexG完成签到,获得积分10
8秒前
大王叫我来巡山完成签到,获得积分10
8秒前
你猜我是谁完成签到,获得积分10
9秒前
9秒前
9秒前
讨厌鬼完成签到,获得积分10
9秒前
Huang完成签到,获得积分10
9秒前
shawfang完成签到,获得积分10
10秒前
fyy完成签到 ,获得积分10
10秒前
开心丸子头完成签到,获得积分10
10秒前
俏皮的玉米完成签到,获得积分10
10秒前
怀素完成签到,获得积分10
11秒前
余香的应助被高大的未来采纳,获得10
11秒前
9iiie发布了新的文献求助10
11秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology)求助 1000
Encyclopedia of Modern Artificial Intelligence 1000
John McDowells Bildungstheorie 800
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
Synthesis, Application and Future Perspectives of Smart Nano-materials - Part 1 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8153509
求助须知:如何正确求助?哪些是违规求助? 9550216
关于积分的说明 21697167
捐赠科研通 7742065
什么是DOI,文献DOI怎么找? 3425525
关于科研通互助平台的介绍 2550636
邀请新用户注册赠送积分活动 2469175