亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

UN-SAM: Universal Prompt-Free Segmentation for Generalized Nuclei Images

分割 计算机科学 人工智能 计算机视觉
作者
Zhe Chen,Qiang Xu,Xinyu Liu,Yixuan Yuan
出处
期刊:Cornell University - arXiv [Cornell University]
标识
DOI:10.48550/arxiv.2402.16663
摘要

In digital pathology, precise nuclei segmentation is pivotal yet challenged by the diversity of tissue types, staining protocols, and imaging conditions. Recently, the segment anything model (SAM) revealed overwhelming performance in natural scenarios and impressive adaptation to medical imaging. Despite these advantages, the reliance of labor-intensive manual annotation as segmentation prompts severely hinders their clinical applicability, especially for nuclei image analysis containing massive cells where dense manual prompts are impractical. To overcome the limitations of current SAM methods while retaining the advantages, we propose the Universal prompt-free SAM framework for Nuclei segmentation (UN-SAM), by providing a fully automated solution with remarkable generalization capabilities. Specifically, to eliminate the labor-intensive requirement of per-nuclei annotations for prompt, we devise a multi-scale Self-Prompt Generation (SPGen) module to revolutionize clinical workflow by automatically generating high-quality mask hints to guide the segmentation tasks. Moreover, to unleash the generalization capability of SAM across a variety of nuclei images, we devise a Domain-adaptive Tuning Encoder (DT-Encoder) to seamlessly harmonize visual features with domain-common and domain-specific knowledge, and further devise a Domain Query-enhanced Decoder (DQ-Decoder) by leveraging learnable domain queries for segmentation decoding in different nuclei domains. Extensive experiments prove that UN-SAM with exceptional performance surpasses state-of-the-arts in nuclei instance and semantic segmentation, especially the generalization capability in zero-shot scenarios. The source code is available at https://github.com/CUHK-AIM-Group/UN-SAM.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
朱志伟完成签到,获得积分10
3秒前
4秒前
高兴夏之完成签到,获得积分10
6秒前
CMJ发布了新的文献求助10
9秒前
pengua发布了新的文献求助10
10秒前
cheers完成签到,获得积分10
11秒前
Ava的应助被风趣含双采纳,获得10
11秒前
Jayzie完成签到 ,获得积分0
11秒前
14秒前
16秒前
田様的应助被soilman采纳,获得10
17秒前
19秒前
Yh发布了新的文献求助30
20秒前
20秒前
CMJ完成签到,获得积分10
20秒前
大个的应助被儒雅傲人采纳,获得10
21秒前
小马甲的应助被儒雅傲人采纳,获得10
21秒前
23秒前
Xenomorph发布了新的文献求助50
23秒前
小棉发布了新的文献求助10
24秒前
辛勤的涵菡完成签到,获得积分10
24秒前
Hello的应助被Brightfuture采纳,获得10
25秒前
风趣含双发布了新的文献求助10
26秒前
30秒前
33秒前
所所的应助被可乐采纳,获得10
35秒前
pengua发布了新的文献求助10
37秒前
yizimm完成签到 ,获得积分10
37秒前
40秒前
Lusteri完成签到 ,获得积分10
41秒前
板栗炒鸡完成签到,获得积分10
44秒前
45秒前
45秒前
畅快怜容完成签到,获得积分20
46秒前
敏感一一完成签到,获得积分10
47秒前
49秒前
49秒前
怡然的扬发布了新的文献求助10
52秒前
53秒前
Brightfuture发布了新的文献求助10
53秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8172954
求助须知:如何正确求助?哪些是违规求助? 9565479
关于积分的说明 21780097
捐赠科研通 7764853
什么是DOI,文献DOI怎么找? 3431513
关于科研通互助平台的介绍 2555530
邀请新用户注册赠送积分活动 2476595