Boosting Dermatoscopic Lesion Segmentation via Diffusion Models with Visual and Textual Prompts

Boosting(机器学习) 计算机科学 分割 人工智能 生成语法 生成模型 图像质量 计算机视觉 图像(数学) 模式识别(心理学)
作者
Shiwei Du,Xiaosong Wang,Yongyi Lu,Yuyin Zhou,Shaoting Zhang,Alan Yuille,Kang Li,Zongwei Zhou
出处
期刊:Cornell University - arXiv
标识
DOI:10.48550/arxiv.2310.02906
摘要

Image synthesis approaches, e.g., generative adversarial networks, have been popular as a form of data augmentation in medical image analysis tasks. It is primarily beneficial to overcome the shortage of publicly accessible data and associated quality annotations. However, the current techniques often lack control over the detailed contents in generated images, e.g., the type of disease patterns, the location of lesions, and attributes of the diagnosis. In this work, we adapt the latest advance in the generative model, i.e., the diffusion model, with the added control flow using lesion-specific visual and textual prompts for generating dermatoscopic images. We further demonstrate the advantage of our diffusion model-based framework over the classical generation models in both the image quality and boosting the segmentation performance on skin lesions. It can achieve a 9% increase in the SSIM image quality measure and an over 5% increase in Dice coefficients over the prior arts.

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
长安完成签到,获得积分10
8秒前
甜蜜发带完成签到 ,获得积分10
9秒前
Lilycat完成签到 ,获得积分10
9秒前
jasmine完成签到 ,获得积分10
14秒前
Hiker完成签到,获得积分10
26秒前
奶糖喵完成签到 ,获得积分10
29秒前
nanonamo完成签到,获得积分10
32秒前
伶俐绿海完成签到 ,获得积分10
40秒前
Steven完成签到,获得积分10
42秒前
倪小呆完成签到 ,获得积分10
1分钟前
liuq完成签到,获得积分20
1分钟前
mailgo完成签到,获得积分10
1分钟前
金生六完成签到 ,获得积分10
1分钟前
所所应助liuq采纳,获得10
1分钟前
淡淡菠萝完成签到 ,获得积分10
1分钟前
1分钟前
踏实手套完成签到 ,获得积分10
1分钟前
ashley325完成签到 ,获得积分10
1分钟前
liuq发布了新的文献求助10
1分钟前
但大图完成签到 ,获得积分10
1分钟前
chen完成签到,获得积分10
1分钟前
小明完成签到,获得积分10
2分钟前
2分钟前
知行合一完成签到 ,获得积分10
2分钟前
崔宁宁完成签到 ,获得积分10
2分钟前
陈荣完成签到 ,获得积分10
2分钟前
gogogo完成签到,获得积分10
2分钟前
mgqqlwq发布了新的文献求助10
2分钟前
HS完成签到,获得积分10
2分钟前
yes完成签到 ,获得积分10
2分钟前
英姑应助科研通管家采纳,获得10
2分钟前
科研通AI2S应助科研通管家采纳,获得10
2分钟前
BLAZe完成签到 ,获得积分10
2分钟前
岑靖仇完成签到 ,获得积分10
2分钟前
自由的亿先完成签到 ,获得积分10
3分钟前
guantlv完成签到,获得积分10
3分钟前
cyril完成签到 ,获得积分10
3分钟前
lyly完成签到,获得积分10
3分钟前
回首不再是少年完成签到,获得积分10
3分钟前
Oneplusssss完成签到 ,获得积分10
3分钟前
高分求助中
Un calendrier babylonien des travaux, des signes et des mois: Séries iqqur îpuš 1036
Sustainable Land Management: Strategies to Cope with the Marginalisation of Agriculture 1000
Corrosion and Oxygen Control 600
Python Programming for Linguistics and Digital Humanities: Applications for Text-Focused Fields 500
Heterocyclic Stilbene and Bibenzyl Derivatives in Liverworts: Distribution, Structures, Total Synthesis and Biological Activity 500
重庆市新能源汽车产业大数据招商指南(两链两图两池两库两平台两清单两报告) 400
Division and square root. Digit-recurrence algorithms and implementations 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 有机化学 工程类 生物化学 纳米技术 物理 内科学 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 电极 光电子学 量子力学
热门帖子
关注 科研通微信公众号,转发送积分 2546110
求助须知:如何正确求助?哪些是违规求助? 2175672
关于积分的说明 5600244
捐赠科研通 1896399
什么是DOI,文献DOI怎么找? 946268
版权声明 565379
科研通“疑难数据库(出版商)”最低求助积分说明 503557