A Hybrid YOLOv8 and Vision-Language Model Framework for Brain Tumor Localization and Classification

作者
J Sumanth,Reddi China Appala Naidu
出处
期刊:2018 2nd International Conference on Inventive Systems and Control (ICISC) 卷期号:: 937-944 被引量:2
标识
DOI:10.1109/icisc65841.2025.11188126
摘要

In medical imaging, identifying and categorizing brain tumors is crucial, where accurate localization and se-mantic interpretation of tumor regions can significantly impact clinical outcomes. This paper presents a hybrid framework that integrates object localization with semantic classification using a vision-language model (VLM). We employ the YOLOv8 architecture to detect and localize tumor regions in MRI brain scans, followed by a fine-tuned MedClipmodel that classi-fies the extracted tumor regions into four categories: glioma, meningioma, pituitary tumor, and no tumor. The MedCLIP model is adapted using a curated dataset of cropped tumor regions with clinical labels. The suggested method achieved a mean average precision (mAP@0.5) of 96.8 % for localization and a classification accuracy of 78 % for tumor type identification after being trained and assessed using publicly accessible brain MRI datasets. The approach also incorporates spatial heuristics to enhance detection performance in difficult cases such as pituitary tumors. Experimental results demonstrate that coupling VLMs with precise object localization enables accurate and interpretable tumor classification in MRI scans.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
小劳完成签到,获得积分10
1秒前
LIUJIE完成签到,获得积分10
1秒前
1秒前
活泼雪莲发布了新的文献求助10
1秒前
冬草完成签到,获得积分10
2秒前
情怀的应助被Benthesikyme采纳,获得10
2秒前
qaplay完成签到 ,获得积分0
2秒前
看文献完成签到,获得积分10
3秒前
chenying完成签到 ,获得积分0
7秒前
shuang完成签到,获得积分10
8秒前
8秒前
我就是KKKK完成签到,获得积分10
9秒前
gsxgg完成签到,获得积分10
11秒前
14秒前
快乐的小木虫完成签到,获得积分10
14秒前
csy完成签到,获得积分10
15秒前
fangyuan完成签到,获得积分10
16秒前
郑琦敏钰完成签到 ,获得积分10
17秒前
davyean完成签到,获得积分10
17秒前
aaa完成签到,获得积分10
17秒前
淡淡依霜完成签到 ,获得积分10
19秒前
辣条我有呀完成签到 ,获得积分10
19秒前
jiangsi完成签到 ,获得积分10
20秒前
酷炫的大碗完成签到,获得积分10
20秒前
Daisy完成签到 ,获得积分10
21秒前
执着的天使完成签到 ,获得积分10
22秒前
生动的乐曲完成签到,获得积分10
22秒前
ChengYonghui完成签到,获得积分10
23秒前
火星上蜜粉完成签到,获得积分10
24秒前
树妖三三完成签到,获得积分10
25秒前
25秒前
crab完成签到,获得积分10
26秒前
厉奕欣完成签到 ,获得积分10
27秒前
QwQ完成签到 ,获得积分10
30秒前
SSY发布了新的文献求助10
30秒前
Wei发布了新的文献求助20
33秒前
Orange的应助被酷酷的怀莲采纳,获得10
37秒前
39秒前
xfy的应助被科研通管家采纳,获得10
39秒前
淡然雁梅完成签到 ,获得积分10
40秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Hidden Empire of Finance: How Wall Street Profits from Our Cities and Fuels Global Inequality 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8166556
求助须知:如何正确求助?哪些是违规求助? 9559576
关于积分的说明 21750809
捐赠科研通 7757392
什么是DOI,文献DOI怎么找? 3429167
关于科研通互助平台的介绍 2553530
邀请新用户注册赠送积分活动 2473923