已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

Towards Zero-Shot Anomaly Detection and Reasoning with Multimodal Large Language Models

零(语言学) 计算机科学 异常检测 弹丸 异常(物理) 人工智能 物理 语言学 量子力学 哲学 化学 有机化学
作者
Jennifer Xu,Shao-Yuan Lo,Bardia Safaei,Vishal M. Patel,Isht Dwivedi
出处
期刊:Proceedings [Institute of Electrical and Electronics Engineers]
卷期号:: 20370-20382 被引量:51
标识
DOI:10.1109/cvpr52734.2025.01897
摘要

Zero-Shot Anomaly Detection (ZSAD) is an emerging AD paradigm. Unlike the traditional unsupervised AD setting that requires a large number of normal samples to train a model, ZSAD is more practical for handling data-restricted real-world scenarios. Recently, Multimodal Large Language Models (MLLMs) have shown revolutionary reasoning capabilities in various vision tasks. However, the reasoning of image abnormalities remains underexplored due to the lack of corresponding datasets and benchmarks. To facilitate research in AD & reasoning, we establish the first visual instruction tuning dataset, Anomaly-Instruct-125k, and the evaluation benchmark, VisA-D&R. Through investigation with our benchmark, we reveal that current MLLMs like GPT-4o cannot accurately detect and describe fine-grained anomalous details in images. To address this, we propose Anomaly-OneVision (Anomaly-OV), the first specialist visual assistant for ZSAD and reasoning. Inspired by human behavior in visual inspection, Anomaly-OV leverages a Look-Twice Feature Matching (LTFM) mechanism to adaptively select and emphasize abnormal visual tokens. Extensive experiments demonstrate that Anomaly-OV achieves significant improvements over advanced generalist models in both detection and reasoning. Extensions to medical and 3D AD are provided for future study. The link to our project page: https://xujiacong.github.io/Anomaly-OV/
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
2秒前
某某完成签到 ,获得积分10
2秒前
2秒前
syl完成签到,获得积分10
3秒前
3秒前
Yivano完成签到 ,获得积分10
3秒前
Pjmeng完成签到,获得积分10
4秒前
4秒前
aaa完成签到,获得积分10
4秒前
4秒前
今后的应助被碧蓝跳跳糖采纳,获得10
4秒前
秋风的应助被小孙采纳,获得10
4秒前
妞妞完成签到 ,获得积分10
5秒前
yzy发布了新的文献求助10
5秒前
5秒前
5秒前
Maestro_S的应助被十安采纳,获得10
6秒前
529发布了新的文献求助10
8秒前
羊咩咩发布了新的文献求助10
9秒前
111发布了新的文献求助10
9秒前
9秒前
Liona发布了新的文献求助10
10秒前
风吹麦浪的应助被chenming采纳,获得10
11秒前
11秒前
11秒前
12秒前
一颗蘑古力完成签到 ,获得积分10
12秒前
wang发布了新的文献求助10
12秒前
研友_VZG7GZ的应助被tingwaiwufengyu采纳,获得10
13秒前
顾矜的应助被529采纳,获得10
14秒前
14秒前
whz发布了新的文献求助10
15秒前
yzy完成签到,获得积分10
15秒前
Jasper的应助被爱笑的眼睛采纳,获得10
16秒前
奇迹完成签到,获得积分10
17秒前
17秒前
秃头泡泡发布了新的文献求助10
17秒前
Lucas的应助被栗子采纳,获得10
17秒前
钟zhong发布了新的文献求助10
17秒前
18秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
Grapes 1000
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8179198
求助须知:如何正确求助?哪些是违规求助? 9569781
关于积分的说明 21806509
捐赠科研通 7774542
什么是DOI,文献DOI怎么找? 3433008
关于科研通互助平台的介绍 2556929
邀请新用户注册赠送积分活动 2478652