清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

An Iterative Method for Unsupervised Robust Anomaly Detection Under Data Contamination

异常检测 正态性 计算机科学 稳健性(进化) 异常(物理) 水准点(测量) 人工智能 离群值 数据挖掘 机器学习 超参数 模式识别(心理学) 数学 统计 凝聚态物理 基因 物理 化学 大地测量学 地理 生物化学
作者
Minkyung Kim,Jongmin Yu,Junsik Kim,Tae-Hyun Oh,Jun Kyun Choi
出处
期刊:IEEE transactions on neural networks and learning systems [Institute of Electrical and Electronics Engineers]
卷期号:35 (10): 13327-13339 被引量:17
标识
DOI:10.1109/tnnls.2023.3267028
摘要

Most deep anomaly detection models are based on learning normality from datasets due to the difficulty of defining abnormality by its diverse and inconsistent nature. Therefore, it has been a common practice to learn normality under the assumption that anomalous data are absent in a training dataset, which we call normality assumption. However, in practice, the normality assumption is often violated due to the nature of real data distributions that includes anomalous tails, i.e., a contaminated dataset. Thereby, the gap between the assumption and actual training data affects detrimentally in learning of an anomaly detection model. In this work, we propose a learning framework to reduce this gap and achieve better normality representation. Our key idea is to identify sample-wise normality and utilize it as an importance weight, which is updated iteratively during the training. Our framework is designed to be model-agnostic and hyperparameter insensitive so that it applies to a wide range of existing methods without careful parameter tuning. We apply our framework to three different representative approaches of deep anomaly detection that are classified into one-class classification-, probabilistic model-, and reconstruction-based approaches. In addition, we address the importance of a termination condition for iterative methods and propose a termination criterion inspired by the anomaly detection objective. We validate that our framework improves the robustness of the anomaly detection models under different levels of contamination ratios on five anomaly detection benchmark datasets and two image datasets. On various contaminated datasets, our framework improves the performance of three representative anomaly detection methods, measured by area under the ROC curve.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
车厘子完成签到,获得积分10
16秒前
含蓄的新柔完成签到,获得积分10
22秒前
虫子完成签到,获得积分10
25秒前
spinon完成签到,获得积分10
40秒前
乐乐的应助被虚幻乌冬面采纳,获得10
44秒前
55秒前
香蕉觅云的应助被GIA采纳,获得10
57秒前
披着羊皮的狼完成签到 ,获得积分0
1分钟前
沉默怡完成签到,获得积分10
1分钟前
岳鑫完成签到,获得积分10
1分钟前
1分钟前
科研通AI6.3的应助被紫熊采纳,获得10
1分钟前
1分钟前
虚幻乌冬面完成签到,获得积分10
2分钟前
2分钟前
故意的绿真完成签到,获得积分10
2分钟前
MassTestA1的应助被科研通管家采纳,获得20
2分钟前
系统昵称完成签到,获得积分10
2分钟前
Wayne完成签到 ,获得积分10
2分钟前
整齐念薇完成签到,获得积分10
2分钟前
Imran完成签到,获得积分10
3分钟前
风趣馒头完成签到,获得积分10
3分钟前
wuxu完成签到,获得积分10
3分钟前
zjy完成签到,获得积分10
3分钟前
zilv完成签到,获得积分10
3分钟前
3分钟前
紫熊发布了新的文献求助10
3分钟前
矮小的语海完成签到,获得积分10
3分钟前
如歌完成签到,获得积分10
3分钟前
如意嫣完成签到,获得积分10
3分钟前
4分钟前
雪山飞龙完成签到,获得积分10
4分钟前
4分钟前
晚晚的应助被紫熊采纳,获得10
4分钟前
OK的应助被xfy采纳,获得200
4分钟前
优雅的傲柏完成签到,获得积分10
5分钟前
紫熊完成签到,获得积分10
5分钟前
铭坤完成签到 ,获得积分10
5分钟前
linllll完成签到,获得积分10
5分钟前
ding的应助被小文同学采纳,获得20
5分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8195212
求助须知:如何正确求助?哪些是违规求助? 9580926
关于积分的说明 21873010
捐赠科研通 7795208
什么是DOI,文献DOI怎么找? 3437967
关于科研通互助平台的介绍 2561284
邀请新用户注册赠送积分活动 2484694