清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

F-Fidelity: A Robust Framework for Faithfulness Evaluation of Explainable AI

忠诚 计算机科学 人工智能 电信
作者
Xu Zheng,Farhad Shirani,Zhuomin Chen,Chaohao Lin,Wei Cheng,Wenbo Guo,Dongsheng Luo
出处
期刊:Cornell University - arXiv [Cornell University]
标识
DOI:10.48550/arxiv.2410.02970
摘要

Recent research has developed a number of eXplainable AI (XAI) techniques. Although extracting meaningful insights from deep learning models, how to properly evaluate these XAI methods remains an open problem. The most widely used approach is to perturb or even remove what the XAI method considers to be the most important features in an input and observe the changes in the output prediction. This approach although efficient suffers the Out-of-Distribution (OOD) problem as the perturbed samples may no longer follow the original data distribution. A recent method RemOve And Retrain (ROAR) solves the OOD issue by retraining the model with perturbed samples guided by explanations. However, the training may not always converge given the distribution difference. Furthermore, using the model retrained based on XAI methods to evaluate these explainers may cause information leakage and thus lead to unfair comparisons. We propose Fine-tuned Fidelity F-Fidelity, a robust evaluation framework for XAI, which utilizes i) an explanation-agnostic fine-tuning strategy, thus mitigating the information leakage issue and ii) a random masking operation that ensures that the removal step does not generate an OOD input. We designed controlled experiments with state-of-the-art (SOTA) explainers and their degraded version to verify the correctness of our framework. We conducted experiments on multiple data structures, such as images, time series, and natural language. The results demonstrate that F-Fidelity significantly improves upon prior evaluation metrics in recovering the ground-truth ranking of the explainers. Furthermore, we show both theoretically and empirically that, given a faithful explainer, F-Fidelity metric can be used to compute the sparsity of influential input components, i.e., to extract the true explanation size.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
贪玩鸣凤完成签到,获得积分10
14秒前
哈哈哈哈完成签到 ,获得积分10
16秒前
孝顺的丹烟完成签到,获得积分10
24秒前
24秒前
王誉霖发布了新的文献求助10
26秒前
31秒前
楚楚完成签到 ,获得积分10
33秒前
35秒前
王誉霖完成签到,获得积分10
36秒前
大方定帮完成签到,获得积分10
46秒前
合适乐巧完成签到 ,获得积分10
49秒前
缓慢凛完成签到,获得积分10
49秒前
ghost完成签到 ,获得积分10
55秒前
稳重傲柔完成签到,获得积分10
55秒前
万能图书馆的应助被边疆采纳,获得10
1分钟前
温柔的海秋完成签到,获得积分10
1分钟前
1分钟前
任性的千筹完成签到,获得积分10
1分钟前
边疆发布了新的文献求助10
1分钟前
单薄飞双完成签到,获得积分10
1分钟前
Jzhaoc580完成签到 ,获得积分10
1分钟前
边疆完成签到,获得积分10
1分钟前
1分钟前
麦子发布了新的文献求助10
1分钟前
李木禾完成签到 ,获得积分10
1分钟前
Hello的应助被麦子采纳,获得10
2分钟前
俭朴迎荷完成签到,获得积分10
2分钟前
2分钟前
今后的应助被catalyst326采纳,获得10
2分钟前
冥土追魂发布了新的文献求助10
2分钟前
震动的醉蓝完成签到,获得积分10
2分钟前
慕青的应助被冥土追魂采纳,获得10
2分钟前
Jasper的应助被wei采纳,获得10
2分钟前
星辰大海的应助被好牛采纳,获得10
2分钟前
jingluo完成签到 ,获得积分10
2分钟前
2分钟前
平淡水之完成签到,获得积分10
2分钟前
好牛发布了新的文献求助10
2分钟前
白面包不吃鱼完成签到 ,获得积分10
2分钟前
毛毛弟完成签到 ,获得积分10
3分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Hidden Empire of Finance: How Wall Street Profits from Our Cities and Fuels Global Inequality 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8166463
求助须知:如何正确求助?哪些是违规求助? 9559494
关于积分的说明 21750516
捐赠科研通 7757246
什么是DOI,文献DOI怎么找? 3429141
关于科研通互助平台的介绍 2553507
邀请新用户注册赠送积分活动 2473845