清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Explainable AI Framework for Accuracy, Fairness, and Learner Perception in English Writing Assessment

计算机科学 认知重构 可比性 调解 背景(考古学) 透明度(行为) 可用性 可读性 感知 写作评估 自然语言处理 心理学 人工智能 第一语言 应用心理学 衡平法 标杆管理 分层抽样 语言能力 联想(心理学) 理解力 可靠性(半导体) 模式 数学教育 可能性 忽视 增采样 机器学习 认知心理学 社会心理学 项目反应理论 匹配(统计)
作者
Meili Dai
出处
期刊:Journal of Visualized Experiments [MyJOVE]
卷期号: (226)
标识
DOI:10.3791/69841
摘要

In the context of global educational digital transformation, automated writing evaluation (AWE) has been widely adopted due to its real-time and standardized advantages; however, traditional accuracy-oriented frameworks often neglect equity concerns and learners' perceptions, thereby limiting transparency and educational value. To address this limitation, this research proposes an explainable AI (XAI) framework designed to provide transparent and interpretable feedback, allowing learners to understand and trust automated evaluation, and integrates a multi-level validation model, the Three-Level Evaluation Framework (TLEF), spanning technical accuracy, group and individual equity, and learner perception, together with the AI Fairness Mediation Model (AFMM). Using stratified random sampling, data were collected from 764 multilingual learners (native speakers of English, Chinese, and Spanish) across Common European Framework of Reference for Languages (CEFR) levels A2 to C1 through writing tasks, dual scoring by AI and human experts, and structured questionnaires. Instead of listing individual tests, multiple statistical analysis was employed to examine validity, fairness, and the learner-perception relationship. Statistical analyses combined correlation, root mean square error (RMSE), Equalized Odds testing, and Structural Equation Modeling (SEM). The findings reveal that while the AI-assisted writing evaluation (AWE) system (ETS Criterion) achieves overall validity (r = 0.82), significant disparities remain: Chinese native speakers demonstrate the lowest agreement with human raters (0.72) and the highest RMSE (median 2.15), fairness biases are most pronounced at lower proficiency levels (ΔEO = 0.15 for A2 learners), and perceived fairness fully mediates the link between perceived accuracy and learner satisfaction, with proficiency moderating fairness sensitivity. By reframing fairness and perception as essential dimensions of explainability, the research enhances the theoretical grounding of AWE and provides a practical pathway for increasing transparency, equity, and social acceptance in educational technologies.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
7秒前
纯情的阁完成签到,获得积分20
9秒前
xun发布了新的文献求助10
13秒前
23秒前
曾经的问夏完成签到 ,获得积分10
27秒前
怕黑的驳完成签到,获得积分10
27秒前
科研通AI6.4的应助被纯情的阁采纳,获得10
29秒前
科研通AI6.2的应助被纯情的阁采纳,获得10
29秒前
热心的以松完成签到,获得积分10
30秒前
体贴的电灯胆完成签到 ,获得积分10
38秒前
悲凉的雁芙完成签到,获得积分10
53秒前
自觉的三娘完成签到,获得积分10
59秒前
潇洒的老黑完成签到,获得积分10
59秒前
风趣香岚完成签到,获得积分10
1分钟前
jscshoping完成签到 ,获得积分10
1分钟前
迷路牛青完成签到,获得积分10
1分钟前
科研通AI6.2的应助被纯情的阁采纳,获得10
1分钟前
阳光手机完成签到,获得积分10
1分钟前
重要静柏完成签到,获得积分10
1分钟前
1分钟前
大个的应助被wangruida采纳,获得10
2分钟前
2分钟前
null的应助被科研通管家采纳,获得10
2分钟前
null的应助被科研通管家采纳,获得10
2分钟前
2分钟前
2分钟前
纯情的阁发布了新的文献求助10
2分钟前
玩命的怀绿完成签到,获得积分10
2分钟前
纯情的阁发布了新的文献求助10
2分钟前
纯情的阁发布了新的文献求助10
2分钟前
wangruida完成签到,获得积分10
2分钟前
科研通AI6.2的应助被纯情的阁采纳,获得10
2分钟前
2分钟前
wangruida发布了新的文献求助10
2分钟前
清爽水之完成签到,获得积分10
2分钟前
科研通AI6.2的应助被纯情的阁采纳,获得30
2分钟前
舒心鞋垫完成签到,获得积分10
2分钟前
合适的千秋完成签到,获得积分10
2分钟前
xun完成签到,获得积分10
2分钟前
2分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8158935
求助须知:如何正确求助?哪些是违规求助? 9554522
关于积分的说明 21719383
捐赠科研通 7748459
什么是DOI,文献DOI怎么找? 3427107
关于科研通互助平台的介绍 2552013
邀请新用户注册赠送积分活动 2471370