Variable-Length Cognitive Diagnostic Computerized Adaptive Testing in Small-Scale Assessments

计算机科学 计算机化自适应测验 过度拟合 校准 机器学习 可靠性(半导体) 参数统计 非参数统计 人工智能 样品(材料) 样本量测定 认知 可扩展性 数据挖掘 贝叶斯概率 项目反应理论 质量(理念) 限制 自适应采样 认知测验 心理测量学 形成性评价 采样(信号处理) 质量保证 贝叶斯定理 统计假设检验
作者
Pablo Nájera,Miguel Ángel Sorrel,Chia-Yi Chiu,Francisco José Abad
出处
期刊:Journal of Educational and Behavioral Statistics [SAGE Publishing]
卷期号:51 (4): 908-937 被引量:2
标识
DOI:10.3102/10769986251366581
摘要

This study examines innovative procedures for cognitive diagnostic computerized adaptive testing (CD-CAT) in small-scale assessments. Traditional CD-CAT methods, based on parametric cognitive diagnostic models (CDMs), often struggle with small calibration samples, leading to overfitting and overestimated reliability. Nonparametric alternatives, while more robust in small-scale settings, lack reliability information, limiting classification certainty and variable-length adaptive testing. To address these challenges, we propose four CD-CAT procedures using the parsimonious restricted deterministic input, noisy “and” gate (R-DINA) model, a parametric CDM tailored for small samples. Two of these procedures use a calibration sample (R-GDI and R-NPS), while the other two are calibration-free methods (R-NPS ML and R-NPS BM ). Through a simulation study, where calibration sample size, number of attributes, and item quality were manipulated, we compare these methods to the conventional CD-CAT based on the DINA model. Results indicate that R-GDI and R-NPS consistently outperform the conventional CD-CAT in terms of more accurate posterior probability recovery, classification accuracy, and balanced item usage, although they administer a larger number of items. The calibration-free methods also perform satisfactorily but exhibit reliability overestimation with low-quality items. Overall, the proposed procedures offer practical solutions for formative assessments in educational contexts characterized by small sample sizes and time constraints. We provide recommendations for the use and scalability of these methods in real educational settings.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
秋风的应助被白江虎采纳,获得10
1秒前
今后的应助被Chllerye采纳,获得10
2秒前
3秒前
科研通AI65的应助被轻松的翎采纳,获得10
3秒前
深情安青的应助被超级拉瓦锡采纳,获得10
3秒前
科研通AI65的应助被yuzu采纳,获得10
3秒前
虚幻的安容完成签到 ,获得积分10
4秒前
5秒前
天天快乐的应助被奶奶的龙采纳,获得50
5秒前
6秒前
海边的月亮完成签到,获得积分10
7秒前
7秒前
7秒前
隐隐完成签到,获得积分10
7秒前
十三发布了新的文献求助10
8秒前
8秒前
852的应助被猪猪猪采纳,获得10
9秒前
TOMORROW发布了新的文献求助10
9秒前
kk发布了新的文献求助10
10秒前
年轻映安发布了新的文献求助10
10秒前
11秒前
hiraabb完成签到 ,获得积分10
11秒前
xxxhhaoxxx发布了新的文献求助10
12秒前
00hello00发布了新的文献求助10
12秒前
寒鸦浮水完成签到,获得积分10
13秒前
独孤蚕完成签到,获得积分10
13秒前
隐隐发布了新的文献求助10
13秒前
炜豪发布了新的文献求助10
14秒前
科研通AI6.2的应助被匆匆采纳,获得10
14秒前
南科易梦发布了新的文献求助10
15秒前
菠萝完成签到 ,获得积分10
15秒前
Lucas的应助被乌贼爱吃采纳,获得10
16秒前
善良的汉堡完成签到 ,获得积分10
16秒前
mmm发布了新的文献求助10
16秒前
研友_VZG7GZ的应助被Yoghurt采纳,获得30
16秒前
16秒前
16秒前
17秒前
heng发布了新的文献求助38
17秒前
17秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8194041
求助须知:如何正确求助?哪些是违规求助? 9579979
关于积分的说明 21868799
捐赠科研通 7793641
什么是DOI,文献DOI怎么找? 3437477
关于科研通互助平台的介绍 2560942
邀请新用户注册赠送积分活动 2484251