A Changepoint Rule for Determining Bicluster Retention Cutoffs in Cheating Detection

作弊 水准点(测量) 假阳性悖论 切断 残余物 真阳性率 计算机科学 灵敏度(控制系统) 统计 人工智能 统计假设检验 假阳性和假阴性 模式识别(心理学) 启发式 数据挖掘 考试(生物学) 机器学习 数学 序列(生物学) 基础(线性代数) 双聚类 计量经济学 心理学 蒙特卡罗方法 卡帕 实证研究 统计分析
作者
Hyeryung Lee
出处
期刊:Educational and Psychological Measurement [SAGE Publishing]
卷期号:: 00131644261459591-00131644261459591
标识
DOI:10.1177/00131644261459591
摘要

In test cheating detection, biclustering can be used to identify localized groups of examinees who share unusual response patterns, but an unresolved practical issue is determining how many extracted biclusters should be retained and how many examinees should be flagged. Retaining too many biclusters may increase false positives by capturing weak or noise-driven patterns, whereas retaining too few may miss meaningful cheating structures. This study proposes a changepoint-based retention rule that uses the ordered sequence of bicluster p values to identify where strong cheating-related evidence begins to give way to weaker residual patterns, thereby providing a data-driven cutoff for bicluster retention. The method was evaluated using two operational test forms with known cheating labels and a simulation study that varied cheating type, test length, and the proportion of compromised items. Label-based benchmark cutoffs were defined using the F1-score, balanced accuracy, and Youden’s index, with the F1-score treated as the primary benchmark. In the empirical analysis, the estimated changepoints closely aligned with the F1-based benchmark, yielding the same sensitivity and slightly lower specificity across both forms. In the simulation study, the estimated changepoint generally approximated the F1-based benchmark but tended to select more conservative retention cutoffs, resulting in lower sensitivity and small specificity differences across conditions. These findings suggest that the proposed rule can provide a useful basis for determining how many biclusters to flag for further review in operational cheating-detection settings.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
飘逸的苡发布了新的文献求助10
刚刚
Ava的应助被Yaya采纳,获得10
1秒前
2秒前
萧小五发布了新的文献求助10
4秒前
4秒前
小米椒完成签到 ,获得积分10
4秒前
4秒前
lulu8809完成签到,获得积分10
5秒前
自由的凌雪完成签到,获得积分10
5秒前
5秒前
下小雨发布了新的文献求助10
5秒前
ding的应助被丫丫仁采纳,获得10
6秒前
情怀的应助被优美的冷雪采纳,获得10
7秒前
可爱的函函的应助被积极鱼采纳,获得10
7秒前
8秒前
甜甜天德发布了新的文献求助10
8秒前
9秒前
mm发布了新的文献求助30
9秒前
brokey完成签到,获得积分10
9秒前
888发布了新的文献求助10
13秒前
下小雨完成签到,获得积分10
13秒前
14秒前
个性向卉发布了新的文献求助10
14秒前
14秒前
14秒前
打打的应助被丹丹采纳,获得10
15秒前
16秒前
zuo20050727发布了新的文献求助10
16秒前
16秒前
orixero的应助被WYL采纳,获得10
16秒前
17秒前
GIN的应助被浮云采纳,获得20
17秒前
18秒前
zuo20050727发布了新的文献求助10
18秒前
18秒前
弗洛伊德的梦完成签到,获得积分10
18秒前
内向盼秋完成签到,获得积分10
19秒前
zuo20050727发布了新的文献求助10
19秒前
1asfdwe完成签到 ,获得积分10
19秒前
19秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8193361
求助须知:如何正确求助?哪些是违规求助? 9579602
关于积分的说明 21866201
捐赠科研通 7792983
什么是DOI,文献DOI怎么找? 3437263
关于科研通互助平台的介绍 2560718
邀请新用户注册赠送积分活动 2484082