Projective independence tests in high dimensions: the curses and the cures

数学 空分布 投影(关系代数) 独立性(概率论) 单变量 检验统计量 空(SQL) 距离相关 无效假设 随机投影 统计的 统计假设检验 投影寻踪 随机变量 多元随机变量 样本量测定 相关性 算法 渐近分布 统计 多元统计 估计员 计算机科学 数据挖掘 几何学
作者
Zhang Yao-wu,Li Zhu
出处
期刊:Biometrika [Oxford University Press]
卷期号:111 (3): 1013-1027 被引量:11
标识
DOI:10.1093/biomet/asad070
摘要

Summary Testing independence between high-dimensional random vectors is fundamentally different from testing independence between univariate random variables. Taking the projection correlation as an example, it suffers from at least three problems. First, it has a high computational complexity of O{n3(p+q)}, where n, p and q are the sample size and dimensions of the random vectors; this limits its usefulness substantially when n is extremely large. Second, the asymptotic null distribution of the projection correlation test is rarely tractable; therefore, random permutations are often suggested as a means of approximating the asymptotic null distribution, which further increases the complexity of implementing independence tests. Third, the power performance of the projection correlation test deteriorates in high dimensions. To address these issues, the projection correlation is improved by using a modified weight function, which reduces the complexity to O{n2(p+q)}. We estimate the improved projection correlation with U-statistic theory. Importantly, its asymptotic null distribution is standard normal, thanks to the high dimesnionality of the random vectors. This expedites the implementation of independence tests substantially. To enhance the power performance in high dimensions, we propose incorporating a cross-validation procedure with feature screening into the projection correlation test. The implementation efficacy and power enhancement are confirmed through extensive numerical studies.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
FXL完成签到,获得积分20
1秒前
伊呀呀呀发布了新的文献求助10
1秒前
1秒前
2秒前
3秒前
英吉利25发布了新的文献求助30
3秒前
4秒前
喜悦的半青完成签到 ,获得积分10
4秒前
隔壁家完成签到,获得积分10
5秒前
6秒前
优雅雁菡完成签到 ,获得积分10
6秒前
7秒前
灵巧完成签到,获得积分10
7秒前
scup完成签到,获得积分10
7秒前
liu发布了新的文献求助30
8秒前
cpx完成签到 ,获得积分10
8秒前
8秒前
小六子发布了新的文献求助10
9秒前
诚心巧曼完成签到 ,获得积分10
9秒前
清清清完成签到 ,获得积分10
9秒前
六千里大风完成签到,获得积分10
9秒前
Ly发布了新的文献求助30
9秒前
缥缈天思发布了新的文献求助10
10秒前
BingoTang完成签到,获得积分10
10秒前
fsxadada123发布了新的文献求助10
11秒前
12秒前
kathy完成签到,获得积分10
14秒前
陈平安完成签到,获得积分10
14秒前
调皮从筠发布了新的文献求助20
16秒前
Whahahaha完成签到 ,获得积分10
16秒前
yyy完成签到,获得积分10
17秒前
18秒前
乐进完成签到,获得积分10
18秒前
Liii完成签到 ,获得积分10
20秒前
ashura完成签到,获得积分10
20秒前
wow完成签到,获得积分10
22秒前
22秒前
23秒前
cnin完成签到,获得积分20
24秒前
25秒前
高分求助中
The Graphene Handbook (2019 Edition) 800
Signals, Systems, and Signal Processing 610
IEST-RP-CC018: Cleanroom Cleaning and Sanitization: Operating and Monitoring Procedures 600
Fundamentals of Pharmaceutical and Biologics Regulations: A Global Perspective, Second Edition 600
久松真一著作集〈第5巻〉禅と芸術 500
Fundamentals of Modern Mathematics: A Practical Review (Dover Books on Mathematics) 500
Cold War Transcended: Australia's China Policy, 1949-1990 470
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 工程类 有机化学 化学工程 生物化学 计算机科学 物理 内科学 复合材料 催化作用 物理化学 光电子学 电极 细胞生物学 基因 无机化学
热门帖子
关注 科研通微信公众号,转发送积分 6600358
求助须知:如何正确求助?哪些是违规求助? 8369268
关于积分的说明 17913310
捐赠科研通 5755571
什么是DOI,文献DOI怎么找? 2954386
邀请新用户注册赠送积分活动 1929571
关于科研通互助平台的介绍 1825176