High-dimensional analysis of semidefinite relaxations for sparse principal components

数学 主成分分析 特征向量 维数(图论) 协方差矩阵 降维 半定规划 维数之咒 样本量测定 稀疏PCA 协方差 对角线的 应用数学 基质(化学分析) 简单(哲学) 样品(材料) 数学优化 阈值 功能(生物学) 集合(抽象数据类型) 基础(拓扑) 算法 对角矩阵 主对角线 内在维度 正定矩阵 协方差矩阵的估计 极限(数学) 组合数学 随机矩阵 度量(数据仓库)
作者
Arash A. Amini,Martin J. Wainwright
出处
期刊:Annals of Statistics [Institute of Mathematical Statistics]
卷期号:37 (5B): 2877-2921 被引量:267
标识
DOI:10.1214/08-aos664
摘要

Principal component analysis (PCA) is a classical method for dimensionality reduction based on extracting the dominant eigenvectors of the sample covariance matrix. However, PCA is well known to behave poorly in the “large p, small n” setting, in which the problem dimension p is comparable to or larger than the sample size n. This paper studies PCA in this high-dimensional regime, but under the additional assumption that the maximal eigenvector is sparse, say, with at most k nonzero components. We consider a spiked covariance model in which a base matrix is perturbed by adding a k-sparse maximal eigenvector, and we analyze two computationally tractable methods for recovering the support set of this maximal eigenvector, as follows: (a) a simple diagonal thresholding method, which transitions from success to failure as a function of the rescaled sample size θdia(n, p, k)=n/[k2log(p−k)]; and (b) a more sophisticated semidefinite programming (SDP) relaxation, which succeeds once the rescaled sample size θsdp(n, p, k)=n/[klog(p−k)] is larger than a critical threshold. In addition, we prove that no method, including the best method which has exponential-time complexity, can succeed in recovering the support if the order parameter θsdp(n, p, k) is below a threshold. Our results thus highlight an interesting trade-off between computational and statistical efficiency in high-dimensional inference.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
1秒前
1秒前
赘婿的应助被思思采纳,获得10
2秒前
mmyhn发布了新的文献求助10
2秒前
123发布了新的文献求助10
2秒前
2秒前
3秒前
zs发布了新的文献求助10
3秒前
4秒前
南荒完成签到,获得积分10
4秒前
可爱的函函的应助被lou采纳,获得10
5秒前
6秒前
做文章要专心完成签到 ,获得积分10
6秒前
wang发布了新的文献求助10
7秒前
英勇的鹰发布了新的文献求助10
7秒前
感动妙松发布了新的文献求助10
7秒前
LLL123发布了新的文献求助10
7秒前
RSU完成签到,获得积分10
8秒前
8秒前
future完成签到,获得积分10
9秒前
9秒前
10秒前
喻贡金发布了新的文献求助10
10秒前
hill完成签到,获得积分10
10秒前
ZZZ完成签到,获得积分10
11秒前
11秒前
11秒前
13秒前
13秒前
15秒前
天天快乐的应助被tomatoGG采纳,获得10
15秒前
糊涂的剑发布了新的文献求助10
15秒前
拼搏的潘子完成签到,获得积分10
15秒前
斯文败类的应助被wangjie采纳,获得10
16秒前
16秒前
sun完成签到,获得积分10
16秒前
Aming关注了科研通微信公众号
17秒前
CarryLJR的应助被zxd采纳,获得10
17秒前
liyang完成签到,获得积分10
18秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
Grapes 1000
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8178960
求助须知:如何正确求助?哪些是违规求助? 9569638
关于积分的说明 21805682
捐赠科研通 7774071
什么是DOI,文献DOI怎么找? 3432955
关于科研通互助平台的介绍 2556897
邀请新用户注册赠送积分活动 2478640