Practical Differentially Private Hyperparameter Tuning with Subsampling

作者
Koskela, Antti,Tejas Kulkarni
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:2
标识
DOI:10.48550/arxiv.2301.11989
摘要

Tuning the hyperparameters of differentially private (DP) machine learning (ML) algorithms often requires use of sensitive data and this may leak private information via hyperparameter values. Recently, Papernot and Steinke (2022) proposed a certain class of DP hyperparameter tuning algorithms, where the number of random search samples is randomized itself. Commonly, these algorithms still considerably increase the DP privacy parameter $\varepsilon$ over non-tuned DP ML model training and can be computationally heavy as evaluating each hyperparameter candidate requires a new training run. We focus on lowering both the DP bounds and the computational cost of these methods by using only a random subset of the sensitive data for the hyperparameter tuning and by extrapolating the optimal values to a larger dataset. We provide a Rényi differential privacy analysis for the proposed method and experimentally show that it consistently leads to better privacy-utility trade-off than the baseline method by Papernot and Steinke.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
橙汁儿完成签到,获得积分10
1秒前
郝天鑫完成签到,获得积分10
1秒前
wawaeryu完成签到,获得积分10
1秒前
odell完成签到,获得积分10
1秒前
田小甜完成签到 ,获得积分10
2秒前
猜不猜不完成签到 ,获得积分10
3秒前
韶可愁完成签到,获得积分10
3秒前
syvshc的应助被蜗牛好好飞采纳,获得10
3秒前
jachin完成签到 ,获得积分10
3秒前
蒸制发布了新的文献求助10
4秒前
曾hf完成签到 ,获得积分10
5秒前
jennawu完成签到 ,获得积分10
5秒前
6秒前
6秒前
6秒前
韩德胜完成签到 ,获得积分10
7秒前
null的应助被YONGLI采纳,获得10
7秒前
乐无忧完成签到 ,获得积分10
7秒前
uuuu完成签到 ,获得积分10
7秒前
李昭进完成签到,获得积分10
8秒前
Choufang完成签到,获得积分10
8秒前
abcd_1067完成签到,获得积分10
8秒前
csg888888完成签到,获得积分10
9秒前
偶然847完成签到,获得积分10
9秒前
从容冰凡完成签到 ,获得积分10
11秒前
null的应助被chan9retta采纳,获得10
11秒前
zhhl2006发布了新的文献求助10
11秒前
12秒前
yibo完成签到,获得积分10
12秒前
易北完成签到,获得积分10
12秒前
SciGPT的应助被张zz采纳,获得10
13秒前
李小粉完成签到,获得积分10
13秒前
XWT完成签到 ,获得积分10
13秒前
秦白完成签到,获得积分20
14秒前
dandelion完成签到,获得积分10
14秒前
15秒前
16秒前
柯科研发布了新的文献求助30
16秒前
16秒前
Kin发布了新的文献求助50
16秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8173417
求助须知:如何正确求助?哪些是违规求助? 9565672
关于积分的说明 21781022
捐赠科研通 7767561
什么是DOI,文献DOI怎么找? 3431575
关于科研通互助平台的介绍 2555853
邀请新用户注册赠送积分活动 2476763