The Synthetic Data Vault

计算机科学 合成数据 数据建模 数据挖掘 关系数据库 数据模型(GIS) 交叉口(航空) 生成模型 人工智能 数据库 生成语法 工程类 航空航天工程
作者
Neha Patki,Roy Wedge,Kalyan Veeramachaneni
标识
DOI:10.1109/dsaa.2016.49
摘要

The goal of this paper is to build a system that automatically creates synthetic data to enable data science endeavors. To achieve this, we present the Synthetic Data Vault (SDV), a system that builds generative models of relational databases. We are able to sample from the model and create synthetic data, hence the name SDV. When implementing the SDV, we also developed an algorithm that computes statistics at the intersection of related database tables. We then used a state-of-the-art multivariate modeling approach to model this data. The SDV iterates through all possible relations, ultimately creating a model for the entire database. Once this model is computed, the same relational information allows the SDV to synthesize data by sampling from any part of the database. After building the SDV, we used it to generate synthetic data for five different publicly available datasets. We then published these datasets, and asked data scientists to develop predictive models for them as part of a crowdsourced experiment. By analyzing the outcomes, we show that synthetic data can successfully replace original data for data science. Our analysis indicates that there is no significant difference in the work produced by data scientists who used synthetic data as opposed to real data. We conclude that the SDV is a viable solution for synthetic data generation.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
椰包完成签到 ,获得积分10
刚刚
轻松的冥王星完成签到,获得积分10
1秒前
AA完成签到,获得积分10
1秒前
昏睡的凝竹完成签到 ,获得积分10
2秒前
大模型应助木雨超采纳,获得10
2秒前
2秒前
pengpengyin完成签到,获得积分10
3秒前
3秒前
jack关注了科研通微信公众号
3秒前
3秒前
wzy完成签到,获得积分10
4秒前
4秒前
CipherSage应助cxf采纳,获得10
6秒前
6秒前
合适太清完成签到,获得积分10
8秒前
Dilmma发布了新的文献求助10
9秒前
10秒前
10秒前
11秒前
12秒前
隐形曼青应助合适太清采纳,获得100
12秒前
Wang完成签到,获得积分10
13秒前
小蘑菇应助Pzuzu采纳,获得10
13秒前
石石夏发布了新的文献求助10
13秒前
luckyu完成签到,获得积分10
13秒前
英吉利25发布了新的文献求助10
14秒前
14秒前
一路向北完成签到 ,获得积分20
14秒前
cxf完成签到,获得积分10
16秒前
暗夜浮稥发布了新的文献求助10
17秒前
炙热安波完成签到,获得积分10
17秒前
18秒前
19秒前
smt发布了新的文献求助10
19秒前
19秒前
bz发布了新的文献求助10
20秒前
Fred完成签到,获得积分20
20秒前
20秒前
老老实实好好活着完成签到,获得积分10
21秒前
嘻嘻哈哈应助qing采纳,获得10
21秒前
高分求助中
Principles of Economics, 11th Edition 10000
University Physics with Modern Physics, 16th edition 10000
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
Arthritis and Related Conditions, An Issue of Orthopedic Clinics 1000
Development of a Bridge Weigh-In-Motion System: A technology to convert the bridge response to the passage of traffic into data on vehicle configurations, speeds, times of travel and weights 1000
ズームレンズの光学設計に関する研究 800
Fundamentals of Pharmaceutical and Biologics Regulations: A Global Perspective, Second Edition 700
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 工程类 有机化学 化学工程 生物化学 计算机科学 内科学 物理 复合材料 催化作用 细胞生物学 无机化学 光电子学 物理化学 电极 基因
热门帖子
关注 科研通微信公众号,转发送积分 7292866
求助须知:如何正确求助?哪些是违规求助? 8911753
关于积分的说明 18866006
捐赠科研通 6959818
什么是DOI,文献DOI怎么找? 3209678
关于科研通互助平台的介绍 2379181
邀请新用户注册赠送积分活动 2185672