GANs May Have No Nash Equilibria

作者
Farzan Farnia,Asuman Ozdaglar
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:25
标识
DOI:10.48550/arxiv.2002.09124
摘要

Generative adversarial networks (GANs) represent a zero-sum game between two machine players, a generator and a discriminator, designed to learn the distribution of data. While GANs have achieved state-of-the-art performance in several benchmark learning tasks, GAN minimax optimization still poses great theoretical and empirical challenges. GANs trained using first-order optimization methods commonly fail to converge to a stable solution where the players cannot improve their objective, i.e., the Nash equilibrium of the underlying game. Such issues raise the question of the existence of Nash equilibrium solutions in the GAN zero-sum game. In this work, we show through several theoretical and numerical results that indeed GAN zero-sum games may not have any local Nash equilibria. To characterize an equilibrium notion applicable to GANs, we consider the equilibrium of a new zero-sum game with an objective function given by a proximal operator applied to the original objective, a solution we call the proximal equilibrium. Unlike the Nash equilibrium, the proximal equilibrium captures the sequential nature of GANs, in which the generator moves first followed by the discriminator. We prove that the optimal generative model in Wasserstein GAN problems provides a proximal equilibrium. Inspired by these results, we propose a new approach, which we call proximal training, for solving GAN problems. We discuss several numerical experiments demonstrating the existence of proximal equilibrium solutions in GAN minimax problems.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
wzwz完成签到,获得积分10
1秒前
herococa完成签到,获得积分0
2秒前
2秒前
小二郎的应助被番茄米线儿采纳,获得10
2秒前
shuangma发布了新的文献求助10
3秒前
CC完成签到 ,获得积分10
4秒前
123456发布了新的文献求助10
4秒前
安静的依白完成签到,获得积分10
5秒前
江枫完成签到 ,获得积分10
6秒前
llbb完成签到,获得积分10
7秒前
啦啦啦发布了新的文献求助10
7秒前
tuanheqi发布了新的文献求助20
8秒前
SLIMCP完成签到,获得积分10
8秒前
谨慎太君完成签到,获得积分10
9秒前
ppcat发布了新的文献求助10
9秒前
玖安完成签到,获得积分10
10秒前
奋斗的藏鸟完成签到,获得积分10
12秒前
12秒前
科研通AI6.3的应助被超级无敌采纳,获得10
12秒前
12秒前
从前慢完成签到,获得积分10
13秒前
SSK发布了新的文献求助10
14秒前
14秒前
晨晨的应助被一薪一亿采纳,获得10
14秒前
15秒前
明亮的水壶完成签到,获得积分10
15秒前
16秒前
淡然冬灵的应助被九月采纳,获得30
17秒前
隐形曼青的应助被zcccccc采纳,获得10
17秒前
17秒前
Dale发布了新的文献求助10
17秒前
mm发布了新的文献求助10
18秒前
123456完成签到,获得积分10
18秒前
专注的十八完成签到,获得积分10
18秒前
烟花的应助被杨凤艳采纳,获得10
18秒前
如意2023发布了新的文献求助10
18秒前
不系舟发布了新的文献求助10
19秒前
十七发布了新的文献求助10
19秒前
19秒前
wanderer发布了新的文献求助10
19秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8193201
求助须知:如何正确求助?哪些是违规求助? 9579416
关于积分的说明 21865593
捐赠科研通 7792801
什么是DOI,文献DOI怎么找? 3437184
关于科研通互助平台的介绍 2560685
邀请新用户注册赠送积分活动 2483994