Gradient Surgery for Multi-Task Learning

任务(项目管理) 计算机科学 强化学习 人工智能 多任务学习 集合(抽象数据类型) 机器学习 工程类 程序设计语言 系统工程
作者
Tianhe Yu,Saurabh Kumar,Abhishek Gupta,Sergey Levine,Karol Hausman,Chelsea Finn
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:770
标识
DOI:10.48550/arxiv.2001.06782
摘要

While deep learning and deep reinforcement learning (RL) systems have demonstrated impressive results in domains such as image classification, game playing, and robotic control, data efficiency remains a major challenge. Multi-task learning has emerged as a promising approach for sharing structure across multiple tasks to enable more efficient learning. However, the multi-task setting presents a number of optimization challenges, making it difficult to realize large efficiency gains compared to learning tasks independently. The reasons why multi-task learning is so challenging compared to single-task learning are not fully understood. In this work, we identify a set of three conditions of the multi-task optimization landscape that cause detrimental gradient interference, and develop a simple yet general approach for avoiding such interference between task gradients. We propose a form of gradient surgery that projects a task's gradient onto the normal plane of the gradient of any other task that has a conflicting gradient. On a series of challenging multi-task supervised and multi-task RL problems, this approach leads to substantial gains in efficiency and performance. Further, it is model-agnostic and can be combined with previously-proposed multi-task architectures for enhanced performance.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
鸟嘴医生发布了新的文献求助10
1秒前
orixero的应助被执着访文采纳,获得10
1秒前
abc完成签到,获得积分10
2秒前
张伟发布了新的文献求助10
2秒前
2秒前
cheney完成签到 ,获得积分10
3秒前
Fooler完成签到,获得积分10
4秒前
朴素幻巧发布了新的文献求助10
4秒前
冷少完成签到,获得积分10
5秒前
嗷嗷完成签到,获得积分10
5秒前
7秒前
时平谊发布了新的文献求助10
9秒前
二柱子完成签到 ,获得积分10
9秒前
9秒前
Lucky完成签到,获得积分10
11秒前
丘比特的应助被温柔梦易采纳,获得10
11秒前
12秒前
liu完成签到,获得积分10
14秒前
王成鑫完成签到 ,获得积分10
14秒前
时平谊发布了新的文献求助200
15秒前
u924435完成签到,获得积分10
16秒前
北北完成签到 ,获得积分10
16秒前
1212122发布了新的文献求助10
17秒前
活泼的访云完成签到,获得积分10
18秒前
18秒前
鹿呦完成签到 ,获得积分10
19秒前
123完成签到 ,获得积分10
20秒前
promise完成签到 ,获得积分10
20秒前
CH完成签到,获得积分10
21秒前
Richard完成签到,获得积分10
21秒前
陶醉白梅完成签到,获得积分20
21秒前
22秒前
从容的罡完成签到,获得积分10
22秒前
FashionBoy的应助被丁一航采纳,获得10
23秒前
fsy完成签到,获得积分10
23秒前
Prophet发布了新的文献求助10
24秒前
安小安完成签到,获得积分10
24秒前
24秒前
25秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8186629
求助须知:如何正确求助?哪些是违规求助? 9574913
关于积分的说明 21838832
捐赠科研通 7784206
什么是DOI,文献DOI怎么找? 3434808
关于科研通互助平台的介绍 2559183
邀请新用户注册赠送积分活动 2481582