SONIC: Supersizing motion tracking for natural humanoid whole-body control

计算机科学 仿人机器人 人工智能 计算机视觉 运动(物理) 运动学 iCub 控制器(灌溉) 职位(财务) 跟踪(教育) 集合(抽象数据类型) 可扩展性 匹配移动 遥操作 运动控制 任务(项目管理) 弹道 特征(语言学) 重定目标 运动规划 缩放比例 跟踪系统 运动模糊 模拟 运动链 模型预测控制 机器学习 人工神经网络 功能(生物学)
作者
Zhengyi Luo,Ye Yuan,Tingwu Wang,Chenran Li,Fernando Castañeda,Sirui Chen,Zi-ang Cao,Jiefeng Li,David Minor,Qingwei Ben,J. S. Park,David Sami,Zi Wang,Xingye Da,Runyu Ding,Cyrus Hogg,Lina Song,Edy Lim,Eugene Jeong,Tairan He
出处
期刊:Science robotics [American Association for the Advancement of Science]
卷期号:11 (117)
标识
DOI:10.1126/scirobotics.aed4592
摘要

Despite the rise of billion-parameter foundation models trained across thousands of graphical processing units (GPUs), similar scaling gains have not been shown for humanoid control. Current neural controllers for humanoids remain modest in size, target a limited set of behaviors, and are trained on a handful of GPUs. We show that scaling model capacity, data, and compute yields a generalist humanoid controller capable of natural, robust whole-body movements. We position motion tracking as a scalable task for humanoid control, leveraging dense supervision from diverse motion-capture data to acquire human motion priors without manual reward engineering. We build a foundation model for motion tracking by scaling along three axes: network size (1.2 to 42 million parameters), dataset volume (more than 100 million frames from 700 hours of motion capture), and compute (21,000 GPU hours). Beyond demonstrating the benefits of scale, we further show downstream utility through a real-time kinematic planner that bridges motion tracking to tasks such as navigation, enabling natural and interactive control, as well as a unified token space that supports virtual reality (VR) teleoperation and vision-language-action (VLA) models with a single policy. Through this interface, we demonstrate autonomous VLA-driven whole-body locomanipulation requiring coordinated hand and foot placement. Scaling motion tracking exhibits favorable properties: Performance improves steadily with compute and data diversity, and learned policies generalize to unseen motions, establishing motion tracking at scale as a practical foundation for humanoid control.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
烟花的应助被王淼采纳,获得30
1秒前
柚子完成签到,获得积分10
1秒前
墨之默完成签到,获得积分10
1秒前
1秒前
顾矜的应助被Bubble采纳,获得10
2秒前
2秒前
YXH发布了新的文献求助10
2秒前
3秒前
爽飞边芷了完成签到,获得积分10
3秒前
yyyy完成签到,获得积分20
4秒前
4秒前
Imin完成签到,获得积分10
4秒前
4秒前
黄毛虎发布了新的文献求助10
4秒前
yyp完成签到,获得积分10
5秒前
李旭发布了新的文献求助10
5秒前
Zzj发布了新的文献求助10
6秒前
簪星曳月完成签到,获得积分10
7秒前
HAN发布了新的文献求助30
7秒前
天蓝完成签到,获得积分10
8秒前
panda发布了新的文献求助10
8秒前
9秒前
思017675完成签到,获得积分10
9秒前
icecream612给YXH的求助进行了留言
9秒前
CHyaa完成签到,获得积分10
9秒前
zplus完成签到 ,获得积分10
9秒前
ldd发布了新的文献求助10
9秒前
YXH发布了新的文献求助10
10秒前
10秒前
LX完成签到,获得积分10
10秒前
10秒前
范德彪分彪完成签到,获得积分10
10秒前
科研通AI2S的应助被Zzj采纳,获得10
11秒前
川月完成签到,获得积分10
11秒前
11秒前
11秒前
12秒前
12秒前
zq1992nl完成签到,获得积分10
12秒前
香蕉觅云的应助被JF123_采纳,获得10
12秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8187480
求助须知:如何正确求助?哪些是违规求助? 9575554
关于积分的说明 21841909
捐赠科研通 7785230
什么是DOI,文献DOI怎么找? 3434949
关于科研通互助平台的介绍 2559412
邀请新用户注册赠送积分活动 2481898