亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

What matters in building vision–language–action models for generalist robots

计算机科学 机器人 钥匙(锁) 基础(证据) 光学(聚焦) 动作(物理) 人机交互 人工智能 运动(物理) 软件工程 系统工程 机器人学 风险分析(工程) 设计要素和原则 数据科学 管理科学 模拟
作者
Xinghang Li,Peiyan Li,Long Qian,Minghuan Liu,Dong Wang,Jirong Liu,Bingyi Kang,Xiao Ma,Xinlong Wang,Di Guo,Tao Kong,Hanbo Zhang,Huaping Huaping Liu
出处
期刊:Nature Machine Intelligence [Nature Portfolio]
卷期号:8 (2): 158-172 被引量:184
标识
DOI:10.1038/s42256-025-01168-7
摘要

Abstract Foundation Vision Language Models (VLMs) exhibit strong capabilities in multi-modal representation learning, comprehension, and reasoning. By injecting action components into the VLMs, Vision-Language-Action models (VLAs) can be naturally formed and also show promising performance. Existing work has demonstrated the effectiveness and generalization of VLAs in multiple scenarios and tasks. Nevertheless, the transfer from VLMs to VLAs is not trivial since existing VLAs differ in their backbones, action-prediction formulations, data distributions, and training recipes. This leads to a missing piece for a systematic understanding of the design choices of VLAs. In this work, we disclose the key factors that significantly influence the performance of VLA and focus on answering three essential design choices: which backbone to select, how to formulate the VLA architectures, and when to add cross-embodiment data. The obtained results convince us firmly to explain why we prefer VLA and develop a new family of VLAs, RoboVLMs, which require very few manual designs and achieve a new state-of-the-art performance in three simulation tasks and real-world experiments. Through our extensive experiments, which include over 8 VLM backbones, 4 policy architectures, and over 600 distinct designed experiments, we provide a detailed guidebook for the future design of VLAs. In addition to the study, the highly flexible RoboVLMs framework, which supports easy integrations of new VLMs and free combinations of various design choices, is made public to facilitate future research. We open-source all details, including codes, models, datasets, and toolkits, along with detailed training and evaluation recipes at: robovlms.github.io.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
25秒前
阳光幻巧完成签到,获得积分10
30秒前
科研通AI6.2的应助被灵剑山采纳,获得10
1分钟前
曾经寄真完成签到,获得积分10
1分钟前
时尚靖琪完成签到,获得积分10
1分钟前
1分钟前
bifeifei完成签到,获得积分10
1分钟前
着急的如波完成签到,获得积分10
1分钟前
科研通AI2S的应助被科研通管家采纳,获得30
1分钟前
小小心愿发布了新的文献求助10
1分钟前
研友_LMo56Z完成签到,获得积分10
2分钟前
呆萌访琴完成签到,获得积分10
2分钟前
2分钟前
幸福海之完成签到,获得积分10
2分钟前
盐水菠萝发布了新的文献求助10
2分钟前
3分钟前
Junex完成签到,获得积分10
3分钟前
无限寒珊完成签到,获得积分10
3分钟前
欣喜寒烟发布了新的文献求助10
3分钟前
标致的忆梅完成签到,获得积分10
3分钟前
3分钟前
灵剑山发布了新的文献求助10
3分钟前
研友_nxw2xL完成签到,获得积分0
3分钟前
充电宝的应助被科研通管家采纳,获得10
3分钟前
香蕉觅云的应助被科研通管家采纳,获得10
3分钟前
3分钟前
3分钟前
细心慕凝发布了新的文献求助10
4分钟前
欣喜香菇发布了新的文献求助10
4分钟前
Ava的应助被欣喜香菇采纳,获得10
4分钟前
Bowman完成签到,获得积分0
4分钟前
如意紫翠完成签到,获得积分10
4分钟前
细心慕凝完成签到,获得积分10
4分钟前
LHY完成签到,获得积分10
4分钟前
4分钟前
香蕉乐曲完成签到,获得积分10
5分钟前
5分钟前
null的应助被科研通管家采纳,获得10
5分钟前
沉静的愫完成签到,获得积分10
5分钟前
6分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8173069
求助须知:如何正确求助?哪些是违规求助? 9565519
关于积分的说明 21780383
捐赠科研通 7765085
什么是DOI,文献DOI怎么找? 3431528
关于科研通互助平台的介绍 2555638
邀请新用户注册赠送积分活动 2476668