Perception to Action with Vision-Language-Action Models for Fast and Reliable Decision Making in Dynamic Environments

计算机科学 任务(项目管理) 动作(物理) 感知 人工智能 基线(sea) 机器学习 先验概率 相似性(几何) 事件(粒子物理) 语义学(计算机科学) 动作选择 碰撞 任务分析 视觉感受 期限(时间) 理论(学习稳定性) 动作识别 区间(图论) 运动(物理) 特征(语言学) 人机交互 集合(抽象数据类型) 数据挖掘 计算机视觉 选择(遗传算法) 机制(生物学) 维数(图论) 避碰
作者
Yeryeong Cho,Jaeyoung Choe,Joongheon Kim
出处
期刊: [Institute of Electrical and Electronics Engineers]
卷期号:: 810-812 被引量:1
标识
DOI:10.1109/ictc66702.2025.11388300
摘要

Executing natural-language instructions in dynamic environments requires robust integration of perception, planning, and control. Conventional vision–language models (VLMs) provide open-vocabulary recognition but often leave a perception–action gap and fail to ensure safety under uncertainty. To address this challenge, we propose a Vision-Language Action Model (VLAM) that directly maps visual observations and instructions to actions through adaptive perception and uncertainty-aware control. The algorithm leverages contrastive language-image pretraining (CLIP)-based vision–language similarity to score candidate actions while incorporating rule-based safety priors as a fallback mechanism when confidence is low or collision risk is detected. This design narrows the perception–action gap, maintains semantic grounding, and guarantees stable behavior. We evaluate VLAM in a dynamic multi-agent environment with moving obstacles. Experimental results demonstrate that the proposed method achieves higher task success and reduced inter-agent conflicts compared to baseline strategies.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
gsxgg完成签到,获得积分10
4秒前
飞矢不动完成签到,获得积分10
4秒前
瓦罐完成签到 ,获得积分10
6秒前
飞儿完成签到 ,获得积分10
6秒前
win050532完成签到 ,获得积分10
9秒前
细腻的傲安完成签到,获得积分10
14秒前
清心淡如水完成签到 ,获得积分10
14秒前
风息完成签到,获得积分10
16秒前
QQ完成签到 ,获得积分10
17秒前
揽文阁完成签到 ,获得积分10
17秒前
细心又菡完成签到,获得积分20
18秒前
欢呼馒头完成签到 ,获得积分10
19秒前
斯文败类的应助被u雨采纳,获得10
23秒前
正直从凝完成签到 ,获得积分10
23秒前
研友_VZG7GZ的应助被季末默相依采纳,获得10
24秒前
自觉大门完成签到,获得积分10
30秒前
Jackcaosky完成签到 ,获得积分10
30秒前
11qkk完成签到 ,获得积分10
30秒前
斯文败类的应助被wangji_2017采纳,获得10
31秒前
慕容博完成签到 ,获得积分10
32秒前
鼠牵牛完成签到,获得积分10
32秒前
Chen14完成签到 ,获得积分10
34秒前
优雅的水桃完成签到 ,获得积分10
35秒前
萌新完成签到,获得积分10
36秒前
ZZzz完成签到 ,获得积分10
36秒前
Orange的应助被tszjw168采纳,获得10
37秒前
bobo完成签到,获得积分10
46秒前
轻嚣完成签到 ,获得积分10
51秒前
欢喜的如凡完成签到 ,获得积分10
51秒前
000001完成签到,获得积分10
54秒前
54秒前
lyra1111完成签到,获得积分10
55秒前
56秒前
爱我不上火完成签到 ,获得积分10
56秒前
JAYEN完成签到 ,获得积分10
56秒前
Lxx完成签到 ,获得积分10
57秒前
59秒前
简爱完成签到 ,获得积分10
59秒前
LEO2025完成签到 ,获得积分10
1分钟前
tszjw168发布了新的文献求助10
1分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
Social Psychology in the Real World 600
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8180084
求助须知:如何正确求助?哪些是违规求助? 9570224
关于积分的说明 21808758
捐赠科研通 7776098
什么是DOI,文献DOI怎么找? 3433261
关于科研通互助平台的介绍 2557454
邀请新用户注册赠送积分活动 2479012