How robot dogs see the unseeable: Improving visual interpretability via peering for exploratory robots

窥视 机器人 计算机科学 伪装 人工智能 计算机视觉 可解释性 人机交互 遥操作 感知 机器人学 视觉感受 遮罩(插图) 机器视觉 可视化 活泼 视觉伺服 爬行 故障排除 人机交互
作者
Oliver Bimber,Karl Dietrich von Ellenrieder,Michael Haller,Rakesh John Amala Arokia Nathan,Gianni Lunardi,Mohamed Youssef,Marco Camurri,Santos Miguel Orozco Soto,Jeremy E. Niven
出处
期刊:Science robotics [American Association for the Advancement of Science]
卷期号:11 (118): eaed8577-eaed8577 被引量:2
标识
DOI:10.1126/scirobotics.aed8577
摘要

In vegetated environments, such as forests, exploratory robots play a vital role in navigating complex, cluttered environments where human access is limited and traditional equipment struggles. Visual occlusion from obstacles, such as foliage, can severely obstruct a robot's sensors, impairing scene understanding. We show that "peering," a characteristic side-to-side movement used by insects to overcome their visual limitations, can also allow robots to markedly improve visual reasoning under partial occlusion. This is accomplished by applying core signal processing principles, specifically optical synthetic aperture sensing, together with the vision reasoning capabilities of modern large multimodal models. Peering enables real-time, high-resolution, and wavelength-independent perception, which is crucial for vision-based scene understanding across a wide range of applications. The approach is low cost and immediately deployable on any camera-equipped robot. We investigated different peering motions and occlusion masking strategies, demonstrating that, unlike peering, state-of-the-art multiview three-dimensional vision techniques fail under these conditions because of their high susceptibility to occlusion. Our experiments were carried out on an industrial-grade quadrupedal robot. However, the ability to peer is not limited to such platforms but potentially also applicable to bipedal, hexapod, wheeled, or crawling platforms. Robots that can effectively see through partial occlusion will gain superior perception abilities, including enhanced scene understanding, situational awareness, camouflage breaking, and advanced navigation in complex environments.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
Chloe完成签到 ,获得积分10
1秒前
jljyboki完成签到,获得积分10
1秒前
qu蛐完成签到 ,获得积分10
1秒前
luoshikun完成签到,获得积分10
1秒前
风景的谷建芬完成签到,获得积分10
1秒前
路明非完成签到,获得积分10
2秒前
2秒前
Kay76完成签到,获得积分10
2秒前
活力的白桃完成签到,获得积分10
2秒前
优雅的采波完成签到,获得积分20
4秒前
4秒前
大力的含卉完成签到,获得积分10
4秒前
义气千风完成签到,获得积分10
5秒前
我要出去玩完成签到,获得积分10
5秒前
yh完成签到,获得积分10
6秒前
thinking完成签到,获得积分10
7秒前
火星上的铃铛完成签到,获得积分10
7秒前
Ie完成签到,获得积分10
7秒前
Hj完成签到 ,获得积分20
8秒前
白元正完成签到,获得积分10
8秒前
ao黛雷赫完成签到,获得积分10
8秒前
馥芮白完成签到,获得积分10
9秒前
从容的香彤完成签到,获得积分10
10秒前
钱塘郎中完成签到,获得积分0
10秒前
Neoshine完成签到,获得积分10
11秒前
爆米花的应助被Lucifer采纳,获得10
11秒前
xol完成签到 ,获得积分10
11秒前
海底的星河完成签到,获得积分10
11秒前
liu完成签到,获得积分10
11秒前
Jinoral完成签到,获得积分10
11秒前
娜就酱紫霸完成签到 ,获得积分10
12秒前
宋北山完成签到 ,获得积分10
12秒前
12秒前
潇洒的白昼完成签到,获得积分10
12秒前
没袋鼠完成签到,获得积分10
12秒前
WL完成签到,获得积分10
12秒前
FCL完成签到,获得积分10
13秒前
77完成签到,获得积分10
13秒前
新人完成签到,获得积分10
13秒前
13秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8173463
求助须知:如何正确求助?哪些是违规求助? 9565690
关于积分的说明 21781315
捐赠科研通 7767647
什么是DOI,文献DOI怎么找? 3431597
关于科研通互助平台的介绍 2555855
邀请新用户注册赠送积分活动 2476808