Robot-mediated haptic feedback outperforms vision in violin duo coordination

触觉技术 计算机科学 听觉反馈 小提琴 人机交互 感官替代 动觉学习 可穿戴计算机 感觉系统 渲染(计算机图形) 接头(建筑物) 计算机视觉 人工智能 视觉反馈 虚拟现实 具身认知 音频反馈 感觉线索 积极倾听 触觉知觉 乐器 语音识别 运动协调 外骨骼 会话(web分析) 可穿戴技术 接口(物质) 超声 扭矩 沉浸式(数学) 抓住 信号(编程语言)
作者
Aleksandra Michałko,Francesco Di Tommaso,Emanuele Peperoni,Stefano Capitani,Alessia Noccaro,Andrea Parri,Canan Gener,R. Conti,Nicola Di Stefano,Nevio Luigi Tagliamonte,Lorenzo Grazi,Francesco Giovacchini,Simona Crea,Emilio Trigili,Nicola Vitiello,Marc Leman,Domenico Formica
出处
期刊:Science robotics [American Association for the Advancement of Science]
卷期号:11 (112): eaeb1901-eaeb1901
标识
DOI:10.1126/scirobotics.aeb1901
摘要

Joint actions among humans rely on the integration of multiple sensory modalities, most notably auditory and visual cues, which support explicit communication between partners. However, haptic feedback provides a direct, implicit channel for sensorimotor communication, and its contribution to fine motor coordination in joint actions remains largely unexplored. Here, we demonstrate that haptic communication, rendered through bidirectionally coupled wearable robots, outperforms traditional auditory-visual feedback in a complex and challenging real-life joint action: ensemble violin performance. First, we developed a pair of two-degree-of-freedom upper-limb exoskeletons capable of transparently following violinists' natural movements and rendering viscoelastic torques proportional to the joint angular deviation between the partners. Then, we designed a within-subject experiment with 20 violin duos performing a musical piece under four sensory feedback conditions: auditory (A), auditory-visual (AV), auditory-haptic (AH), and auditory-visual-haptic (AVH), across two tempi (72 and 100 beats per minute). Despite the musicians being unfamiliar with the robot-mediated haptic feedback and unaware of the bidirectional connection between them, haptic feedback (AH and AVH) substantially enhanced spatiotemporal coordination and dynamic musical alignment compared with the extensively trained auditory-visual feedback (A and AV). The multisensory feedback condition AVH yielded the highest scores across all measures. Our findings demonstrate that haptic feedback can support fine motor coordination in violin duo performance more effectively than visual cues, particularly for professional musicians, because of its implicit and embodied nature, and that it can be effectively delivered via wearable robots, expanding the paradigms of human-human sensorimotor interactions.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
tion66完成签到 ,获得积分10
1秒前
fx完成签到,获得积分10
1秒前
阳光雅蕊完成签到,获得积分10
1秒前
柳大侠发布了新的文献求助10
1秒前
学习使我快乐完成签到,获得积分10
1秒前
mia完成签到,获得积分10
1秒前
2秒前
yu发布了新的文献求助10
4秒前
Flora完成签到,获得积分10
4秒前
cij123完成签到,获得积分10
5秒前
CJW完成签到 ,获得积分10
5秒前
风吹麦浪发布了新的文献求助10
6秒前
风吹麦浪发布了新的文献求助10
6秒前
Maris_Y完成签到,获得积分10
6秒前
7秒前
852的应助被战场原荡漾采纳,获得10
7秒前
风吹麦浪的应助被七月流火采纳,获得10
7秒前
会发财的学术家完成签到,获得积分10
7秒前
木木完成签到,获得积分10
7秒前
阴暗蘑菇完成签到 ,获得积分10
7秒前
Suyg发布了新的文献求助10
8秒前
YY完成签到,获得积分10
8秒前
暮风风完成签到 ,获得积分10
9秒前
小蓝发布了新的文献求助10
11秒前
星星完成签到,获得积分10
11秒前
ll完成签到,获得积分10
11秒前
李明珠完成签到 ,获得积分10
12秒前
GLv发布了新的文献求助10
13秒前
13秒前
程小懒完成签到,获得积分10
13秒前
着急的莫言完成签到,获得积分10
14秒前
hxy完成签到 ,获得积分10
14秒前
雨醉东风完成签到,获得积分10
14秒前
陈正军发布了新的文献求助10
14秒前
濮阳冰海完成签到 ,获得积分10
15秒前
15秒前
阿司匹林完成签到,获得积分10
15秒前
柯萌宇完成签到,获得积分10
15秒前
芳芳完成签到,获得积分10
16秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
Social Psychology in the Real World 600
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8180111
求助须知:如何正确求助?哪些是违规求助? 9570235
关于积分的说明 21809065
捐赠科研通 7776183
什么是DOI,文献DOI怎么找? 3433262
关于科研通互助平台的介绍 2557463
邀请新用户注册赠送积分活动 2479038