Simultaneous speech and gesture decoding for multimodal communication in paralysis

手势 解码方法 计算机科学 语音识别 非语言交际 脑-机接口 阿凡达 接口(物质) 限制 神经解码 自然(考古学) 编码(内存) 控制(管理) 皮质电图 心理学 节奏 语音处理 人机交互 手势识别 沟通
作者
Samantha Brosler,Jessie R. Liu,Alexander B. Silva,Irina P Hallinan,Cady M Kurtz-Miott,Jonah Dunkel Wilker,Adelyn Tu-Chan,Karunesh Ganguly,Edward F. Chang
出处
期刊:Nature Neuroscience [Nature Portfolio]
卷期号:29 (10): 2445-2455 被引量:6
标识
DOI:10.1038/s41593-026-02446-2
摘要

Stroke and neurodegenerative diseases can impair speech and nonverbal gestures, limiting natural communication. Brain-computer interfaces (BCIs) aim to restore these functions by translating neural activity into commands for external devices, although prior work has primarily focused on decoding speech or gestures in isolation. Here we show that neural signals recorded with a single high-density electrocorticography implant can support simultaneous decoding of speech and gestures in people with paralysis. We first show that isolated upper-limb and orofacial movements can be reliably decoded among three participants. Using parallel speech and gesture decoders, we then enabled participants to control a personalized virtual avatar by attempting speech and gestures simultaneously or in isolation. Training models on both isolated and simultaneous data improved performance across behavioral contexts. These findings demonstrate that one cortical implant can support multi-effector control and provide a step toward BCIs that enable more natural communication for people with paralysis.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
慕青的应助被Ruins采纳,获得10
刚刚
香蕉觅云的应助被潇洒红牛采纳,获得10
刚刚
stc发布了新的文献求助10
1秒前
jin发布了新的文献求助50
1秒前
1秒前
打打的应助被Laymann采纳,获得10
2秒前
深情安青的应助被chenfeng采纳,获得10
2秒前
2秒前
如此完成签到,获得积分10
3秒前
有没有完成签到 ,获得积分10
4秒前
4秒前
Nynn完成签到,获得积分10
5秒前
JamesPei的应助被TWW采纳,获得10
5秒前
科研通AI6.2的应助被李li采纳,获得10
5秒前
5秒前
lilil发布了新的文献求助10
5秒前
ffff发布了新的文献求助10
5秒前
MRCHONG发布了新的文献求助10
6秒前
平凡完成签到,获得积分10
6秒前
9y6完成签到,获得积分10
7秒前
7秒前
erhao完成签到,获得积分10
7秒前
刘营营发布了新的文献求助10
7秒前
7秒前
hcsdgf发布了新的文献求助10
7秒前
Capital发布了新的文献求助10
8秒前
8秒前
CodeCraft的应助被CXR采纳,获得10
9秒前
顾矜的应助被简单澜采纳,获得10
9秒前
领导范儿的应助被爱吃蛋挞采纳,获得10
9秒前
keepcalm发布了新的文献求助10
9秒前
10秒前
深情安青的应助被熙可檬采纳,获得20
10秒前
10秒前
橘之爱江南完成签到,获得积分10
10秒前
11秒前
11秒前
WTT完成签到 ,获得积分10
11秒前
顾矜的应助被lawliet采纳,获得10
12秒前
Rain完成签到,获得积分10
12秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
What Else Can I Tell You?: A Pragmatic Study of English Rhetorical Questions as Discursive and Argumentative Acts 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8164445
求助须知:如何正确求助?哪些是违规求助? 9558283
关于积分的说明 21744871
捐赠科研通 7754979
什么是DOI,文献DOI怎么找? 3428582
关于科研通互助平台的介绍 2553119
邀请新用户注册赠送积分活动 2473142