Transformer-Based Estimation of Spoken Sentences Using Electrocorticography

计算机科学 变压器 解码方法 语音识别 编码器 皮质电图 判决 短语 口语 短时记忆 人工智能 自然语言处理 模式识别(心理学) 脑电图 电压 算法 工程类 心理学 循环神经网络 电气工程 精神科 操作系统 人工神经网络
作者
Shuji Komeiji,Kai Shigemi,Takumi Mitsuhashi,Yasushi Iimura,Hiroharu Suzuki,Hidenori Sugano,Koichi Sairyo,Toshihisa Tanaka
标识
DOI:10.1109/icassp43922.2022.9747443
摘要

Invasive brain–machine interfaces (BMIs) are a promising neurotechnological venture for achieving direct speech communication from a human brain, but it faces many challenges. In this paper, we measured the invasive electrocorticogram (ECoG) signals from seven participating epilepsy patients as they spoke a sentence consisting of multiple phrases. A Transformer encoder was incorporated into a "sequence-to-sequence" model to decode spoken sentences from the ECoG. The decoding test revealed that the use of the Transformer model achieved a minimum phrase error rate (PER) of 16.4%, and the median (±standard deviation) across seven participants was 31.3% (±10.0%). Moreover, the proposed model with the Transformer achieved significantly better decoding accuracy than a conventional long short-term memory model.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
科研通AI2S应助蝌蚪采纳,获得10
2秒前
哭泣的映寒完成签到 ,获得积分10
12秒前
mrwang完成签到 ,获得积分10
16秒前
mia完成签到,获得积分10
20秒前
23秒前
稳重的秋天完成签到,获得积分20
25秒前
YC发布了新的文献求助10
29秒前
乃惜完成签到,获得积分10
40秒前
YC完成签到,获得积分10
42秒前
细心的如天完成签到 ,获得积分10
43秒前
Aurora完成签到 ,获得积分10
45秒前
btcat完成签到,获得积分10
57秒前
丹青完成签到 ,获得积分10
1分钟前
pphss完成签到,获得积分10
1分钟前
Jack80发布了新的文献求助200
1分钟前
zgtmark完成签到,获得积分10
1分钟前
温暖完成签到 ,获得积分10
1分钟前
碧蓝雁风完成签到 ,获得积分10
1分钟前
Kidmuse完成签到,获得积分10
1分钟前
困困困完成签到 ,获得积分10
1分钟前
ylkk完成签到 ,获得积分10
1分钟前
nuliguan完成签到 ,获得积分10
1分钟前
1分钟前
晚街听风完成签到 ,获得积分10
1分钟前
franca2005完成签到 ,获得积分10
1分钟前
kxdxng完成签到,获得积分10
1分钟前
婳祎完成签到 ,获得积分10
1分钟前
喵了个咪完成签到 ,获得积分10
2分钟前
烽烽烽发布了新的文献求助30
2分钟前
skippy完成签到 ,获得积分10
2分钟前
yy完成签到 ,获得积分10
2分钟前
t铁核桃1985完成签到 ,获得积分10
2分钟前
dhdhg完成签到 ,获得积分10
2分钟前
wguanmc完成签到,获得积分10
2分钟前
苏子轩完成签到 ,获得积分10
2分钟前
最美夕阳红完成签到,获得积分10
2分钟前
幽默的谷梦完成签到,获得积分10
2分钟前
如意竺完成签到,获得积分10
2分钟前
想飞的熊完成签到 ,获得积分10
2分钟前
属实有点拉胯完成签到 ,获得积分10
2分钟前
高分求助中
좌파는 어떻게 좌파가 됐나:한국 급진노동운동의 형성과 궤적 2500
Sustainability in Tides Chemistry 1500
TM 5-855-1(Fundamentals of protective design for conventional weapons) 1000
Cognitive linguistics critical concepts in linguistics 800
Threaded Harmony: A Sustainable Approach to Fashion 799
Livre et militantisme : La Cité éditeur 1958-1967 500
氟盐冷却高温堆非能动余热排出性能及安全分析研究 500
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 催化作用 物理化学 免疫学 量子力学 细胞生物学
热门帖子
关注 科研通微信公众号,转发送积分 3052652
求助须知:如何正确求助?哪些是违规求助? 2709874
关于积分的说明 7418267
捐赠科研通 2354453
什么是DOI,文献DOI怎么找? 1246090
科研通“疑难数据库(出版商)”最低求助积分说明 605951
版权声明 595921