已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

Attention-based convolutional neural network with multi-modal temporal information fusion for motor imagery EEG decoding

计算机科学 解码方法 脑电图 卷积神经网络 判别式 运动表象 人工智能 深度学习 特征(语言学) 语音识别 模式识别(心理学) 机器学习 脑-机接口 心理学 算法 语言学 哲学 精神科
作者
Xinzhi Ma,Weihai Chen,Zhongcai Pei,Yue Zhang,Jianer Chen
出处
期刊:Computers in Biology and Medicine [Elsevier BV]
卷期号:175: 108504-108504 被引量:55
标识
DOI:10.1016/j.compbiomed.2024.108504
摘要

Convolutional neural network (CNN) has been widely applied in motor imagery (MI)-based brain computer interface (BCI) to decode electroencephalography (EEG) signals. However, due to the limited perceptual field of convolutional kernel, CNN only extracts features from local region without considering long-term dependencies for EEG decoding. Apart from long-term dependencies, multi-modal temporal information is equally important for EEG decoding because it can offer a more comprehensive understanding of the temporal dynamics of neural processes. In this paper, we propose a novel deep learning network that combines CNN with self-attention mechanism to encapsulate multi-modal temporal information and global dependencies. The network first extracts multi-modal temporal information from two distinct perspectives: average and variance. A shared self-attention module is then designed to capture global dependencies along these two feature dimensions. We further design a convolutional encoder to explore the relationship between average-pooled and variance-pooled features and fuse them into more discriminative features. Moreover, a data augmentation method called signal segmentation and recombination is proposed to improve the generalization capability of the proposed network. The experimental results on the BCI Competition IV-2a (BCIC-IV-2a) and BCI Competition IV-2b (BCIC-IV-2b) datasets show that our proposed method outperforms the state-of-the-art methods and achieves 4-class average accuracy of 85.03% on the BCIC-IV-2a dataset. The proposed method implies the effectiveness of multi-modal temporal information fusion in attention-based deep learning networks and provides a new perspective for MI-EEG decoding. The code is available at https://github.com/Ma-Xinzhi/EEG-TransNet.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
li发布了新的文献求助10
1秒前
mmm发布了新的文献求助10
1秒前
Genger完成签到,获得积分10
2秒前
Sirius完成签到,获得积分10
2秒前
懵懂的翠容完成签到,获得积分10
3秒前
科研通AI6.3的应助被xxx采纳,获得10
3秒前
CipherSage的应助被xxx采纳,获得10
3秒前
大模型的应助被xxx采纳,获得20
3秒前
3秒前
满眼皆星辰的应助被xxx采纳,获得200
3秒前
科研通AI6.2的应助被xxx采纳,获得10
4秒前
科研通AI6.3的应助被xxx采纳,获得10
4秒前
影月cindy的应助被xxx采纳,获得10
4秒前
影月cindy的应助被xxx采纳,获得10
4秒前
科研通AI6.4的应助被xxx采纳,获得10
4秒前
科研通AI6.2的应助被xxx采纳,获得10
4秒前
4秒前
sry完成签到 ,获得积分10
5秒前
mingming完成签到 ,获得积分10
5秒前
6秒前
楓秋完成签到 ,获得积分10
6秒前
Zhangym完成签到 ,获得积分10
6秒前
爱打乒乓的轻轨完成签到,获得积分10
6秒前
葫芦侠完成签到,获得积分20
6秒前
ccc完成签到 ,获得积分10
6秒前
李爱国的应助被敏于行采纳,获得20
6秒前
Hongtao完成签到 ,获得积分10
7秒前
左岸完成签到 ,获得积分10
8秒前
阿Z完成签到 ,获得积分10
9秒前
就知道吃吃吃完成签到 ,获得积分10
9秒前
Aq完成签到 ,获得积分10
9秒前
9秒前
轩天完成签到,获得积分10
10秒前
大米饭完成签到 ,获得积分10
12秒前
锐锐完成签到 ,获得积分10
12秒前
maplesirup发布了新的文献求助30
13秒前
韦我完成签到 ,获得积分10
14秒前
陈翊完成签到 ,获得积分10
15秒前
16秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8194810
求助须知:如何正确求助?哪些是违规求助? 9580525
关于积分的说明 21871483
捐赠科研通 7794329
什么是DOI,文献DOI怎么找? 3437718
关于科研通互助平台的介绍 2561095
邀请新用户注册赠送积分活动 2484446