EF-Net: Mental State Recognition by Analyzing Multimodal EEG-fNIRS via CNN

脑电图 人工智能 计算机科学 功能近红外光谱 深度学习 大脑活动与冥想 基线(sea) 模式识别(心理学) 机器学习 语音识别 心理学 认知 神经科学 前额叶皮质 海洋学 地质学
作者
Aniqa Arif,Yihe Wang,Rui Yin,Xiang Zhang,Ahmed Helmy
出处
期刊:Sensors [Multidisciplinary Digital Publishing Institute]
卷期号:24 (6): 1889-1889 被引量:7
标识
DOI:10.3390/s24061889
摘要

Analysis of brain signals is essential to the study of mental states and various neurological conditions. The two most prevalent noninvasive signals for measuring brain activities are electroencephalography (EEG) and functional near-infrared spectroscopy (fNIRS). EEG, characterized by its higher sampling frequency, captures more temporal features, while fNIRS, with a greater number of channels, provides richer spatial information. Although a few previous studies have explored the use of multimodal deep-learning models to analyze brain activity for both EEG and fNIRS, subject-independent training–testing split analysis remains underexplored. The results of the subject-independent setting directly show the model’s ability on unseen subjects, which is crucial for real-world applications. In this paper, we introduce EF-Net, a new CNN-based multimodal deep-learning model. We evaluate EF-Net on an EEG-fNIRS word generation (WG) dataset on the mental state recognition task, primarily focusing on the subject-independent setting. For completeness, we report results in the subject-dependent and subject-semidependent settings as well. We compare our model with five baseline approaches, including three traditional machine learning methods and two deep learning methods. EF-Net demonstrates superior performance in both accuracy and F1 score, surpassing these baselines. Our model achieves F1 scores of 99.36%, 98.31%, and 65.05% in the subject-dependent, subject-semidependent, and subject-independent settings, respectively, surpassing the best baseline F1 scores by 1.83%, 4.34%, and 2.13% These results highlight EF-Net’s capability to effectively learn and interpret mental states and brain activity across different and unseen subjects.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
JrPaleo101完成签到,获得积分10
刚刚
喜宝完成签到 ,获得积分10
3秒前
叶子完成签到 ,获得积分10
9秒前
十七发布了新的文献求助10
11秒前
阿翼完成签到 ,获得积分10
14秒前
严冥幽完成签到 ,获得积分10
15秒前
tszjw168发布了新的文献求助10
20秒前
阿然完成签到,获得积分10
21秒前
冯不言完成签到,获得积分10
21秒前
i2stay完成签到,获得积分10
23秒前
happiness完成签到 ,获得积分10
23秒前
打打应助十七采纳,获得10
23秒前
25秒前
wonwojo完成签到 ,获得积分10
27秒前
锅包肉完成签到 ,获得积分10
28秒前
Cai完成签到,获得积分10
31秒前
帅气的祥发布了新的文献求助10
31秒前
方方完成签到 ,获得积分10
32秒前
Jun完成签到 ,获得积分10
32秒前
霜二完成签到 ,获得积分10
32秒前
HR112完成签到 ,获得积分10
33秒前
爱学习的婷完成签到 ,获得积分10
35秒前
37秒前
lmy完成签到 ,获得积分10
38秒前
猪猪女孩完成签到,获得积分10
39秒前
爱看文献的小恐龙完成签到,获得积分10
41秒前
zhang完成签到 ,获得积分10
42秒前
44秒前
49秒前
晚灯君完成签到 ,获得积分10
49秒前
嘻嘻完成签到 ,获得积分10
53秒前
balancesy完成签到,获得积分10
54秒前
噜噜晓完成签到 ,获得积分10
55秒前
dajiejie完成签到 ,获得积分10
56秒前
慕容飞凤完成签到,获得积分10
57秒前
dldldl完成签到,获得积分10
58秒前
仙女完成签到 ,获得积分10
1分钟前
聂青枫完成签到,获得积分10
1分钟前
自由的中蓝完成签到 ,获得积分10
1分钟前
opq856完成签到 ,获得积分10
1分钟前
高分求助中
传播真理奋斗不息——中共中央编译局成立50周年纪念文集(1953—2003) 700
Technologies supporting mass customization of apparel: A pilot project 600
武汉作战 石川达三 500
Chinesen in Europa – Europäer in China: Journalisten, Spione, Studenten 500
Arthur Ewert: A Life for the Comintern 500
China's Relations With Japan 1945-83: The Role of Liao Chengzhi // Kurt Werner Radtke 500
Two Years in Peking 1965-1966: Book 1: Living and Teaching in Mao's China // Reginald Hunt 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 工程类 有机化学 物理 生物化学 纳米技术 计算机科学 化学工程 内科学 复合材料 物理化学 电极 遗传学 量子力学 基因 冶金 催化作用
热门帖子
关注 科研通微信公众号,转发送积分 3811753
求助须知:如何正确求助?哪些是违规求助? 3356021
关于积分的说明 10379166
捐赠科研通 3072972
什么是DOI,文献DOI怎么找? 1688168
邀请新用户注册赠送积分活动 811860
科研通“疑难数据库(出版商)”最低求助积分说明 766893