Spectrum-image dual-modality fusion empowered accurate and efficient classification system for traditional Chinese medicine

计算机科学 融合 人工智能 特征(语言学) 模式识别(心理学) 模态(人机交互) 图像融合 构造(python库) 对偶(语法数字) 激光诱导击穿光谱 数据挖掘 图像(数学) 激光器 艺术 程序设计语言 哲学 文学类 物理 光学 语言学
作者
Aojun Gong,Lianbo Guo,Yu Han Yuan,Yunzhi Xia,Xianjun Deng,Zhenlin Hu
出处
期刊:Information Fusion [Elsevier BV]
卷期号:101: 101981-101981 被引量:56
标识
DOI:10.1016/j.inffus.2023.101981
摘要

Traditional Chinese medicine (TCM) influences the Chinese and global medical systems, with its quality essential to its effectiveness. The origin of TCM material impacts the quality of the same TCM materials. However, the existing origin classification methods of the same TCM materials from different places mainly have two disadvantages: slow processing speed and extensive experience. To address these issues, a fast and real-time technology, laser-induced breakdown spectroscopy (LIBS), is introduced into our solution. We propose a TCM classification system that combines one-dimensional LIBS spectra with two-dimensional images. This dual-modality fusion approach represents a significant advancement in multi-view data analysis for TCM classification. As a case study, we focus on wolfberry and construct a new dataset comprising 10,800 pairs of LIBS spectrum and image data to fill the gap. To achieve superior multiple feature fusion, a two-stage fusion network (TFNet) in a coarse-to-fine way is proposed. In the first coarse fusion, the Depth Attention Fusion (DAF) module is applied to extract the key features of stacked spectrum and image. In the second fine fusion, the Line to Area (LTA) module entirely focuses on and highlights the critical spectral line features. Experimental accuracy is over 0.99 with less computation and parameters, indicating the high efficiency and accuracy of the proposed TFNet. Therefore, the classification system achieves exceptional accuracy and efficiency due to its simple sample preparation, real-time data collection and the high-accuracy lightweight network.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
怡然剑成完成签到 ,获得积分0
1秒前
1秒前
老韩发布了新的文献求助20
1秒前
Akim的应助被王光宇采纳,获得10
3秒前
hujuan发布了新的文献求助10
3秒前
从容冷安完成签到 ,获得积分10
3秒前
星星发布了新的文献求助10
4秒前
5秒前
印度free饼完成签到,获得积分10
5秒前
蓝天下载发布了新的文献求助10
6秒前
7秒前
李爽完成签到,获得积分20
7秒前
phhhhh发布了新的文献求助10
7秒前
7秒前
LUO发布了新的文献求助10
8秒前
JamesPei的应助被董欣雨采纳,获得10
8秒前
华仔的应助被轻松峻熙采纳,获得10
10秒前
枫楠完成签到,获得积分10
11秒前
田様的应助被星星采纳,获得10
11秒前
Nole的应助被庾傀斗采纳,获得10
13秒前
风趣忻完成签到,获得积分20
13秒前
13秒前
科研通AI6.3的应助被归去来采纳,获得10
14秒前
15秒前
16秒前
小二郎的应助被wangjie77采纳,获得100
16秒前
爆米花的应助被谋勇兼备采纳,获得30
17秒前
赘婿的应助被TEDDY采纳,获得10
17秒前
Akim的应助被兮云采纳,获得10
19秒前
wqa1472完成签到,获得积分10
20秒前
20秒前
乔树伟完成签到,获得积分10
21秒前
Green完成签到,获得积分10
21秒前
OOPH完成签到,获得积分10
21秒前
LeslieWu发布了新的文献求助10
22秒前
VIVA完成签到,获得积分10
22秒前
初景的应助被归途采纳,获得20
23秒前
Jiang完成签到,获得积分10
23秒前
honghong发布了新的文献求助30
23秒前
liuliu发布了新的文献求助10
23秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8188394
求助须知:如何正确求助?哪些是违规求助? 9576268
关于积分的说明 21846207
捐赠科研通 7786486
什么是DOI,文献DOI怎么找? 3435317
关于科研通互助平台的介绍 2559618
邀请新用户注册赠送积分活动 2482322