XMolCap: Advancing Molecular Captioning through Multimodal Fusion and Explainable Graph Neural Networks

隐藏字幕 计算机科学 人工智能 人工神经网络 传感器融合 自然语言处理 图像(数学)
作者
Duong Thanh Tran,Nguyen Doan Hieu Nguyen,Nhat Truong Pham,Rajan Rakkiyappan,Rajendra Karki,Balachandran Manavalan
出处
期刊:IEEE Journal of Biomedical and Health Informatics [Institute of Electrical and Electronics Engineers]
卷期号:: 1-12
标识
DOI:10.1109/jbhi.2025.3572910
摘要

Large language models (LLMs) have significantly advanced computational biology by enabling the integration of molecular, protein, and natural language data to accelerate drug discovery. However, existing molecular captioning approaches often underutilize diverse molecular modalities and lack interpretability. In this study, we introduce XMolCap, a novel explainable molecular captioning framework that integrates molecular images, SMILES strings, and graph-based structures through a stacked multimodal fusion mechanism. The framework is built upon a BioT5-based encoder-decoder architecture, which serves as the backbone for extracting feature representations from SELFIES. By leveraging specialized models such as SwinOCSR, SciBERT, and GIN-MoMu, XMolCap effectively captures complementary information from each modality. Our model not only achieves state-of-the-art performance on two benchmark datasets (L+M-24 and ChEBI-20), outperforming several strong baselines, but also provides detailed, functional group-aware, and property-specific explanations through graph-based interpretation. XMolCap is publicly available at https://github.com/cbbl-skku-org/XMolCap/ for reproducibility and local deployment. We believe it holds strong potential for clinical and pharmaceutical applications by generating accurate, interpretable molecular descriptions that deepen our understanding of molecular properties and interactions.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
Replikant发布了新的文献求助10
2秒前
3秒前
扎心发布了新的文献求助10
4秒前
梅子完成签到,获得积分10
6秒前
量子星尘发布了新的文献求助10
7秒前
7秒前
jun发布了新的文献求助20
7秒前
LIKO完成签到,获得积分10
9秒前
10秒前
M跃发布了新的文献求助10
10秒前
11秒前
汉堡包应助xzy采纳,获得10
12秒前
12秒前
下雨天发布了新的文献求助10
13秒前
木头鱼发布了新的文献求助10
13秒前
ajin发布了新的文献求助50
14秒前
庸人自扰完成签到,获得积分10
16秒前
cgs发布了新的文献求助10
16秒前
科研通AI5应助M跃采纳,获得30
19秒前
小六六完成签到,获得积分20
20秒前
20秒前
22秒前
Devoted发布了新的文献求助10
26秒前
fh完成签到,获得积分20
30秒前
JerryZ发布了新的文献求助10
31秒前
NexusExplorer应助Devoted采纳,获得10
33秒前
量子星尘发布了新的文献求助20
33秒前
fh发布了新的文献求助30
34秒前
34秒前
跳跃豆芽发布了新的文献求助40
37秒前
37秒前
39秒前
思源应助Dr_zsc采纳,获得10
40秒前
Ma发布了新的文献求助10
40秒前
害羞的醉卉完成签到 ,获得积分10
42秒前
赘婿应助扎心采纳,获得10
44秒前
bkagyin应助elizabeth339采纳,获得10
44秒前
lds发布了新的文献求助10
46秒前
隐形曼青应助shine采纳,获得10
47秒前
竹筏过海应助梵克Q宝采纳,获得50
47秒前
高分求助中
【提示信息,请勿应助】请使用合适的网盘上传文件 10000
The Oxford Encyclopedia of the History of Modern Psychology 1500
Green Star Japan: Esperanto and the International Language Question, 1880–1945 800
Sentimental Republic: Chinese Intellectuals and the Maoist Past 800
The Martian climate revisited: atmosphere and environment of a desert planet 800
Parametric Random Vibration 800
城市流域产汇流机理及其驱动要素研究—以北京市为例 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 工程类 有机化学 物理 生物化学 纳米技术 计算机科学 化学工程 内科学 复合材料 物理化学 电极 遗传学 量子力学 基因 冶金 催化作用
热门帖子
关注 科研通微信公众号,转发送积分 3862963
求助须知:如何正确求助?哪些是违规求助? 3405518
关于积分的说明 10644924
捐赠科研通 3129070
什么是DOI,文献DOI怎么找? 1725612
邀请新用户注册赠送积分活动 831127
科研通“疑难数据库(出版商)”最低求助积分说明 779615