Performance comparison of TCR-pMHC prediction tools reveals a strong data dependency

作者
Lihua Deng,Cedric Ly,Sina Abdollahi,Yu Zhao,Immo Prinz,Stefan Bonn
出处
期刊:Frontiers in Immunology [Frontiers Media]
卷期号:14: 1128326-1128326 被引量:53
标识
DOI:10.3389/fimmu.2023.1128326
摘要

The interaction of T-cell receptors with peptide-major histocompatibility complex molecules (TCR-pMHC) plays a crucial role in adaptive immune responses. Currently there are various models aiming at predicting TCR-pMHC binding, while a standard dataset and procedure to compare the performance of these approaches is still missing. In this work we provide a general method for data collection, preprocessing, splitting and generation of negative examples, as well as comprehensive datasets to compare TCR-pMHC prediction models. We collected, harmonized, and merged all the major publicly available TCR-pMHC binding data and compared the performance of five state-of-the-art deep learning models (TITAN, NetTCR-2.0, ERGO, DLpTCR and ImRex) using this data. Our performance evaluation focuses on two scenarios: 1) different splitting methods for generating training and testing data to assess model generalization and 2) different data versions that vary in size and peptide imbalance to assess model robustness. Our results indicate that the five contemporary models do not generalize to peptides that have not been in the training set. We can also show that model performance is strongly dependent on the data balance and size, which indicates a relatively low model robustness. These results suggest that TCR-pMHC binding prediction remains highly challenging and requires further high quality data and novel algorithmic approaches.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
科目三的应助被xh采纳,获得10
1秒前
1秒前
wanci的应助被秦124a采纳,获得10
1秒前
奕柯发布了新的文献求助10
1秒前
秋风的应助被小人物丿采纳,获得20
2秒前
直率的听露完成签到,获得积分10
2秒前
小白菜发布了新的文献求助10
2秒前
2秒前
2秒前
qgt发布了新的文献求助10
3秒前
寂寞的小鱼的应助被江sir采纳,获得10
3秒前
张二发布了新的文献求助30
3秒前
lb001发布了新的文献求助10
3秒前
杨123完成签到,获得积分10
3秒前
老王驳回了852的应助
3秒前
在看书发布了新的文献求助10
5秒前
充电宝的应助被张丁采纳,获得10
5秒前
5秒前
5秒前
5秒前
kiddchow发布了新的文献求助20
5秒前
桐桐的应助被Dou采纳,获得10
5秒前
6秒前
好运丫丫耶完成签到,获得积分10
6秒前
6秒前
6秒前
6秒前
田様的应助被胡图图采纳,获得10
6秒前
大模型的应助被wyc采纳,获得10
6秒前
zorro完成签到,获得积分10
7秒前
7秒前
7秒前
高兴白山完成签到,获得积分10
8秒前
花根完成签到,获得积分10
8秒前
yii发布了新的文献求助10
8秒前
9秒前
9秒前
义气烧鹅发布了新的文献求助10
9秒前
小九完成签到,获得积分10
9秒前
丘比特的应助被怡然小白菜采纳,获得10
10秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
Resource Recovery Handbook 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8175853
求助须知:如何正确求助?哪些是违规求助? 9567457
关于积分的说明 21792632
捐赠科研通 7770447
什么是DOI,文献DOI怎么找? 3431918
关于科研通互助平台的介绍 2556276
邀请新用户注册赠送积分活动 2477418