PeptideBERT: A Language Model Based on Transformers for Peptide Property Prediction

变压器 计算机科学 语言模型 溶血 人工智能 自然语言处理 化学 工程类 生物 生物化学 电气工程 电压 免疫学
作者
Chakradhar Guntuboina,Asit Kumar Das,Parisa Mollaei,Seong Won Kim,Amir Barati Farimani
出处
期刊:Journal of Physical Chemistry Letters [American Chemical Society]
卷期号:14 (46): 10427-10434 被引量:12
标识
DOI:10.1021/acs.jpclett.3c02398
摘要

Recent advances in language models have enabled the protein modeling community with a powerful tool that uses transformers to represent protein sequences as text. This breakthrough enables a sequence-to-property prediction for peptides without relying on explicit structural data. Inspired by the recent progress in the field of large language models, we present PeptideBERT, a protein language model specifically tailored for predicting essential peptide properties such as hemolysis, solubility, and nonfouling. The PeptideBERT utilizes the ProtBERT pretrained transformer model with 12 attention heads and 12 hidden layers. Through fine-tuning the pretrained model for the three downstream tasks, our model is state of the art (SOTA) in predicting hemolysis, which is crucial for determining a peptide's potential to induce red blood cells as well as nonfouling properties. Leveraging primarily shorter sequences and a data set with negative samples predominantly associated with insoluble peptides, our model showcases remarkable performance.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
我爱康康文献完成签到 ,获得积分10
6秒前
SC完成签到 ,获得积分10
8秒前
rangergzz应助汪汪淬冰冰采纳,获得10
9秒前
小雷完成签到,获得积分10
11秒前
12秒前
浪麻麻完成签到 ,获得积分10
14秒前
onevip完成签到,获得积分10
16秒前
鞑靼完成签到 ,获得积分10
19秒前
上官聪展完成签到 ,获得积分10
22秒前
温如军完成签到 ,获得积分10
22秒前
迷你的夜天完成签到 ,获得积分10
22秒前
23秒前
laohu完成签到,获得积分10
26秒前
黑球发布了新的文献求助10
29秒前
WYR完成签到 ,获得积分10
33秒前
roundtree完成签到 ,获得积分0
35秒前
大大蕾完成签到 ,获得积分10
36秒前
Johnlian完成签到 ,获得积分10
37秒前
hhh2018687完成签到,获得积分10
40秒前
天才罗完成签到 ,获得积分10
41秒前
俊逸吐司完成签到 ,获得积分10
43秒前
萨格完成签到 ,获得积分10
48秒前
meiyang完成签到 ,获得积分10
51秒前
kento应助蝌蚪采纳,获得200
51秒前
科研通AI2S应助蝌蚪采纳,获得10
58秒前
哭泣的映寒完成签到 ,获得积分10
1分钟前
mrwang完成签到 ,获得积分10
1分钟前
mia完成签到,获得积分10
1分钟前
1分钟前
稳重的秋天完成签到,获得积分20
1分钟前
YC发布了新的文献求助10
1分钟前
乃惜完成签到,获得积分10
1分钟前
YC完成签到,获得积分10
1分钟前
细心的如天完成签到 ,获得积分10
1分钟前
Aurora完成签到 ,获得积分10
1分钟前
btcat完成签到,获得积分10
1分钟前
丹青完成签到 ,获得积分10
1分钟前
pphss完成签到,获得积分10
1分钟前
Jack80发布了新的文献求助200
2分钟前
zgtmark完成签到,获得积分10
2分钟前
高分求助中
좌파는 어떻게 좌파가 됐나:한국 급진노동운동의 형성과 궤적 2500
Sustainability in Tides Chemistry 1500
TM 5-855-1(Fundamentals of protective design for conventional weapons) 1000
Cognitive linguistics critical concepts in linguistics 800
Threaded Harmony: A Sustainable Approach to Fashion 799
Livre et militantisme : La Cité éditeur 1958-1967 500
氟盐冷却高温堆非能动余热排出性能及安全分析研究 500
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 催化作用 物理化学 免疫学 量子力学 细胞生物学
热门帖子
关注 科研通微信公众号,转发送积分 3052652
求助须知:如何正确求助?哪些是违规求助? 2709874
关于积分的说明 7418267
捐赠科研通 2354453
什么是DOI,文献DOI怎么找? 1246090
科研通“疑难数据库(出版商)”最低求助积分说明 605951
版权声明 595921