MechGPT, a Language-Based Strategy for Mechanics and Materials Modeling That Connects Knowledge Across Scales, Disciplines, and Modalities

计算机科学 背景(考古学) 数据科学 模式 语料库 人工智能 社会学 社会科学 生物 古生物学
作者
Markus J. Buehler
出处
期刊:Applied Mechanics Reviews [American Society of Mechanical Engineers]
卷期号:76 (2) 被引量:144
标识
DOI:10.1115/1.4063843
摘要

Abstract For centuries, researchers have sought out ways to connect disparate areas of knowledge. While early scholars (Galileo, da Vinci, etc.) were experts across fields, specialization took hold later. With the advent of Artificial Intelligence, we can now explore relationships across areas (e.g., mechanics-biology) or disparate domains (e.g., failure mechanics-art). To achieve this, we use a fine-tuned large language model (LLM), here for a subset of knowledge in multiscale materials failure. The approach includes the use of a general-purpose LLM to distill question-answer pairs from raw sources followed by LLM fine-tuning. The resulting MechGPT LLM foundation model is used in a series of computational experiments to explore its capacity for knowledge retrieval, various language tasks, hypothesis generation, and connecting knowledge across disparate areas. While the model has some ability to recall knowledge from training, we find that LLMs are particularly useful for extracting structural insights through Ontological Knowledge Graphs. These interpretable graph structures provide explanatory insights, frameworks for new research questions, and visual representations of knowledge that also can be used in retrieval-augmented generation. Three versions of MechGPT are discussed, featuring different sizes from 13 × 109 to 70 × 109 parameters, and reaching context lengths of more than 10,000 tokens. This provides ample capacity for sophisticated retrieval augmented strategies, as well as agent-based modeling where multiple LLMs interact collaboratively and/or adversarially, the incorporation of new data from the literature or web searches, as well as multimodality.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
小小青完成签到,获得积分10
1秒前
2秒前
ppp发布了新的文献求助10
2秒前
3秒前
lydiaabc完成签到,获得积分10
3秒前
ZDU完成签到 ,获得积分10
4秒前
4秒前
CWH发布了新的文献求助10
5秒前
xiaohai1466完成签到 ,获得积分10
6秒前
时尚若雁完成签到,获得积分10
6秒前
安琪完成签到,获得积分10
6秒前
vdhuec完成签到,获得积分10
7秒前
紫炫完成签到 ,获得积分10
8秒前
leiyuekai完成签到 ,获得积分10
8秒前
慧子完成签到,获得积分10
9秒前
冷傲太英完成签到,获得积分10
9秒前
gaga完成签到,获得积分10
9秒前
九月初完成签到 ,获得积分10
10秒前
小白加油完成签到 ,获得积分10
10秒前
鲤鱼白枫完成签到,获得积分10
10秒前
2319374525完成签到,获得积分10
11秒前
抹茶麻薯完成签到 ,获得积分10
11秒前
Hua完成签到,获得积分10
12秒前
uTwTu发布了新的文献求助10
12秒前
12秒前
爱吃秋刀鱼的大脸猫完成签到,获得积分10
12秒前
gaogao完成签到 ,获得积分10
12秒前
蒸点粥七七完成签到,获得积分10
13秒前
曾经友容完成签到 ,获得积分10
15秒前
Molly完成签到 ,获得积分10
15秒前
陨落的繁星完成签到,获得积分10
15秒前
科研dog完成签到,获得积分10
15秒前
CodeCraft的应助被wzz采纳,获得10
16秒前
八笔完成签到 ,获得积分10
16秒前
康家旗完成签到,获得积分10
17秒前
清修发布了新的文献求助10
17秒前
世上千寒完成签到,获得积分10
17秒前
waka完成签到,获得积分10
17秒前
李安全完成签到,获得积分10
18秒前
安然完成签到 ,获得积分10
18秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Hidden Empire of Finance: How Wall Street Profits from Our Cities and Fuels Global Inequality 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8166570
求助须知:如何正确求助?哪些是违规求助? 9559581
关于积分的说明 21750904
捐赠科研通 7757397
什么是DOI,文献DOI怎么找? 3429170
关于科研通互助平台的介绍 2553530
邀请新用户注册赠送积分活动 2473923