清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method

计算机科学 缩放比例 数学 几何学
作者
Biao Zhang,Zhongtao Liu,Colin Cherry,Orhan Fırat
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:250
标识
DOI:10.48550/arxiv.2402.17193
摘要

While large language models (LLMs) often adopt finetuning to unlock their capabilities for downstream applications, our understanding on the inductive biases (especially the scaling properties) of different finetuning methods is still limited. To fill this gap, we conduct systematic experiments studying whether and how different scaling factors, including LLM model size, pretraining data size, new finetuning parameter size and finetuning data size, affect the finetuning performance. We consider two types of finetuning -- full-model tuning (FMT) and parameter efficient tuning (PET, including prompt tuning and LoRA), and explore their scaling behaviors in the data-limited regime where the LLM model size substantially outweighs the finetuning data size. Based on two sets of pretrained bilingual LLMs from 1B to 16B and experiments on bilingual machine translation and multilingual summarization benchmarks, we find that 1) LLM finetuning follows a powerbased multiplicative joint scaling law between finetuning data size and each other scaling factor; 2) LLM finetuning benefits more from LLM model scaling than pretraining data scaling, and PET parameter scaling is generally ineffective; and 3) the optimal finetuning method is highly task- and finetuning data-dependent. We hope our findings could shed light on understanding, selecting and developing LLM finetuning methods.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
2秒前
明理的璎完成签到,获得积分10
3秒前
luyun发布了新的文献求助10
12秒前
Magic完成签到 ,获得积分10
18秒前
ghost完成签到 ,获得积分10
20秒前
Dipsy123完成签到,获得积分10
22秒前
n01W97给勤奋不凡的求助进行了留言
24秒前
李健的应助被蜗牛好好飞采纳,获得10
26秒前
27秒前
怕孤独的亚男完成签到,获得积分10
28秒前
30秒前
TingtingGZ发布了新的文献求助10
33秒前
lay完成签到,获得积分10
38秒前
45秒前
54秒前
平淡大船完成签到,获得积分10
59秒前
虚心晓灵完成签到,获得积分10
59秒前
tuimao发布了新的文献求助10
1分钟前
Lucas的应助被tuimao采纳,获得10
1分钟前
等风的拾荒者完成签到 ,获得积分10
1分钟前
1分钟前
AiQi完成签到 ,获得积分10
1分钟前
伶俐的万言完成签到,获得积分10
1分钟前
在水一方的应助被WQY采纳,获得10
1分钟前
TingtingGZ发布了新的文献求助10
1分钟前
1分钟前
WQY发布了新的文献求助10
1分钟前
旧城旧巷等旧人完成签到 ,获得积分10
2分钟前
2分钟前
殷勤的鸵鸟完成签到,获得积分10
2分钟前
loen完成签到,获得积分10
2分钟前
杉寒完成签到,获得积分10
2分钟前
务实的绮琴完成签到,获得积分10
2分钟前
2分钟前
ramsey33完成签到 ,获得积分10
2分钟前
tuimao发布了新的文献求助10
2分钟前
Orange的应助被tuimao采纳,获得20
2分钟前
科研通AI6.2的应助被JJYYY采纳,获得10
3分钟前
tfonda完成签到 ,获得积分10
3分钟前
Tree_QD完成签到 ,获得积分10
3分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8173225
求助须知:如何正确求助?哪些是违规求助? 9565567
关于积分的说明 21780511
捐赠科研通 7767377
什么是DOI,文献DOI怎么找? 3431542
关于科研通互助平台的介绍 2555750
邀请新用户注册赠送积分活动 2476697