清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Optimizing Test-Time Compute via Meta Reinforcement Fine-Tuning

后悔 计算机科学 强化学习 透视图(图形) 结果(博弈论) 安全性令牌 度量(数据仓库) 人工智能 班级(哲学) 钥匙(锁) 比例(比率) 机器学习 块(置换群论) 数学优化 基线(sea) 相关性(法律) 分数(化学) 航程(航空) 剪裁(形态学) 汤普森抽样 会合(天文学) 考试(生物学) 采样(信号处理) 时间范围 预算约束 集合(抽象数据类型) 推论 芯(光纤) 光学(聚焦) 钢筋 元学习(计算机科学) 贴现 灵敏度(控制系统) 模式(计算机接口) 亲密度 时间预算 结构化预测 统计假设检验 任务分析 多样性(控制论)
作者
Qu Yuxiao,Yang, Matthew Y. R.,Setlur, Amrith,Tunstall, Lewis,Beeching, Edward Emanuel,Salakhutdinov, Ruslan,Kumar, Aviral
出处
期刊:Cornell University - arXiv [Cornell University]
标识
DOI:10.48550/arxiv.2503.07572
摘要

Training models to effectively use test-time compute is crucial for improving the reasoning performance of LLMs. Current methods mostly do so via fine-tuning on search traces or running RL with 0/1 outcome reward, but do these approaches efficiently utilize test-time compute? Would these approaches continue to scale as the budget improves? In this paper, we try to answer these questions. We formalize the problem of optimizing test-time compute as a meta-reinforcement learning (RL) problem, which provides a principled perspective on spending test-time compute. This perspective enables us to view the long output stream from the LLM as consisting of several episodes run at test time and leads us to use a notion of cumulative regret over output tokens as a way to measure the efficacy of test-time compute. Akin to how RL algorithms can best tradeoff exploration and exploitation over training, minimizing cumulative regret would also provide the best balance between exploration and exploitation in the token stream. While we show that state-of-the-art models do not minimize regret, one can do so by maximizing a dense reward bonus in conjunction with the outcome 0/1 reward RL. This bonus is the ''progress'' made by each subsequent block in the output stream, quantified by the change in the likelihood of eventual success. Using these insights, we develop Meta Reinforcement Fine-Tuning, or MRT, a new class of fine-tuning methods for optimizing test-time compute. MRT leads to a 2-3x relative gain in performance and roughly a 1.5x gain in token efficiency for math reasoning compared to outcome-reward RL.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
谨慎小土豆完成签到,获得积分10
11秒前
明理芷巧完成签到,获得积分10
26秒前
南天七完成签到 ,获得积分10
38秒前
勤奋完成签到 ,获得积分10
49秒前
1分钟前
1分钟前
1分钟前
1分钟前
英姑的应助被科研通管家采纳,获得10
1分钟前
1分钟前
Hongsong完成签到 ,获得积分10
1分钟前
新人钱粮完成签到 ,获得积分10
1分钟前
鸾峤完成签到,获得积分10
1分钟前
薛广苏完成签到,获得积分10
1分钟前
Dreamsli完成签到,获得积分10
2分钟前
哈哈哈曲奇完成签到 ,获得积分10
2分钟前
Alvin完成签到 ,获得积分10
2分钟前
naczx完成签到,获得积分0
2分钟前
笨笨完成签到 ,获得积分10
2分钟前
CHEN完成签到 ,获得积分10
2分钟前
呆呆的猕猴桃完成签到 ,获得积分10
2分钟前
文2026完成签到,获得积分10
2分钟前
淡然的冬瓜完成签到,获得积分10
2分钟前
3分钟前
yipmyonphu的应助被科研通管家采纳,获得30
3分钟前
3分钟前
小成完成签到 ,获得积分10
3分钟前
嘟嘟嘟嘟完成签到 ,获得积分10
3分钟前
3分钟前
叮咚鸡发布了新的文献求助10
3分钟前
宇文雨文完成签到 ,获得积分10
3分钟前
拼搏的小凝完成签到,获得积分10
3分钟前
房天川完成签到 ,获得积分10
4分钟前
吃鲨鱼的小虾米完成签到,获得积分10
4分钟前
画龙点睛完成签到 ,获得积分10
4分钟前
四颗半小核桃完成签到 ,获得积分10
4分钟前
aspect完成签到 ,获得积分10
4分钟前
hj完成签到 ,获得积分10
4分钟前
赘婿的应助被amiee采纳,获得10
4分钟前
南风完成签到 ,获得积分10
4分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8190242
求助须知:如何正确求助?哪些是违规求助? 9577380
关于积分的说明 21852403
捐赠科研通 7788815
什么是DOI,文献DOI怎么找? 3436315
关于科研通互助平台的介绍 2560109
邀请新用户注册赠送积分活动 2482945