| 标题 |
Towards Pareto-Optimal Tool-Integrated Agents with Pareto Ranking Policy Optimization
|
| 网址 |
求助人暂未提供
|
| DOI |
暂未提供，该求助的时间将会延长，查看原因？
|
| 其它 | 现有工具集成语言智能体已能借助搜索引擎、Python 解释器等外部工具完成复杂推理任务，但主流强化学习对齐方法往往过度关注最终答案准确率，忽视工具调用效率、推理成本与过程级决策质量，导致模型在实际部署中可能出现冗余调用、资源浪费或效率—性能失衡等问题。为此，本文提出 ParetoPO，一种面向工具增强的大模型智能体的两阶段多目标优化框架，旨在同时提升任务表现与工具使用效率。第一阶段通过超体积引导的动态标量化方法，根据 Pareto 前沿的全局推进情况自适应调整不同目标的奖励权重，从而更充分地探索准确率与效率之间的多样化权衡；第二阶段进一步引入基于 Pareto 排名的优势估计机制，利用非支配排序对轨迹进行 dominance-aware 信用分配，使策略更新更加偏向 Pareto 最优行为，而不依赖固定的线性奖励组合。实验覆盖数学推理与多跳问答任务，结果表明，ParetoPO 相比 ToRL-GRPO、OTC-GRPO、MO-GRPO、Search-R1 等基线方法，能够在保持甚至提升答案准确率的同时显著减少工具调用次数，展现出更优的准确率—效率 Pareto 权衡能力。消融实验和训练动态分析进一步验证了动态标量化与 Pareto 排名优化的互补作用，说明该方法为高效、可控的工具增强智能体训练提供了一种有效范式。 |
| 求助人 | |
| 下载 |
PDF的下载单位、IP信息已删除
(2025-6-4)
无极微光
DW
null
152455
mmmm
Criminology34
雨落千年
秋风
aajhajkahna
小情绪
aaaa
v0id
花开富贵
LYSM
Link
极限001
七听
xing_xing
茶叶渣显示今天有雨
lx
皖公网安备34019202002308
