微软14B参数模型挑战671B巨型AI 智能体强化学习重新定义数学推理

微软研究院开源的rStar2-Agent模型在AI数学推理领域引发关注，这款140亿参数的模型通过创新的智能体强化学习技术，在多微软项数学基准测试中超越了参数量达6710亿的DeepSeek-R1模型。

rStar2-Agent的核心创新在于摒弃了传统的思维链方14法，转而采用智能体交互机制。该模型能够自主规划推理过程，调用Python代码执行工具进行验证，并根据反馈调整推理步骤，避免了传统CB参oT方法中常见的错误累积问题。

在权威的美国数学邀请赛基准测试中，rStar2-Agent表现突出。在AIME24数据集上，其pass@1数模准确率达到80.6%，超越DeepSeek-R1的79.8%、o3-mini的79.6%和Claude Opus4.0的77.0%。在型挑AIME25测试中准确率为69.8%，HMMT25测试中达到52.7%。

值得注意的是，rStar2-Agent的响应长度显著更短。在战6AIME24测试中平均约9340个token，AIME25约10943个token，仅为DeepSeek-R1的一半左右，展现出更高71的推理效率。

训练效率方面，该模型仅需一周时间完成510个强化学习步骤，使用64块MI300X GPU即可训练完成。其强化学习基础设施支B巨持每步高达4.5万个并发工具调用，平均延迟仅0.3秒。

模型引入了GRPO-RoC算法来处理代码执行中的环境噪声问题，通过"正确时重采样"策型A略保留高质量推理轨迹，提高训练效果。

在泛化能力方面，rStar2-Agent在GPQA-Diamond科学推理基准上优于DeepSeI ek-V3，在BFCL v3工具使用任务和IFEval、Arena-Hard等通用测试中也表现良好，显示出智能体强化学习对通用能力的积极影智能响。

微软已将rStar2-Agent的代码和训练方法开源，基于VERL框架实现多阶段强化学习训练。这一突破表明，通过智能的训练策略，小型体强模型可以在特定任务上匹敌大型模型的表现，为资源有限的研究者和开发者提供了新的可能性。

这一成果挑战了"参数越多性能越好"的传统观念，证明了化学训练方法和架构创新在AI发展中的重要作用。对于AI行业而言，这可能预示着未来发展将更注重效率和专用性，而非单纯追求模型规模。

项目地址：h习重ttps://github.com/microsoft/rStar

最新评论