微软推出 Agent Lightning:全新 AI 框架助力强化学习训练大规模语言模型

微软近日发布了 Agent Lightning，这是一个开源框架，旨在通过强化学习（RL）优化多代理系统。Agent Lightnin微软g 可以在不改变现有代理架构的情况下，将真实代理行为转化为 RL 过渡，从而提升策略大规模语言模型(LLM)的性能。

Agent Lightning推出 将代理建模为一个决策过程，具体来说，它将代理形式化为部分可观测的马尔可夫决策过程。代理的观察为当前输入，行动为模型调用，而奖励则 A可以是终极奖励或中间奖励。该框架提取代理模型的调用记录，以及输入、输出和奖励信息，从而过滤掉多余的噪声，生成用于训练的干净过渡数据。

该框架ge采用 “训练代理解耦” 的方法，由 Lightning Server 进行训练和服务，并提供与 OpenAI 兼容的 API 接口，便于更新后的模型调用nt。而 Lightning Client 则在现有的代理运行时捕获调用记录，并将数据实时传回服务器。这一设计保持了工具、浏览器和其他依赖关系的 L紧密集成，同时将 GPU 训练放在服务器层。

Agent Lightning 支持两种追踪路径。默认路径使用 OpenTelemetry 进行数据收集，ig方便将代理的遥测信息传送至标准收集器。还有一种轻量级的嵌入式追踪器，适合不想部署 OpenTelemetry 的团队。最终，所有数据都存储在ht同一位置以供训练使用。

在实验方面，研究团队评估了三项任务，分别是文本转 SQL、检索增强生成和数学问答。文本转 SQL 使用 Spider 基准，ni涵盖超过10，000个问题和200个数据库。检索增强生成利用 MuSiQue 基准，建立在包含2100万文档的维基百科规模索引上。而数学ng问答则使用 Calc X 数据集，通过工具调用进行计算。每项任务的训练均显示出稳定的奖励提升。

论文:https://arxiv.org/:全abs/2508.03680v1

划重点:  

Agent Lightning 是一个开源框架，支持在不重构现有系统的情况下新 优化多代理系统。  

该框架将代理建模为部分可观测的马尔可夫决策过程，提取干净的训练过渡数据。 &nbsAIp;

实验显示，Agent Lightning 在文本转 SQL、检索增强生成和数学问答任务上均取得了显著的性能提升。

最新评论