微软推出 Agent Lightning:全新 AI 框架助力强化学习训练大规模语言模型
微软近日发布了 Agent Lightning,这是一个开源框架,旨在通过强化学习(RL)优化多代理系统。Agent Lightnin微软g 可以在不改变现有代理架构的情况下,将真实代理行为转化为 RL 过渡,从而提升策略大规模语言模型(LLM)的性能。
Agent Lightni推出ng 将代理建模为一个决策过程,具体来说,它将代理形式化为部分可观测的马尔可夫决策过程。代理的观察为当前输入,行动为模型调用,而奖励则可 A以是终极奖励或中间奖励。该框架提取代理模型的调用记录,以及输入、输出和奖励信息,从而过滤掉多余的噪声,生成用于训练的干净过渡数据。
该ge框架采用 “训练代理解耦” 的方法,由 Lightning Server 进行训练和服务,并提供与 OpenAI 兼容的 API 接口,便于更新后的模型调用nt。而 Lightning Client 则在现有的代理运行时捕获调用记录,并将数据实时传回服务器。这一设计保持了工具、浏览器和其他依赖关系的紧 L密集成,同时将 GPU 训练放在服务器层。
Agent Lightning 支持两种追踪路径。默认路径使用 OpenTelemetry 进行数据收集,方ig便将代理的遥测信息传送至标准收集器。还有一种轻量级的嵌入式追踪器,适合不想部署 OpenTelemetry 的团队。最终,所有数据都存储在ht同一位置以供训练使用。
在实验方面,研究团队评估了三项任务,分别是文本转 SQL、检索增强生成和数学问答。文本转 SQL 使用 Spider 基准,涵ni盖超过10,000个问题和200个数据库。检索增强生成利用 MuSiQue 基准,建立在包含2100万文档的维基百科规模索引上。而数学问答则使ng用 Calc X 数据集,通过工具调用进行计算。每项任务的训练均显示出稳定的奖励提升。
论文:https://arxiv.org/abs/2:全508.03680v1
划重点:
Agent Lightning 是一个开源框架,支持在不重构现有系统的情况下优化多代理新 系统。
该框架将代理建模为部分可观测的马尔可夫决策过程,提取干净的训练过渡数据。
实验显示,AIAgent Lightning 在文本转 SQL、检索增强生成和数学问答任务上均取得了显著的性能提升。
- ·法外狂徒张三沃尔沃什么梗
- ·标签: 魏牌 长城汽车 赵永坡 魏建军
- ·Sora免费额度要缩水!OpenAI推付费包+创作者分成,视频生成进入商业化深水区
- ·标签: 努比亚 豆包AI手机 骁龙8至尊版 字节跳动
- ·Facebook吹哨人将参加国情咨文演讲
- ·标签: 新东方 俞敏洪 南极 夏古号
- ·标签: OPPO FindX9Ultra 手机影像 软件缺陷
- ·标签: 真人短剧 短剧
- ·标签: Vbot维他动力 秦海龙 超能机器狗 具身智能
- ·IDC 报告:2024年中国 AI 公有云服务市场规模激增,阿里云蝉联中国市场第一
- ·云计算开发:Python练习实例-求完全平方数
- ·美图 RoboNeo 上线首月 MAU 破百万,吴欣鸿倡导“AI 原生”
- ·“复仇者联盟”再添三巨头:苹果、阿里云、新思加入UALink联盟,挑战英伟达AI霸主地位
- ·英伟达收购Arm再有变数?高通总裁:若失败,愿接盘
- ·标签: 灵犀互娱 三国志·战略版 如鸢 阿里巴巴
- ·云计算核心技术Docker教程:Docker将配置与 Nginx 服务使用
- ·标签: 抖音
- ·标签: 智谱 大模型 港交所 OpenAI
- ·标签: 英伟达 Nebius Rubin平台 AI云服务
- ·AI作曲家来了!MiniMax发布Music 1.5,4分钟完整歌曲一键生成,民乐也能玩转
- ·浜戝畨鍏ㄦ棩鎶�210727锛氱孩甯戒簯璁$畻搴旂敤骞冲彴鍙戠幇瓒婄晫鍐欏叆婕忔礊锛岄渶瑕佸敖蹇�崌绾�
- ·阿里通义千问推出Qwen3-VL轻量级模型:4B和8B参数版本性能逼近此前72B旗舰
- ·标签: 小红书 陈浩 港股上市 劳动合规
- ·标签: 网络餐饮 外卖平台 食品安全 市场监管总局
- ·标签: 珀莱雅 丸美生物 吴梦 国货美妆
- ·标签: HappyHorse-1.0 阿里巴巴 张迪 可灵
