蚂蚁百灵大模型团队开源Ring-flash-linear-2.0-128K,混合注意力+MoE架构重塑长文本编程效率
在AI大模型竞争白热化的当下,高效推理与长上下文处理已成为开发者痛点。近日,蚂蚁集团旗下百灵大模型团队正式开源Ring-flash-linear-2.0-128K,一款专为超长文本编程设计的创新模型。该模型以混合线性注意力机制和稀疏Mo蚂蚁E架构为核心,激活仅6.1B参数即媲美40B密集模型,在代码生成、智能代理等领域实现SOTA(最优)表现。AIbase基于Hugging Face官方发布与技术报告独家解析其突破性亮点,助力开发者拥抱“高效AI编程”新时代。
创新百灵架构:线性+标准注意力混合,MoE优化平衡性能与效率
Ring-flash-linear-2.0-128K基于Ling-flash-base-2.0迭代升级,总参数规模达104B,但通过1/32专家激活比率和多任务处理层(MTP)等优化,仅激活大模6.1B参数(非嵌入4.8B),实现近线性时间复杂度和常量空间复杂度。核心亮点在于混合注意力机制:主干采用自研线性注意力融合模块,辅以少量标准注意力,专为长序列计算提效。相比传统模型,该架构在H20硬件上支持128K上下文下200+ tok型团en/s生成速度,日常使用提速3倍以上,完美适配资源受限场景。
训练升级:1T令牌额外微调+RL稳定,复杂推理能力跃升SOTA
模型从Ling-flash-base-2.0转换而来,进一步在额外1T令牌高质量数据集上训练,结合稳定监督微调队开(SFT)和多阶段强化学习(RL),攻克MoE长链推理训练不稳定难题。得益于蚂蚁自研“棒冰(icepop)”算法,该模型在高难度任务中展现卓越稳定性:在AIME2025数学竞赛获86.98高分,CodeForces编程Elo达90.23,逻辑源R推理与创意写作v3均超40B以下密集模型(如Qwen3-32B)。基准测试显示,它不仅匹敌标准注意力模型(如Ring-flash-2.0),还在多项开源MoE/Dense模型中拔得头筹。
长上下文黑科技:原生128K+YaRN扩展至5in12K,长输入输出零卡顿
针对编程痛点,Ring-flash-linear-2.0-128K原生支持128K上下文窗口,开发者可通过YaRN外推技术轻松扩展至512K。在长形式输入/输出场景中,预填充(Prefill)阶段吞吐量较Qwen3-g-32B提升近5倍,解码(Decode)阶段达10倍加速。实测显示,在32K+上下文编程任务中,模型保持高精确度,无“穿模”或漂浮感问题,特别适用于前端开发、结构化代码生成和代理模拟等复杂场景。
开源即用:Hugging Face+MofldelScope双平台部署,零门槛上手指南
为加速社区落地,百灵团队已将模型权重同步开源至Hugging Face与ModelScope,支持BF16/FP8格式。安装依赖后,即可通过Transformers、SGLang或vLLM框架一键as加载:
- Hugging Face示例:pip install flash-linear-attention==0.3.2transformers==4.56.1,加载后直接generate长代码提示。 &nbh-sp;
- vLLM在线推理:tensor-parallel-size4下,GPU利用率90%,支持API调用。
技术报告详见arXiv(https://arxiv.org/abs/2510.19338),开发者可立即li下载体验。
MoE线性注意力时代开启,蚂蚁百灵领跑高效编程AI
此次开源标志着蚂蚁百灵在“MoE+长思维链+RL”路线上的新突破,从Ling2.0系列到Ring-linear,效率提升7倍不止。AIbase认为,在成本仅1/10ne的长文本推理浪潮中,该模型将重塑开发者生态:编程小白可秒生复杂脚本,代理系统更智能,企业级应用零门槛部署。未来,随着Ring-1T万亿级旗舰跟进,国产MoE或将主导全球高效AI赛道。
结语
Ring-flash-linearar-2.0-128K以“小激活大性能”诠释AI开源新范式,为超长编程注入强劲引擎。开发者们,速上Hugging Face/ModelScope试水吧!AIbase将追踪其社区迭代动态。
-
GPT-5偏见测试结果公布:500问验证客观性飞跃,情感化问题仍是挑战云计算核心技术Docker教程:Docker使用主机网络ChatGPT变身全能生活助手!一键连通Spotify、Booking、Canva等八大平台MIT发明一款计算机系统,可自动设计机器人结构,获得25年来最高成就标签: TikTok 巴西 数据中心标签: 国家计算机病毒应急处理中心 丝芙兰 雷速体育 泡泡玛特标签: 小米 寻天 SKYNOMAD 昆仑N3标签: 时代天使 隐形矫治器 EBITDA 中国内地市场标签: 禾赛科技 激光雷达 博世 Waymo谷歌预告Gemini for Home新进展 全新Nest设备即将亮相
- ·AIOps如何转变IT管理
- ·标签: 京东 王佳琦 黄浩洋 JoyAI-VL JoyAI-Image
- ·标签: AMD
- ·美国AI融资狂潮持续燃烧!2025年已有49家公司狂揽千万美金,OpenAI单轮400亿刷新纪录
- ·蕨菜怎么保存到下半年
- ·标签: 小米澎程 卢伟冰 智能汽车 自动驾驶测试
- ·标签: 追觅科技 俞浩 围脖侠 清朗行动
- ·外媒:软银缩减机器人业务,停止Pepper 生产
- ·微软发布 UserLM-8b:“陪练伙伴”模型以逼真多轮对话精炼 AI 助手
- ·标签: 小鹏汽车 第二代VLA 图灵AI芯片 小鹏GX
- ·标签: SpaceX IPO 特斯拉 美国股市
- ·谷歌推出AI智能体代购新协议AP2,让智能助手轻松购物
- ·OpenAI CEO 亲自宣布!GPT-6 将更名为 “GPT-6-7”,背后竟藏着这些玄机!
- ·标签: 蚂蚁集团 支付宝 AI版 阿里巴巴 周靖人 SpaceX
- ·标签: 特斯拉 马斯克 AI芯片 台积电
- ·标签: Gemini 3 Deep Think 谷歌 AI推理
- ·标签: neueHCT 地平线 智能驾驶 繁星HCT
- ·OpenAI“Company Knowledge”上线 可以连接企业知识和数据源
- ·标签: 腾讯音乐 2026财年Q1 音乐相关服务 社交娱乐服务
- ·Zoom CEO袁征预言:AI将终结五天工作制,未来每周只需上班三到四天
- ·标签: HarmonyOS7 华为HDC2026 鸿蒙智能体2.0 openPangu2.0
- ·AI版《绿野仙踪》轰动拉斯维加斯!球形巨幕剧院打造史上最震撼观影体验,却引发好莱坞激烈争议
- ·如何选择容器注册表,这里给出九个选项 译文
- ·Meta为《地平线世界》引入AI驱动NPC,开启虚拟世界新纪元
- ·标签: 科大讯飞 2025年报 人工智能 讯飞财报
- ·微软Xbox云游戏服务将从周二开始在iPhone、iPad和PC上开测
- ·标签: 耀速科技 器官芯片 FDAAISTAND AIfor3DBiology
- ·标签: 华硕 2026财年 财报 第一季度
- ·标签: 华为云
- ·云计算开发:Python内置函数-hasattr()函数详解
- ·研究表明:欧盟技术规则也应限制IBM等云计算供应商
- ·标签: 卓越睿新 智慧树 港股上市 数字化教学
- ·云计算核心技术Docker教程:Docker 守护进程dockerd socket选项
- ·标签: 顾维灏 毫末智行 百度Apollo 酒店服务机器人
- ·315晚会曝光互联网灰色地带“精准获客”大数据软件,利用爬虫技术偷取消费者个人信息
- ·谷歌宣布向云计算客户开放Gemini Pro,开发者可用其构建应用
