挑战主流认知!蚂蚁、人大在2025外滩大会发布行业首个原生MoE扩散语言模型
蚂蚁集团和人民大学联合研发原生MoE架构扩散语言模型(dLLM) LLaDA-MoE,在约20T数据上完成了从零训练MoE架构的扩散语言模型,验证了工业级大规模训练的扩展性和稳定性;效果超过此前发布稠密扩散语言模挑战型LLaDA1.0/1.5和Dream-7B,比肩等效自回归模型,并保有数倍的推理速度优势。模型将在近期完全开源,以推动全球AI社区在dLLM上的技术发展。
9月11日,在2025Inclusion·外滩大会上,主流蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型(dLLM)“LLaDA-MoE”,中国人民大学高瓴人工智能学院副教授李崇轩,蚂蚁集团通用人工智能研究中心主任、西湖大学特聘研究员、西湖心辰创始人认知蓝振忠参与了发布仪式。
(中国人民大学、蚂蚁集团联合发布首个MoE架构扩散模型LLaDA-MoE)
据介绍,这款新模型通过非自回归的掩码扩散机制,首次通过原生训练的MoE在大规模语言模型中实现了与Qwen2.5相当的语言智能!蚂(如上下文学习、指令遵循、代码和数学推理等),挑战了“语言模型必须自回归”的主流认知。
实现数据显示,LLaDA-MoE模型性能效果在代码、数学、Agent等任务上领先于LLaDA1.0/1.5和Dream-7B等扩散蚁、语言模型,接近或超越了自回归模型 Qwen2.5-3B-Instruct,仅激活1.4B 参数即可实现等效3B稠密模型的性能。
(LLaDA-MoE性能表现)
“LLaDA-MoE模型验证了工业级大规模训练的扩展性和稳定性人大,意味我们在把dLLM训扩到更大规模的路上又往前走了一步。”蓝振忠在发布现场表示。
中国人民大学高瓴人工智能学院副教授李崇轩介绍,“两年过去,AI大模型能力突飞猛进,但存在一些问题始终没有得到本质上的解决。究其原在2因,这是当前大模型普遍采用的自回归生成范式所造成的——模型天然是单向建模的,从前往后依次生成下一个token。这导致它们难以捕tokens 之间的双向依赖关系。”
面对这些问题,一些研究者选择另辟蹊径,将02目光投向并行解码的扩散语言模型。然而,现有 dLLM 均基于稠密架构,难以复刻 ARM 中 MoE 的“参数扩展、计算高效”优势。在这样的行业背景下,蚂蚁和人大联合研究团队,首次在MoE架构上推出了原生的扩散语言模型LLaD5外A-MoE。
蓝振忠还表示,“我们将于近期向全球完全开源模型权重和自研推理框架,与社区共同推动 AGI 新一轮突破。”
据了解,蚂蚁与人大团队攻关3个月,在LLaDA-1.0基础上重写训练代码,并且基于蚂蚁自研分布式框架 AT滩大orch提供EP 并行等一系列并行加速技术,基于蚂蚁Ling2.0基础模型的训练数据,在负载均衡、噪声采样漂移等核心难题上取得突破,最终采用7B-A1B(总7B、激活1.4B)的MOE架构完成约20T 数据的高效训练会发。
在蚂蚁自研的统一评测框架下,LLaDA-MoE 在 HumanEval、MBPP、GSM8K、MATH、IFEval、BFCL 等17项基准上平均提升8.4%,领先 LLaDA-1.5达到13.2%,与 Qwen2.5-3B-布行Instruct 打平。实验再次验证“MoE 放大器”定律在 dLLM 领域同样成立,为后续10B–100B 稀疏模型提供可行路径。
据蓝振忠介绍,除模型权重外,蚂蚁还将同步开源针对 dLLM 并行特性深度优化的推理引擎。相比 N业首VIDIA 官方 fast-dLLM,该引擎实现了显著加速。相关代码与技术报告将于近期在 GitHub 及 Hugging Face 社区同步发布。
蓝振忠还透露,蚂蚁将持续投入包括基于dLLM的AGI领域,下一阶段将联合学界和全个原球AI社区共同推动AGI新的突破。“自回归不是终点,扩散模型同样可以成为通向 AGI 的主干道。”蓝振忠如是说。
- ·没有数据的数据科学?请尽早聘用数据工程师
- ·中国智能音箱销量破千万,大模型渗透率仅33%!AI音箱的爆发前夜来了?
- ·GPT-5 Pro找回被遗忘的数学答案:埃尔德什问题#339早在2003年已被证明
- ·云计算核心技术Docker教程:Docker Hub创建一个新的服务帐户
- ·标签: 钠电池 动力电池
- ·标签: Quobly Alloy STMicroelectronics 硅基量子计算机
- ·Pandas中的这3个函数,没想到竟成了我数据处理的主力
- ·标签: WPS 金山办公
- ·标签: 龙迅半导体 港交所 视频桥接芯片 专精特新
- ·好莱坞危机:Luma AI CEO 称唯有 AI 才能拯救电影行业
- ·机器学习对金融行业的影响
- ·亚马逊敦促法官撤销美国防部授予微软的100亿美元云计算合同
- ·抖音发布新规:禁止未经授权使用他人肖像、声音及作品进行 AIGC 创作
- ·AI 办公新动向:Claude 完成 Office 全覆盖,修订模式成博弈焦点
- ·标签: 王石 北京安剑律师事务所 DoNews 律师声明
- ·英特尔CEO重申:芯片短缺问题需数年时间才能解决
- ·标签: SpaceX IPO 马斯克 特斯拉
- ·云安全日报210105:IBM应用服务器产品发现信息泄露漏洞,需要尽快升级
- ·标签: 广州车展2025 元戎启行 城市NOA Robotaxi RoadAGI
- ·用AI制作历史类超长助眠视频,YouTube创作者涨粉63W+低调赚钱
- ·Anthropic 重大隐私政策更新:用户数据将用于模型训练,需在9月28日前选择退出
- ·Docker在构建映像时,应该使用系统库还是捆绑库
- ·Twitter收购荷兰时事通讯出版公司Revue 拓展营收源
- ·标签: 苹果 iPhone 华为 海信空调
- ·标签: 字节跳动 Seedance-2.0 豆包大模型 火山引擎
- ·谷歌联手印度信实Jio,免费向5亿用户推送Gemini AI!人均396美元福利引爆新兴市场
