首次超越自回归模型!蚂蚁集团开源业内首个高性能扩散语言模型推理框架dInfer
10月13日,蚂蚁集团正式开源业界首个高性能扩散语言模型推理框架dInfer。
在基准测试中,dInfer将扩散语言模型的推理速度相比于英伟达扩散模型框架F首次ast-dLLM提升了10.7倍;在代码生成任务HumanEval上,dInfer在单批次推理中创造了1011Tokens/秒的速度,首次在开源社区中实现扩超越散语言模型的单批次推理速度显著超越自回归模型。dInfer的工作表明,扩散语言模型具备显著的效率潜力,可以通过系统性的创新工程兑现,为通往AGI的架构路径提供自回极具竞争力的选项。
扩散语言模型,作为一种全新的范式将文本生成视为一个“从随机噪声中逐步恢复完整序列”的去噪过程,具有高度并行、全局视野、结构灵活三大优势。凭归模借这些优势,以蚂蚁集团和人大发布的LLaDA-MoE为代表的模型已在多个基准测试中,展现出与顶尖AR模型相媲美的准确性 。然而在推理效率方面,dLLM理论上的强大潜能型!,却长期被残酷的现实“枷锁”所束缚。dLLM的高效推理面临计算成本高、KV缓存失效、并行解码三大挑战。这些瓶颈使得扩散语言模型的推理速度一直不尽人意,如何打破枷锁释蚂蚁放扩散语言模型在推理效率上的潜能,成为整个领域亟待解决的难题。
dInfer是一款专为扩散语言模型设计的、算法与系统深度协同的高性能推理框架 ,可支持多种扩散语言模型,集团包括 LLaDA、 LLaDA-MoE、LLaDA-MoE-TD 等。
dInfer包含四大核心模块:模型接入(Model)、KV缓存管理器(KV-Cache Ma开源nager),扩散迭代管理器(Iteration Manager),和解码策略(Decoder)。这种可插拔的架构,允许开发者像搭乐高一样,进一步组合和探索不业内同模块的优化策略,并在统一的平台上进行标准化评测 。更重要的是,dInfer针对上述三大挑战,在每个模块中都集成了针对性的解决方案。
(图说:dInfer的架构首个)
在配备8块NVIDIA H800GPU的节点上,dInfer的性能表现令人瞩目:
在与先前的dLLM推理方案Fast-dLLM的对比中,dInfer在模型效果持平的情高性况下,平均推理速度(avg TPS)实现了10.7倍的巨大提升(681vs63.6) ;在代码生成任务HumanEval上,dInfer在单批次推理中创造了1011能扩tokens/秒的速度 ;与在业界顶尖的推理服务框架vLLM上运行的、参数量和性能相当的AR模型Qwen2.5-3B相比,dInfer的平均推理速度是其2.5倍散语(681vs277) 。
蚂蚁集团介绍,dInfer连接了前沿研究与产业落地,标志着扩散语言模型从“理论可行”迈向“实践高效”的关键一步。此次开预案,也是诚邀言模全球的开发者与研究者共同探索扩散语言模型的巨大潜能,构建更加高效、开放的AI新生态。
- ·埃森哲裁员超1.1万名员工,全面转向人工智能
- ·云计算核心技术Docker教程:Docker 容器环境变量
- ·捷豹路虎中国与阿里云达成全面合作,加快推进本土制造与研发数字化
- ·标签: 京东 京东年终奖 19薪 20薪
- ·斯坦福大学:人工智能本科 4 年课程清单
- ·灏忕背闆嗗洟娓�偂娑ㄨ秴5锛� 闆峰啗绉板皬绫虫墜鏈洪攢閲忚秴鑻规灉鏅嬪崌鍏ㄧ悆绗�簩
- ·标签: 小米汽车 宋钢 于立国 雷军
- ·澳大利亚将于12月9日引入针对性立法,强制谷歌、脸书为新闻付费
- ·谷歌宣布Google Lens新增拍照购物功能
- ·使用 Postman 的 Newman 扩展在 Docker 中自动化 API 测试和调试
- ·2021年,无人机快递不仅要快更要“稳”
- ·消息称亚马逊和Spotify考虑竞购播客Audioboom
- ·标签: 长江存储 科创板 大基金 湖北省国资委
- ·标签: 海致科技 任旭阳 大模型除幻第一股 图模融合
- ·备份Kubernetes的5个优秀实践
- ·标签: 现代汽车 小鹏 Momenta 自动驾驶
- ·云计算开发:Python练习实例-结构体变量传递
- ·Facebook年薪中位数170万元:凸显大厂在劳动力市场的网络效应
- ·Meta陷入史上最大AI训练数据侵权案!2396部影片非法使用,面临3.59亿美元天价索赔
- ·Zendesk押注AI客服革命:五款智能代理来了,人工客服要被取代80%的工作
- ·标签: 天能股份 锂电池 储能 氢燃料电池
- ·BERT是图像预训练未来?字节iBOT刷新十几项SOTA,部分指标超MAE
- ·标签: SpaceX Starlink 马斯克 星链
- ·腾讯开源翻译巨头 Hunyuan-MT-7B:斩获 WMT2025 三十项冠军,翻译界的新霸主!
- ·快手AI技术对游戏的全链路赋能
- ·标签: 特斯拉 Cybercab 自动驾驶出租车 奥斯汀发布会
