蚂蚁集团重磅推出 dInfer:让扩散语言模型的推理速度飙升 10 倍!
近日,蚂蚁集团正式开源了业内首个高性能扩散语言模型推理框架 ——dInfer。这一框架的推出,不仅意味着扩散语言蚂蚁模型在推理速度上取得了重大突破,也标志着这一新兴技术向实际应用迈出了重要一步。
在最新的基准测试中,dInfer 的推理速集团度比英伟达的 Fast-dLLM 框架提升了惊人的10.7倍。在代码生成任务 HumanEval 中,dInfer 在单次推重磅理中达到了每秒1011个 Tokens 的速度,这一成绩在开源社区中首次实现了扩散语言模型的推理速度显著超越传统自推出回归模型。这样的进展让人们对扩散语言模型的未来充满期待,认为它将成为通往通用人工智能(AGI)的重要技术路径。
扩 d散语言模型的独特之处在于其将文本生成视作一个 “从随机噪声中逐步恢复完整序列” 的去噪过程,具备高度并行、全局视野以及结构In灵活的特点。尽管理论上拥有强大的潜力,dLLM 在实际推理中却受限于高计算成本、KV 缓存失效和并行解码等挑战。这fe些难题使得扩散语言模型的推理速度一直未能得到充分发挥,亟待突破。
针对这些挑战,dInfer 专为扩散语言模型设计,包r:含了四大核心模块:模型接入、KV 缓存管理器、扩散迭代管理器和解码策略。这样的模块化设计,像乐高玩具一样,让开发者让扩可以灵活组合和优化各个模块,同时在统一的平台上进行标准化评测。
在配备8块 NVIDIA H800GPU 的节点上,dInfe散语r 的表现极为出色。在与 Fast-dLLM 的对比中,dInfer 在效果相当的情况下,平均推理速度达到了681个 Tokens言模 / 秒,相比之下,Fast-dLLM 的速度仅为63.6个 Tokens / 秒。此外,与业界顶尖的推理服务框架 vLLM 上型的运行的自回归模型 Qwen2.5-3B 相比,dInfer 的速度更是达到了其2.5倍。
蚂蚁集团表示,dInfer 的推出推理是连接前沿研究与产业应用的重要一步,期待全球的开发者与研究者共同探索扩散语言模型的巨大潜能,构建更加高效与开放的 AI 生速度态。
- ·标签: 英矽智能 Pharma.AI Biotech AI制药
- ·电信发布新一代5G全网通云手机,1199元起售
- ·标签: 腾讯云 Agent全景图 混元大模型 TokenHub
- ·标签: FOX Roku 流媒体 福克斯
- ·苹果AI团队遭遇人才流失,核心研究员转投Meta、OpenAI和Anthropic
- ·2021骞磋秴閰风殑 10 涓�ぇ鏁版嵁宸ュ叿锛佷綘鐭ラ亾鍑犱釜锛�
- ·Twitter CFO不担心苹果调整隐私政策:竞争环境更公平对推特有利
- ·电信发布新一代5G全网通云手机,1199元起售
- ·标签: 阿耳忒弥斯2号 SLS火箭 猎户座飞船 NASA
- ·云计算开发:Python练习实例-打印出杨辉三角形
- ·“探路者”亚马逊云科技 如何探路云计算?
- ·标签: 英伟达 黄仁勋 比亚迪 天神之眼5.0
- ·标签: 用友
- ·标签: 传奇生物 CARVYKTI® 杨森 细胞疗法
- ·标签: 褚橙 云南褚氏农业
- ·微软研究院推出 Skala:深度学习的交换 - 关联泛函,以半局部成本实现混合级精度
- ·家里没有王位继承?没关系,有人用AI打造了一个童话魔法世界
- ·标签: 华为 吉利 安世半导体 谷歌
- ·AI爬虫“入侵”网络:Fastly 报告揭示,Meta、OpenAI 等巨头成主要流量来源
- ·标签: GTA 6 R 星 Take-Two 游戏发售
- ·标签: 飞速创新 港交所上市 网络通信设备 深创投
- ·商汤科技推出Claude API用户迁移计划 提供5000万Token免费体验
- ·标签: 微信 小米SU7 索尼 蓝光录像机
- ·标签: 京东物流 智狼仓 Joybuy
- ·AI安全赛道新贵崛起!Irregular获8000万美元融资,估值4.5亿专攻AI模型安全
- ·云计算市场竞争愈演愈烈,IBM收购芬兰云计算公司Nordcloud
