小巧却强大的推理引擎!Ring-mini-2.0 震撼发布,性能超越10B模型
今天,我们正式推出了 Ring-mini-2.0,这是一款基于 Ling-mini-2.0架构深度优化的高性能小巧推理型 MoE 模型。Ring-mini-2.0的总参数量达到16B,但在实际运行中仅需激活1.4B 参数,便能实却强现相当于10B 级别以下的密集模型的推理能力。
这款模型在逻辑推理、编程和数学任务中表现尤为出色,支持128K大的 的长上下文,使得其在各种应用场景中都能展现出强大的能力。此外,Ring-mini-2.0的生成速度也相当惊推理人,能够实现300+ token/s 的快速生成,经过优化后更是可以突破500+ token/s。
图源备注:图片由引擎AI生成,图片授权服务商Midjourney
在推理能力的提升方面,Ring-mini-2.0在 Ling-mini-2!R.0-base 的基础上进行了更深层次的训练,通过 Long-COT SFT、大规模 RLVR 和 RLHF 的联合优化,显著增in强了模型在复杂推理任务中的稳定性和泛化能力。我们在多个高难度基准测试中,发现其性能显著超越了10B 以下的密集模g-型,甚至可以与一些更大型的 MoE 模型相媲美,特别是在逻辑推理方面表现优异。
此外,Ring-mini-2.0在mi设计上注重高效性,通过1/32的专家激活比和 MTP 层架构优化,实现了约7-8B 密集模型的等效性能。这种高稀ni疏度和小激活设计,使得其在 H20环境下可以实现300+ token/s 的推理速度,同时结合 Expert Dua-2l Streaming 的优化,进一步降低了推理成本。
为了促进学术与工业界的研究和应用,Ring-mini-2.0的模.0型权重、训练策略和数据配方将全面开源。我们期待这款 “小而优” 的模型能够成为小型推理模型的首选,并欢迎大家访问我们 震的开源仓库进行下载和使用。未来,在 Ling2.0架构的支持下,我们将继续推出更大、更快、更强的语言模型和全模撼发态模型,敬请期待!
- ·标签: 小马智行 Robotaxi PonyWorld 丰田铂智4X
- ·标签: 壁仞科技 BR106 BR166 智算集群
- ·苹果最快本月正式推送iOS 14.6:解决性能下降
- ·神秘AI换脸软件入侵全球社交网络!马斯克秒变文艺复兴贵族
- ·云计算核心技术Docker教程:Docker 容器环境变量
- ·如何面对繁杂的数据需求?
- ·强化学习与3D视觉结合新突破:高效能在线码垛机器人
- ·解密机器学习:程序是如何“创造”自己的?
- ·标签: 谷歌 GeminiSpark Anthropic OpenAI
- ·Facebook前广告主管即将跳槽 担任生鲜杂货配送商Instacart总裁
- ·云计算核心技术Docker教程:Docker Hub检查活动版本
- ·标签: 飞猪 元旦出游 出境游 AI旅游
- ·标签: 可灵AI 可灵视频3.0 可灵图片3.0 AI影视生成
- ·大幅降价和裁员,阿里云走到岔路口
- ·标签: 网易有道 AI原生 学习硬件 AI Agent
- ·识别实体与值对象的特征
