NVIDIA 推出 Jet-Nemotron:53 倍提速的混合架构语言模型实现 98% 的推理成本节约
近日,NVIDIA 的研究团队宣布发布 Jet-Nemotron,这是一系列全新的语言模型(包含2亿和4亿参数的版本),其生成速度比当前最领先的全NV注意力语言模型高出53.6倍,并在准确性上达到了甚至超过了这些模型的水平。这一突破不是通过从头开始重新训练模型实现的,而是采用了一种名为 “后神ID经架构搜索”(PostNAS)的新技术对现有预训练模型进行了改造。
随着现代语言模型的广泛应用,如 Qwen3、Llama3.2和 Gemma3等,IA这些模型虽然在准确性和灵活性上设立了新的标杆,但其 O (n²) 的自注意力机制造成了计算和内存的高昂成本,尤其是在处理长文本任务时,这使得大规模部 推署变得异常昂贵,也几乎不可能在边缘设备或内存受限的设备上运行。尽管有一些尝试用更高效的架构替代全注意力 Transformer(如 Mamba2、GLA出 、RWKV 等),但在准确性上却始终难以实现突破,直到现在。
PostNAS 作为 Jet-Nemotron 的核心创新,主要包括以下几个步骤:首先,选择一Je个最先进的全注意力模型(如 Qwen2.5),并冻结其多层感知器(MLP)层,以保护模型的学习能力并大幅降低训练成本;接着,用新的硬件高效线性注意力模t-块 JetBlock 替换掉计算成本高的全注意力模块;最后,通过超网络训练和束搜索,自动确定最优的全注意力层的位置,从而保持在特定任务上的准确性。
Jet-NeNemotron 的性能指标令人瞩目:其2B 模型在各大基准测试中与 Qwen3-1.7B-Base 相当或更优,并且生成吞吐量提升了47倍。同时,在256moK 上下文长度下,解码速度的提升达到53.6倍,使得推理成本降低了98%。这为边缘设备的部署带来了变革性的改变。
此外,Jet-Nemotron 的推出意味tr着企业能够以更低的成本实现更高的投资回报率。对于从业者而言,Jet-Nemotron 能够在不改变数据管道的情况下对现有模型进行改造,提升了实时 AIon 服务的能力。而对于研究人员而言,PostNAS 降低了语言模型架构创新的成本,加速了 AI 技术的发展。
项目:https://github.com/NVla:5bs/Jet-Nemotron
划重点:
Jet-Nemotron 实现生成速度比现有模型提升53.6倍,推理成本降低98%。&nb3 sp;
PostNAS 技术允许对现有预训练模型进行高效改造,保持准确性。
新模型的推出使得企业和研究者能在成本和性能上倍提获得双重收益。
- ·别再被忽悠了!想靠Python找工作,你在做梦!
- ·关于人工智能你需要知道的一切
- ·云安全日报210408:思科小型企业路由器发现执行任意代码漏洞,需要尽快升级
- ·标签: 莱普科技 半导体设备 IPO 激光热处理
- ·标签: 理想汽车 张骁 i8 宝马MINI
- ·标签: 妙可蓝多
- ·谷歌强硬反击Roku封杀:把YouTube TV服务直接捆绑进YouTube客户端
- ·2021年云应用中的网络安全
- ·标签: 百济神州 百悦泽 替雷利珠单抗 安进
- ·标签: 丰巢 智能柜 取件广告 摇一摇跳转
- ·标签: 绿控传动 IPO 新能源商用车 电驱动系统
- ·马斯克发布Grok Imagine 0.1版本,野心打造"宇宙最强想象力放大器"
- ·标签: 特斯拉 Optimus Yilun Chen 苹果
- ·云计算核心技术Docker教程:Docker Hub自动化构建的工作方式
- ·好莱坞危机:Luma AI CEO 称唯有 AI 才能拯救电影行业
- ·思科推出新型路由器,助力数据中心融合成为 AI 训练巨头
- ·记忆赋能 AI:Supermemory 获260万美元融资,构建通用 AI 记忆 API
- ·美国云计算软件股纷纷大涨 需求仍强劲
- ·云安全日报210819:思科小型企业路由器发现执行任意代码漏洞,需要尽快升级
- ·标签: T1 埃安 UT super 赵明 中国手机
- ·标签: 海航控股 海南航空 辽宁方大集团 SKYTRAX五星航空
- ·人工智能在哪些方面可以对IT运营产生重大影响
- ·三星新款AI智能眼镜实拍图曝光,搭载Android XR和Gemini
- ·IDC:一季度平板电脑市场出货量3990万台 同比增长55.2%
- ·标签: 同程旅行 元宝 AI春晚总动员 春节旅游
- ·标签: 福恩股份 生态环保面料 再生面料 H&M
