Nvidia 推出新型小型开放模型 Nemotron-Nano-9B-v2,支持智能推理开关
近日,Nvidia 推出了一款新的小型语言模型 Nemotron-Nano-9B-v2,这款模型在多个基准测试中表现优异,并且用户可以灵活控制其推理功能的开Nv关。Nemotron-Nano-9B-v2的参数量为90亿,相较于其前身的120亿参数有了显著减小,旨在适应单个 Nvidia A10GPU 的部署需求。
Nvidia 的id AI 模型后训练总监 Oleksii Kuchiaev 表示,这款模型专门针对 A10GPU 进行了优化,可以实现高达6倍的处理速度,适合各种应用场景。Nemotron-iaNano-9B-v2支持多种语言,包括英语、德语、西班牙语、法语、意大利语、日语,以及扩展的韩语、葡萄牙语、俄语和中文等,适用于指令跟随和代码生成任务。
该 推模型基于 Nemotron-H 系列,融合了 Mamba 与 Transformer 架构,能够在处理长序列时降低内存和计算需求。与传统的 Transformer 模型不同,出新Nemotron-H 模型使用选择性状态空间模型(SSM),在确保准确性的同时,能够高效处理更长的信息序列。
在推理功能上,Nemotron-Nano-9B-v2型小可以默认生成推理过程的跟踪记录,用户也可以通过简单的控制指令,如 /think 或 /no_think,来切换这一功能。此外,模型引入了运行时 “思考预算” 管理,允许开型开发者设定推理所用的最大 token 数量,以便在准确性和响应速度之间取得平衡。
在基准测试中,Nemotron-Nano-9B-v2展现了良好的准确性。例如,在使用 Ne放模Mo-Skills 套件的 “推理开启” 模式下,该模型在多个测试中均表现出色,显示出与其他小型开源模型相比的优势。
Nvidia 将 Nemotron-Nano-9B-v2型 以开放模型许可证发布,允许商业用途,且开发者可自由创建和分发衍生模型。值得一提的是,Nvidia 不会对模型生成的输出主张所有权,用户可完全控制其使用。
该模型Ne的发布旨在为开发者提供在小规模环境中平衡推理能力和部署效率的工具,标志着 Nvidia 在提高语言模型的效率和可控推理能力方面的持续努力。
huggingface:mohttps://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-9B-v2
划重点:
Nvidia 推出了新型小型语言模tr型 Nemotron-Nano-9B-v2,支持用户灵活控制推理功能。
️ 该模型基于先进的混合架构,能够高效处理长序列信息,适用于多语言任务。on
Nemotron-Nano-9B-v2以开放模型许可证发布,允许开发者进行商业用途和衍生模型的创建。
- ·火山引擎发布豆包视频生成模型1.0pro fast,提速3倍,价格直降72%
- ·标签: AIVA 阿维塔 赛豆科技 蓝电
- ·网易云音乐推出 “AI推荐”音乐功能,轻松定制专属歌单
- ·标签: 豆瓣豆品 妇女节优惠 薅羊毛 运营失误
- ·应对 AI 论文泛滥:arXiv CS 类别综述论文设“前置评审”门槛
- ·标签: Mindverse Macaron AI LoRA强化学习 个人智能
- ·标签: 思格新能源 AI+光储一体化 许映童 港股IPO
- ·《新神榜:杨戬》奇幻视效背后 阿里云保障云端渲染1.58亿核小时
- ·Meta重磅发布代码世界模型,AI编程将进入新纪元!
- ·标签: xAI 马斯克 Grok 4 Toby Pohlen
- ·遏制矿工扫货 英伟达限制显卡性能
- ·Hive中的内部表、外部表、分区表和分桶表
- ·标签: 京东 刘强东 涅槃计划 AI开放
- ·微软前高管建议卖掉Windows和Office业务 专攻云计算
- ·云安全日报210824:红帽音频处理库发现任意代码执行漏洞,需要尽快升级
- ·标签: 谷歌 DeepMind 字节跳动 DeepSeek
- ·巨量引擎亮出AI治理“利剑”:自研多模态大模型10分钟审90%广告,单季拦截84万违规素材
- ·Miclaw 多端互联重磅升级!手机、PC、Mac、小爱音箱无缝协同,共享记忆 + 远程控制一键搞定
- ·云安全日报211008:Cisco模拟电话适配器软件发现命令注入漏洞,需要尽快升级
- ·英伟达与 Nscale 投资 130 亿美元在英国打造 AI 基础设施
- ·NVIDIA 与美国国家科学基金会携手打造开放科学 AI 模型
- ·值得考虑的开源云平台和工具
- ·阿里云技术支持2022世界杯直播,将直播端到端延时缩短至1秒
- ·洗衣机是什么梗
- ·数据分析一问:指标波动有多大,才算是大!
- ·标签: 墨库股份 数码喷印墨水 创业板IPO 国家小巨人
