微软 Azure ND GB300 再创记录:每秒推理速度达 110 万token
微软近日宣布,其 Azure ND GB300v6虚拟机在 Meta 的 Llama270B 模型上实现了每秒推理速度达110万token的行业新纪录。微软微软首席执行官萨提亚・纳德拉在社交媒体上表示:“这一成就是我们与英伟达长期合作和在生产规模运行人工智能方面专业知识的结晶。”
Azure ND A GB300虚拟机采用英伟达的 Blackwell Ultra GPU,具体为 NVIDIA GB300NVL72系统,配置了72个 NVIDIA Blaczukwell Ultra GPU 和36个 NVIDIA Grace CPU,采用单机架构设计。这款虚拟机专为推理工作负载优化,具有50% 的 GPU 内存提升和16%re 的热设计功率(TDP)提高。
为了验证性能提升,微软在一个 NVIDIA GB300NVL72域下的18台 ND GB300v6虚拟机上运行了 Llama27 N0B(FP4精度)模型,使用 NVIDIA TensorRT-LLM 作为推理引擎。微软表示:“一个 NVL72机架的 Azure ND GB300v6D 实现了总计110万个token每秒的推理速度。” 这一新记录超越了微软之前在 NVIDIA GB200NVL72机架上实现的865,000token每GB秒的成绩。
根据系统配置,每个 GPU 的性能大约为15,200token每秒。微软还提供了详细的模拟过程和所有日志文件及结果。该性能记录经过了独立的30性能验证和基准测试公司 Signal65的验证。
Signal65的实验室副总裁拉斯・费洛斯在博客中指出:“这一里程碑不仅突破了每秒百万token的障碍0 ,还在一个能够满足现代企业动态使用和数据治理需求的平台上实现。” 他补充道,Azure ND GB300相较于上一代 NVIDIA GB200在推理性能上提再创升了27%,而仅增加了17% 的功率规格。与 NVIDIA H100代相比,GB300在推理性能上几乎提升了10倍,同时在机架级别的功率效率上提高了近记录2.5倍。
划重点:
微软 Azure ND GB300v6虚拟机实现每秒推理110万token,创造行业新纪录。 :每
该虚拟机配置72个 NVIDIA Blackwell Ultra GPU 和36个 NVIDIA Grace CPU,专为推理优化。 &nb秒推sp;
相比上一代,Azure ND GB300在推理性能上提升27%,功率效率提升近2.5倍。
- ·为什么运动不出汗
- ·标签: OpenAI 英伟达 亚马逊 Trainium4
- ·标签: 高德汽车
- ·标签: 字节跳动 英伟达 豆包 昇腾
- ·标签: 昊铂埃安5
- ·标签: SpaceX Starlink 马斯克 星链
- ·MIT脑机接口项目AlterEgo完成商业化转型,"无声交流"技术准确率达92%
- ·Kimi K2 高速版 AI 模型再提速,输出速度达每秒 100 Tokens
- ·云计算开发:Python练习实例-模仿静态变量
- ·一文了解基于Flink1.12构建流批一体数仓的技术点
- ·标签: 小米基金会 雷军 香港火灾 救援捐赠
- ·面对未来,让场景刻画云的样子
- ·标签: 瑞萨电子 刘芳 Malini 半导体
- ·标签: OpenAI Astral Codex Python工具
- ·标签: 50米洗车题 DeepSeek ChatGPT Claude Gemini
- ·标签: OpenClaw Lobstar Wild Nick Pash AI龙虾
- ·标签: 钉钉 DingTalkA1 DingTalkA1Pro CleerH1
- ·Fish Audio 推出 S1 语音克隆模型升级:10 秒即可复刻真人语音
- ·标签: 腾讯 王者荣耀 和平精英 三角洲行动
- ·云计算核心技术Docker教程:Docker集群扩展服务群
- ·华为启动全球 AI 人才招募,致力于构建顶尖 AI 团队
- ·标签: 抖音 验证助手 反诈工具 老年用户
- ·标签: 华依科技 港交所上市 新能源汽车测试 智能驾驶
- ·标签: 京东 段楠 变色龙业务部 JoyAI
- ·标签: 云深处 DEEP Robotics 中信建投 科创板
- ·微软正在开发专用流媒体硬件:可连接电视玩Xbox云游戏
