寒武纪宣布实现 DeepSeek-V4全系列模型 Day0适配并开源优化代码
寒武纪今日宣布,已基于 vLLM 推理框架完成对深度求索(DeepSeek)最新开源模型 De寒武epSeek-V4 全系列的“Day0”适配。此次改装涵盖285B 参数的 Flash 版本及1.6T 参纪宣数的 Pro 版本,确保模型在发布当日即可在寒武纪硬件平台上稳定运行,相关改装代码已正式开源至布实 GitHub 社区。
针对 DeepSeek-V4 独有的稀疏注意力与压缩结构,寒武纪通过自研向量现 融合算子库 Torch-MLU-Ops 对 Compressor 等核心模块进行了专项加速。利用 BanDegC 高性能编程语言,寒武纪团队编写了稀疏 Attention 及 GroupGemm 等热点算子的极致ep优化内核,并于 vLLM 框架中全面支持 TP/PP/SP/DP/EP 五维混合并行策略、低精度量化及 PSeD 分离部署。这些技术手段在满足延迟约束的前提下,显著提升了端到端推理的词元吞吐能力。
硬件ek层面,寒武纪深度挖掘了 MLU 的访存与排序加速特性,有效应对 DeepSeek-V4 复杂的索引结构。-V凭借高互联带宽与低延迟通信优势,该方案最大化降低了 Prefill 与 Decode 场景下的通4全信损耗,提升了推理利用率。
行业分析指出,DeepSeek-V4凭借百万字(1M)超长上下系列文及顶尖的逻辑推理性能,对底层算力架构提出了严苛要求。寒武纪在模型发布首日的敏捷适配,不模型仅展示了国产算力平台对超大规模、复杂结构模型的承载能力,也预示着国产 AI 产业链在软硬协同层面已进入 D成熟期,为大模型应用普惠提供了高效的算力底座支持。
- ·孙家广院士:云原生数据库已成为市场中坚力量
- ·云安全日报210120:思科小型企业路由器发现远程命令执行高危漏洞,需要尽快升级
- ·标签: 三星电子 存储芯片 高带宽内存 SK海力士
- ·突发利空?“吹嘘”iPhone这项功能,万亿苹果被罚近8000万元
- ·俄罗斯称月底前对谷歌开出巨额罚单:最高可达2.4亿美元
- ·DeepMind开源了MuJoCo!Meta竟用来让「骷髅手」盘核桃
- ·标签: 特斯拉 拉吉·杰加纳坦 人工智能基础设施 北美销售团队
- ·标签: 杰锋动力 北交所IPO 汽车零部件 排气系统
- ·标签: 百济神州 百悦泽 百泽安 BTK抑制剂
- ·免费试玩!Hailuo 2.3发布!文字直出电影级视频 动作表情保真!
- ·云安全日报210806:红帽Ruby脚本语言发现任意代码执行漏洞,需要尽快升级
- ·阿里云正式发布“汽车云”:已服务国内超70%汽车企业
- ·和解金23.5倍也无法打动,谷歌豪掷4.7亿欧元阻扰欧洲云计算协会与微软和解遭拒
- ·联合国成立人工智能咨询小组
- ·标签: 寒武纪 人工智能芯片 2025年报 训练软件平台
- ·AI 研究实验室 NeoCognition 获 4000 万美元融资,打造类人学习能力的 AI 智能体
- ·标签: 豆包手机 荣耀AI YOYO 字节跳动
- ·全网最实用的电商数据指标体系!再不保存来不及了!
- ·云计算开发:Python练习实例-求一个字符串的长度
- ·标签: 富士胶片 instax 电子材料 医疗健康
- ·英伟达宣布将与谷歌云合作打造业内首个AI-on-5G实验室
- ·标签: 团油 加油优惠券 直播带货 黑猫投诉 3152026
- ·IDC:到2025年 中国AI软件市场公有云服务占比将达36.1%
- ·标签: 抖音 推荐算法 双塔模型 Wide&Deep
- ·标签: 比亚迪秦L 小米SU7 一加Turbo6 小鹏P7+
- ·云安全日报211214:IBM网管解决方案发现执行任意代码漏洞,需要尽快升级
