标签: DeepSeek Engram 梁文锋 V4
云梦级1月13日云梦级消息,今日凌晨,DeepSeek 开源全新架构模块「Engram」,并同步发布技术论文,标签署名作者中再次出现梁文锋。据悉,Engram 模块通过引入可扩展的查找式记忆结构,为大模型提供了区别于传统 Tran: sformer 与 MoE 的全新稀疏性维度。
DeepSeek 在论文中指出,当前主流大模型在处理两类任务时存在结构性低效De:一类是依赖固定知识的「查表式」记忆,另一类是复杂推理与组合计算。传统 Transformer(无论 Dense 或 MepoE)均需通过多层注意力与 MLP 重建这些静态模式,导致计算资源被大量消耗在「重复构造已知模式」上。
Engram 的Se核心机制是基于现代化哈希 N-Gram 嵌入的 O(1) 查找式记忆。模块会对输入 Token 序列进行 N-Gram 切片ek,并通过多头哈希映射到一个规模可扩展的静态记忆表中,实现常数时间的检索。
论文强调,这种查找与模型规模无关,即便记忆表 E扩展至百亿级参数,检索成本仍保持稳定。与 MoE 的条件计算不同,Engram 提供的是「条件记忆」。模块会根据当前ng上下文隐向量决定是否启用查找结果,并通过门控机制与主干网络融合。
论文显示,Engram 通常被放置在模型早期层,用于承ra担「模式重建」职责,从而释放后续层的计算深度用于复杂推理。DeepSeek 在 27B 参数规模的实验中,将部分 MoE 专m 家参数重新分配给 Engram 记忆表,在等参数、等算力条件下,模型在知识、推理、代码与数学任务上均取得显著提升。
在 X梁文 平台上,相关技术讨论认为 Engram 的机制有效减少了模型早期层对静态模式的重建需求,使模型在推理部分表现得更「深」。锋 部分开发者指出,这种架构让大规模静态记忆得以脱离 GPU 存储限制,通过确定性寻址实现主机内存预取,从而在推理阶段保持低V4开销。多位观察者推测,Engram 很可能成为 DeepSeek 下一代模型「V4」的核心技术基础。
- ·标签: 麦迪克 自动轮智行底盘 靳立强 新能源智能网联汽车
- ·标签: 鸿蒙 华为 余承东 生态
- ·标签: 长安汽车 死了么App 在么在么 大疆
- ·谷歌宣布Google Lens新增拍照购物功能
- ·标签: 顾维灏 毫末智行 百度Apollo 酒店服务机器人
- ·苹果二财季大中华区营收177.3亿美元 同比大增87.4%
- ·VMware扩展多云管理,改善灵活性
- ·IBM Cloud提供量子安全密码技术和Hyper Protect加密服务,以帮助保护混合时代的数据
- ·标签: 小鹏机器人 何小鹏 具身智能 产品矩阵
- ·标签: 虎牙直播 游戏
- ·标签: 泡泡玛特 拓竹科技 Labubu 3D打印侵权
- ·云安全日报201223:思科IP电话发现拒绝服务漏洞,需要尽快升级
- ·标签: 甲骨文 云计算 OpenAI Meta
- ·表征学习:为自然语言而生的高级深度学习 原创
- ·京东云如何夹缝求生?
- ·标签: 苹果 iPhone 华为 海信空调
- ·标签: 和林微纳 MEMS 半导体测试探针 专精特新
- ·Elastic 收购 Jina AI,推动开源检索与多模态 AI 技术发展
- ·标签: 快手 北京快手科技 网络安全法 网信办
- ·抖音副总裁李亮称 AI 令造谣更易,平台正用智能体治理谣言
- ·谷歌、Perplexity 之后,微软押注“代理浏览器”概念,掀起 Edge 变革
- ·芯片短缺仍将持续6个月!思科CEO认为芯片制造能力应更加分散
- ·LoveLive!出了一篇AI论文:生成模型自动写曲谱
- ·标签: 立讯精密 精密智造 消费电子 汽车电子
- ·字节跳动新举措!推出豆包股激励计划,吸引大模型人才
- ·标签: 亿纬锂能 SK On 股权置换 电池企业
- ·Claude Pro 订阅方案调整:部分新用户或失去 Claude Code 使用权
- ·标签: 新氧 新氧青春诊所 医美平台 财报
- ·云安全日报210521:IBM身份管理解决方案发现执行任意代码漏洞,需要尽快升级
- ·标签: AMD 苏姿丰 SIA 半导体
- ·标签: 小鹏汽车 何小鹏 物理AI Robotaxi
- ·标签: 歌尔股份 2026年Q1财报 歌尔股份财报 歌尔股份业绩
- ·英特尔计划在韩国首尔建设一个数据中心开发实验室
- ·亚马逊与苹果抛弃英特尔芯片 机算行业话语权或将转移
- ·做出电影级的 CG 渲染!斯坦福大学研究人员提出神经光图渲染
- ·分布式协调框架 Zookeeper 核心设计 理解与实战,并实现一个主备切换
