月之暗面推出新型混合线性注意力架构 “Kimi Linear”
近日,月之暗面发布了一种全新的混合线性注意力架构,名为 “Kimi Linear”。这一架构据称在处理短距月离、长距离信息以及强化学习(RL)等多种场景中,性能优于传统的全注意力方法。其核心技术 Kimi Delta Atte之暗ntion(KDA)是对 Gated DeltaNet 的一次优化,特别引入了一种更高效的门控机制,以更好地管面推理有限状态 RNN 的记忆使用。
Kimi Linear 的设计由三份 Kimi Delta Attention 和一份出新全局 MLA 组成。这种结构通过细粒度的门控来压缩有限状态 RNN 的记忆,使得模型在处理信息时更加高效。官方型混指出,在处理1M token 的数据场景中,Kimi Linear 的 KV cache 占用降低了75%,而解码吞吐合线量最高可提升6倍,TPOT 相较于传统 MLA 加速了6.3倍。
这种新的架构为各种 AI 应用场景提供了更强的支性注持,无论是在信息密集型的自然语言处理任务还是在动态环境中的强化学习,Kimi Linear 都有着显著的优势。意力随着 AI 技术的不断发展,这种高效的注意力机制可能会为未来的智能应用带来新的突破。
更多技术细节可以在 Kimi架构 Linear 的技术报告中找到,https://github.com/MoonshotAI/Kimi-Linear “/blob/master/tech_report.pdf。
划重点:
Kimi LineaKir 是一种新型的混合线性注意力架构,优化了信息处理性能。
该架构在1M token 场景下,KmiV cache 占用减少75%,解码吞吐量提升6倍。
Kimi Delta Attention 是 L其核心技术,通过细粒度门控优化了 RNN 的记忆管理。
- ·标签: 豆包 千问 DeepSeek Claw
- ·标签: 智谱 GLM Coding Plan GLM-5 开源大模型
- ·大厂云出海,扩容与桎梏
- ·豆包编程升级 上线创作与问答双模式
- ·标签: 问界M9 华为nova16 小米17Max 华为巨鲸电池
- ·标签: 瑞幸咖啡 大钲资本 Costa 可口可乐
- ·上海加速医疗器械领域 AI 技术应用,助力高端产业全链条发展
- ·数据分析速成班?包就业?扒一扒数分培训行业黑幕!
- ·一文看懂2025云栖大会技术发布:阿里云大模型七连发、新一代磐久AI服务器亮相
- ·标签: 阿维塔12 荣耀Magic8 华为乾崑 天玑9500
- ·吉卜力等日企施压OpenAI:要求停止未经许可使用版权内容训练AI模型
- ·标签: AMD EPYC Instinct GPU 数据中心
- ·2025 年上半年中国 AI IaaS 市场规模达 198.7 亿元,同比增长 122.4%
- ·标签: 谷歌 Nano Banana Pro Gemini AI图像生成
- ·中国信通院人工智能研究所联合发布《大模型一体机应用研究报告(2025年)》
- ·标签: 希磁科技 磁性传感器 IDM模式 港交所上市
- ·什么是云到云备份?
- ·OpenAI再放大招!全新图像模型即将登场,复杂图表生成能力或迎质变
- ·谷歌云状态页面显示谷歌计算引擎正面临服务中断
- ·标签: 高德 Abot-world 具身智能 世界模型
- ·支付宝发布AI就业助手“晓叶”,报名岗位后直通AI在线面试间
- ·谷歌内部虚拟桌面效果惊艳媲美微软同款 却无对外开放打算?
- ·Anthropic 迎新任 CTO:将加强在AI基础设施领域的布局
- ·云安全日报210810:IBM数据保护平台发现跨站脚本攻击漏洞,需要尽快升级
- ·标签: 阜博集团 VobileMAX DreamMaker 数字内容资产
- ·外媒:英国、欧盟将就英伟达400亿美元收购ARM交易展开深入调查
