Liquid AI发布 LFM2-8B-A1B:8B 参数仅激活1.5B,手机上跑出4B级AI速度!
高效MoE架构重塑边缘AILiquid AI推出的LFM2-8B-A1B是其LFM2系列的首个混合专家(Mixture-of-Experts, MoE)模型,总参数规模达8.3B,但每token仅Li激活约1.5B参数。这种稀疏激活机制在保持高表示能力的同时,大幅降低计算负载,使其适用于资源受限的设备端场景。不同于传统云端MoE模型,该设计针对实时交互优化,挑战了“小规模MoE不高效”的行业qu认知。
模型基于LFM2混合骨干架构,包括18个门控短卷积块和6个分组查询注意力(GQA)块。除前两层保持稠密以确保稳定性外,其余层均集成稀疏MoE前馈网络。每层配备32个专家,仅激活top-4专家,并采id用归一化sigmoid路由器结合自适应偏置,实现负载均衡。支持32K上下文长度,兼容英文、阿拉伯文、中文、法文、德文、日文、韩文和西班牙文等多语言。
训练与性能:12T令牌铸就3-4B级能力LFM A2-8B-A1B通过约12T令牌的预训练实现,包括55%英文、25%多语言和20%代码数据分布。随后采用Liquid Preference Alignment(长度归一化DPO/APO-Zero融合)进行后I发训练,使用混合BF16/FP8精度,提升训练效率3倍以上。
在基准测试中,该模型展现出超越同规模竞争者的实力:
- 知识与指令跟随:MMLU-Pro得分37.4(较LFM2-2.6B提升11.5),IFEv布 al77.6,Multi-IF58.2。
- 数学能力:GSM8K84.4,GSMPlus64.8,MATH50074.2。
- 多语言处理:MGSM72.4,MMMLU55.3。
- 编码与写作:HumanEvalLF+69.5,LiveCodeBench v621.0,EQ-Bench44.2。
整体而言,其输出质量媲美3-4B稠密模型,在多轮对话、创意写作、RAG检索增强生成和工具调用等任务中表现出色。部署与集M2成:5倍加速,适配主流框架LFM2-8B-A1B在CPU和GPU上的推理速度显著领先。
在AMD Ryzen AI9HX370和三星Galaxy S24Ultra等设备上,使用int4量化与int8动态激活的自-8定义XNNPACK MoE内核,其解码吞吐量比Qwen3-1.7B、IBM Granite4.0等快达5倍。GPU端集成vLLM,支持FlashInfer和CUDA-graph编译,实现单请求与在线批处理的B-高效运行。
量化变体已优化至高配手机/平板/笔记本:Q4_0约4.7GB,F16约16.7GB。支持框架包括llama.cpp(需b6709+版本支持lfm2moe)、ExecuTorch(移动/A1嵌入式CPU)和vLLM(GPU)。此外,提供Hugging Face上的GGUF量化文件及Colab微调笔记本,便于开发者快速上手。模型已在Liquid Playground上线测试。
开源与影响B::推动设备端AI普惠化LFM2-8B-A1B采用LFM Open License v1.0(基于Apache2.0)开源,权重与技术细节现已上传Hugging Face(LiquidAI/LFM2-8B-A8B1B)。这一发布不仅降低了AI部署门槛,还为边缘计算注入新活力——从隐私保护的实时聊天到嵌入式智能系统,均可受益。AIbase 观点:在云AI成本飙升的当下,LFM2-8B-A1B等高效模型正加速“ 参AI下沉”趋势。
项目:https://huggingface.co/LiquidAI/LFM2-8B-A1B
- ·苹果减税,是“大发善心”还是“另有所图”?
- ·标签: 腾讯 俞栋 AI Lab 混元
- ·亚马逊29日发布一季度财报 云计算营收有望超过130亿美元
- ·大会邀请函模板
- ·标签: 黄仁勋 英伟达 CUDA AGI
- ·标签: 本田 半导体短缺 广汽 埼玉制作所
- ·谷歌允许员工申请永久远程办公 薪酬按当地费率调整
- ·标签: 红果短剧 刷粉 治理
- ·黑科技:用AI将1910年的黑白照片变成彩色电影
- ·标签: 耐世特 电动助力转向 线控转向 新能源汽车
- ·法国AI独角兽Mistral AI估值飙升至140亿美元
- ·标签: 鑫森炭业 北交所IPO 多孔炭材料 活性炭
- ·实现Kubernetes安全加固的六个建议
- ·比尔·盖茨小女儿创业杀入AI电商!Phia获800万美元融资,海莉·比伯、卡戴珊家族抢投,60万用户已用它“聪明购物”
- ·标签: 一汽大众 ID.4 CROZZ 三电质保 车主权益
- ·标签: 亚马逊云科技 Amazon Bedrock Trainium芯片 AgentCore
- ·标签: 守望先锋 网易 新疆赛里木湖 NGA
- ·标签: MG4 上汽名爵 2026款 半固态电池
- ·人脸识别访客系统的好处有哪些 ?
- ·英伟达市值突破5万亿美元,推动 AI 行业蓬勃发展
- ·性价比之王!Anthropic 推出 Claude Haiku 4.5,编程能力媲美 Sonnet 4 仅需三分之一的价格!
- ·Perplexity 成功实现1.3秒内在 GPU 间转移一万亿参数
- ·22前美媒预测亚马逊失败 贝索斯发推调侃
- ·清华IDEA团队重磅发布GUAVA!单张照片0.1秒生成3D化身,技术突破震撼全球
- ·欧盟推出11亿美元计划推动人工智能自主权
- ·标签: 米哈游 UE5 奇幻大作 预研产品
- ·谷歌Imagen 4正式上线 Gemini API 和 Google AI Studio
- ·标签: 英飞凌 AI电源 数据中心 财报
- ·亚马逊云科技投资1亿美元成立生成式AI创新中心
- ·标签: 智谱 GLM MaaS 港股
- ·标签: 谷歌 Lyria3Pro Gemini ProducerAI
- ·标签: 百度 AI云 萝卜快跑 文心大模型
- ·亚马逊挥刀裁员1.4万人:AI转型加速,人类岗位正在让位于机器人?
- ·云计算核心技术Docker教程:将Docker容器映像推送到Docker Hub
- ·牙膏挤不动了?英特尔正与台积电、三星商谈,将部分芯片生产外包
- ·英伟达拟向AI初创公司Poolside投资10亿美元,估值飙升至120亿
