Meta AI 发布 MobileLLM-R1:轻量级边缘推理模型,参数不足 10 亿,性能提升显著
Meta AI 近日推出了 MobileLLM-R1,这是一系列轻量级边缘推理模型,目前已在 Hugging Face 上发布。该系列模型参数范围从140M 到950M,专注于高效的M数学、编码和科学推理,且在不足10亿的参数规模下实现了优秀的性能表现。
MobileLLM-R1的最大模型为 MobileLLM-R1-950M,采用了一系列架构优化设计:包括22层et Transformer 结构、24个注意力头和6个分组 KV 头。模型的嵌入维度为1536,隐藏层维度为6144。此外,模型还采用了分组查询注意力(GQA)来减少计算和内存需a 求,块级权重共享技术降低了参数数量而不显著增加延迟,SwiGLU 激活函数提升了小模型的表示能力。模型支持4K 的上下文长度和32K 的后训练模型。
在训练效率方面,MobileLAILM-R1的表现同样引人注目。该模型总共在约4.2万亿个 token 上进行训练,相较于 Qwen3的0.6B 模型训练的36万亿 token,MobileLLM-R1仅使用了约11.7% 发 的数据便达到了或超越了 Qwen3的准确率。同时,模型在数学、编码和推理数据集上进行了监督微调,从而降低了训练成本和资源需求。
在各项基准测试中,MobileLLM-R1-950M布 的表现优异:在 MATH500数据集上,其准确率比 OLMo-1.24B 高出约5倍,且比 SmolLM2-1.7B 高出约2倍。在 GSM8K、AIME 和 LiveCodeBench 等推理Mo和编码任务上,MobileLLM-R1甚至与 Qwen3-0.6B 相匹配或超越,尽管所使用的 token 数量远少于后者。
不过,MobileLLM-R1的聚焦也带来了局限性。虽bi然在数学、编码和结构化推理方面表现强劲,但在一般对话、常识推理和创造性任务上,MobileLLM-R1的表现较大型模型有所不足。此外,模型在生产环境中的使用受到 FAIR NC(非le商业)许可证的限制,较长的上下文(32K)也提高了推理时的 KV 缓存和内存需求。
总的来看,Meta 的 MobileLLM-R1展现了一个趋势,即朝着更小、更专业化的模型方向发LL展,能够在不需要大规模训练预算的情况下实现竞争力的推理能力。该模型在数学、编码和科学应用场景中表现尤为突出,为边缘设备上的大规模语言模型部署定义了新的标准。
项目:https:/M-/huggingface.co/facebook/MobileLLM-R1-950M
划重点:
🧩 ** 新模型发布 **:Meta AI 推出 MobileLLR1M-R1系列轻量级边缘推理模型,参数范围从140M 到950M。
** 训练效率 **:MobileLLM-R1仅用约11.7% 的数据训练,表现出色,训练成本:轻和资源需求显著降低。
** 性能优势 **:在多项基准测试中,MobileLLM-R1-950M 表现超越多款大型开源模型,尤其在数学和编码任务上。
- ·标签: 艾比森 丁彦辉 孙伟玲 LED
- ·标签: 神州数码 郭为 离婚案 司法冻结
- ·云计算核心技术Docker教程:Docker 守护进程dockerd的DEVICEMAPPER选项
- ·云计算开发:Python练习实例-求一个字符串的长度
- ·第四范式NeurIPS 2020:知识图谱嵌入的自动化
- ·一文看懂无人机通信链路系统
- ·标签: 理想L6 理想汽车 碳酸锂 高通8797
- ·云工程师应该学习的5种编程语言
- ·标签: 3DMark 红魔11Pro 红魔11Pro+ 跑分作弊
- ·云原生初体验:在K8s上部署Springboot应用
- ·谷歌Gemini API重大升级:一行代码直抓网页,开发效率飞跃提升
- ·标签: 美团 AITransformation 牧遥 微信AI
- ·标签: 嘉美包装 俞浩 追觅科技 易拉罐
- ·标签: 抖音 公开课 AI时代 计算机
- ·阿里云发布安全护栏新宠Qwen3Guard 旨在为人工智能提供可靠的安全保障
- ·标签: 思谋科技 工业AI智能体 贾佳亚 特斯拉
- ·AI 安全初创公司 Irregular 获得 8000 万美元融资,致力于前沿模型的安全保障
- ·AI招聘平台Jack & Jill完成2000万美元种子轮融资:用对话式AI重构求职流程
- ·云安全日报210426:RedHat XML序列化库发现执行任意代码漏洞,需要尽快升级
- ·亚马逊云计算业务AWS第四季度营收是谷歌云三倍多
- ·美国AI数据中心耗电量激增 全靠光伏发电爆发式增长续命
- ·麻省理工学院发布无声沟通 AI 设备 AlterEgo,无需说话就能交流
- ·Synthesia3.0重磅升级:推出“视频代理”可与观众实时互动、对话和问答
- ·标签: 姚劲波 58同城 全民AI素养 一老一小
- ·标签: 理想汽车 MEGA 广州地铁 T1
- ·标签: 三星电子 内存芯片 SK海力士 台积电
