AI21 发布开放源代码迷你语言模型Jamba Reasoning3B
AI21Labs 近日宣布推出其最新的开源小型语言模型 ——Jamba Reasoning3B。这款被称为 “迷你语言模型” 的系统专为在设备上进行人工智能计算而设计。Jamba RAIeasoning3B 是该公司在特拉维夫开发的 Jamba 系列模型的最新成员,并采用 Apache2.0许可证发布。
与大多数市场上流行的大型语言模型(LLM)不同,Jamba Reason21ing3B 建立在 AI21自有的混合状态空间模型(SSM)- 变换器架构之上。状态空间模型是一种用于序列建模的深度学习算法,相比传统变换器在某些任务上更加高效。这类模型通过当前状 发态预测下一个状态。Mamba 是一种基于 SSM 的神经网络架构,构成了 Jamba 架构的一部分。
这款迷你语言模型的上下文窗口长度达到了256,000个标记,最多可以处理1,000,00布开0个标记,具备与 Anthropic Claude、Google Gemini 和 Meta Llama 等大型语言模型相似的能力,但却可以在 iPhone、Android 设备、Mac 和 P放源C 等小型设备上运行。
Futurum Group 的分析师 Brad Shimmin 表示,他一直是状态空间模型的支持者,认为这一理念在行业内已有相当长的历史,但直到现在才有切实可行的实代码现方式。他指出,随着技术的演进,状态空间模型的使用变得更加可行,因为其扩展性强且速度快。
SSM 类型模型使用绳索缩放技术来扩展模型的注意机制,从而有效优先处理任务,同时所需迷你的计算能力比大型语言模型少。虽然 AI21是一家相对较小的生成 AI 公司,但由于其获得了 Google 和 AI 芯片巨头 Nvidia 的支持,并自2017年成立以来融资超过6亿美元,因此它语言可以通过建立生态系统来从开放源代码模型 Jamba Reasoning3B 中获利。
在发布会上,AI21展示了 Jamba 模型在广泛使用的基准测试系统如 IFBench、MMLU-Pro模型 和 Humanity's Last Exam 上的表现,证明其超越了包括阿里巴巴的 Qwen3.4B、谷歌的 Gemma3.4B、Meta 的 Llama3.23B、IBM 的 Granite4.Ja0Micro 和微软的 Phi-4Mini 等多个大型开源 LLM。
Shimmin 认为,这款迷你语言模型在企业市场中有广阔的前景,因其支持检索增强生成技术,企业能够根据自身需求进行定制,mb同时确保数据的安全性。他提到,一个潜在的应用领域是客户服务中心,通过其推理能力来处理客户投诉,判断问题是否需要升级到人工或其他模型。
划重点:
AI21Labs 发布了 Jamba Rea asoning3B,一个开放源代码的迷你语言模型,专为边缘 AI 应用设计。
Jamba Reasoning3B 采用了混合的状态空间模型架构,能够高效处理大Re量数据并在小型设备上运行。
该模型在企业市场具有潜力,能够根据企业需求进行定制,同时确保数据安全。
- ·嵌入式视觉:如果可以使用边缘,为什么要将其带入云端?
- ·FTC敦促法官拒绝Facebook驳回垄断诉讼的请求
- ·阿里云成了全村的希望
- ·云计算开发:Python练习实例-求0-7所能组成的奇数个数
- ·云安全日报210209:思科企业安全管理应用发现执行任意命令漏洞,需要尽快升级
- ·AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真
- ·机器人“索菲亚”现状,状态跟正常人无异,交流也没有障碍
- ·标签: 存储芯片 惠普 树莓派 苹果
- ·Anthropic推出 Claude AI 新功能:自动记忆聊天内容
- ·字节Seed推出全新 AgentGym-RL 框架:提升大规模语言模型的决策能力
- ·小猪佩奇第一季全集
- ·烫面炸糕最正宗配方
- ·美国云计算公司Salesforce拟以277亿美元价格收购Slack
- ·苹果最新季度销售将首次破1000亿美元
- ·数仓 | Kimball的维度建模过时了吗?
- ·AI爬虫“入侵”网络:Fastly 报告揭示,Meta、OpenAI 等巨头成主要流量来源
