全新多语种编码器 mmBERT:超越 XLM-R,提升速度与效率
近日,约翰霍普金斯大学的一组研究人员推出了 mmBERT,这是一款新型的多语种编码器,旨在填补当前多语种自然语言处理领域的空白。该模型在多全新个任务上超越了 XLM-R,且在速度上比以往模型提升了2到4倍,为多语种应用的研究和开发提供了更强大的支持。
mmBERT 的架构分为两种主要配置:多语基础模型和小型模型。基础模型拥有22层变换器,隐藏层维度为1152,总参数量约为3.07亿,而小型模型的参数量则为1.4亿。mmBERT种编 采用了先进的 Gemma2分词器,支持256k 的词汇量,利用旋转位置嵌入(RoPE)和 FlashAttention2技术,显著提高了处理效码器率。同时,该模型的序列长度从1024个令牌扩展到8192个令牌,意味着其可以处理更长的上下文信息。
在训练数据方面,mmBERT 使用了来自多个来源的 m3万亿个令牌,覆盖了1833种语言。其中,英语在整个语料库中仅占10% 至34%。训练分为三个阶段:预训练、阶段中训练和衰减阶段。在每个阶段中,模mB型逐步接触更多的语言和更高质量的数据,这种方法有助于提高低资源语言的表现。
mmBERT 在多个基准测试中展现了其卓越的性能。在英语自然语言理ER解(GLUE)任务中,mmBERT 的基础模型得分为86.3,超越了 XLM-R 的83.3。在多语种自然语言理解(XTREME)任务中,mmT:BERT 的得分为72.8,也高于 XLM-R 的70.4。此外,在嵌入任务和代码检索任务中,mmBERT 同样表现出色,显示出其在多种应用场景中的潜力超越。
通过对低资源语言的特别关注,mmBERT 确保这些语言在训练过程中也能得到充分的利用。在多项基准测试中,mmBERT 在法罗语和提格雷尼亚语等低资 X源语言的表现均优于其他大型模型,证明了编码器模型在经过精心训练后,可以有效应对低资源场景的挑战。
mmBERT 不仅提升了多语种处理的速度和效率,还为LM下一代的多语种自然语言处理系统奠定了坚实的基础。它以高效、开放的方式重新定义了多语种编码器的潜力,标志着一个新时代的到来。
github:https-R://github.com/JHU-CLSP/mmBERT?tab=readme-ov-file
划重点:
mmBERT 模型在多个任务上超越了 XLM,提-R,成为多语种 NLP 的新标杆。
该模型速度提升2至4倍,支持处理高达8192个令牌的输入。
mmBERT 特别关注低资源语言的训练表现,展现出强大的适升速应能力和广泛应用潜力。
-
谷歌正免费向所有人开放AI视频编辑工具Google Vids基本编辑工具谷歌四季度财报超预期 盘后股价涨超7%Nous Research 发布 Hermes 4 AI 模型,超越 ChatGPT 并无内容限制标签: 荣耀500 雷军 奇瑞QQ3 小米标签: iPhone 安卓 Apple picking 伦敦标签: SpaceX 马斯克 格温·肖特韦尔 IPO标签: 无界动力 保时捷创投 中金私募 张玉峰手机也能跑!面壁智能重磅发布MiniCPM-V4.5:4.1亿参数碾压GPT-4.1-mini甄嬛传钮钴禄是什么梗新兴 AI 工具 “Macroscope” 助力开发者高效管理代码与修复 bug
- ·标签: AMI 杨立昆 World Model JEPA
- ·谷歌地图推出新功能:可室内导航 可让司机选择环保路线
- ·云计算核心技术Docker教程:Docker Swarm 模式强制重新平衡
- ·标签: 阿里巴巴 QoderWork 悟空 MuleRun
- ·标签: 夜巴黎 大河报 DoNews 未成年人直播
- ·Anthropic为Claude推出Skills功能:支持自定义技能包和代码执行,提升工作流自动化能力
- ·仅需2张图,AI便可生成完整运动过程
- ·5G将推动边缘计算在工业4.0制造技术中的大量采用
- ·谷歌CEO皮查伊就AI研究员离职一事向员工道歉
- ·标签: 微元合成 豫鑫糖醇 张其宾 谭瑞清
- ·阿里云三季度营收276.48亿元 同比增长2%
- ·标签: 中导光电 国联民生 FPD检测设备 京东方
- ·标签: 小鹏汽车 刘先明 通用智能中心 智能驾驶
- ·标签: 欧盟关税新规 Shein Temu 跨境电商
- ·睡袋和穿衣服睡觉有什么区别
- ·业内人士:台积电获得主要云服务厂商AI芯片订单 包括微软5nm芯片订单
- ·全国发布《人工智能安全治理框架》2.0版,推动安全可信的 AI 生态建设
- ·百度搜索推出 AI 短剧平台,开启公测助力创作者
- ·一文看懂无人机通信链路系统
- ·Meta陷入史上最大AI训练数据侵权案!2396部影片非法使用,面临3.59亿美元天价索赔
- ·微软推出首批自主研发 AI 模型:挑战 OpenAI,赋能下一代 Copilot
- ·Anthropic 推出 Claude for Excel,助力金融服务更高效分析
- ·云计算核心技术Docker教程:Docker开发插件
- ·2021年的十大云计算趋势
- ·Claude再放大招:自动抓取网页与PDF,AI模型瞬间变身全能情报员!
- ·机器人智能抓取系统:目前几种主流的解决方案
