Tilde AI 发布开源 TildeOpen LLM:支持多种欧洲语言的超大语言模型
Latvian 语言技术公司 Tilde 于2025年9月3日发布了 TildeOpen LLM,这是一个开源的基础大语言模型(LLM),旨在支持欧洲语言,Ti特别是那些较少被代表的国家和地区语言。这一举措标志着欧盟在语言公平和数字主权方面迈出了重要的一步。
TildeOpen LLM 是一个拥有300亿参数的稠密解码ld器模型,采用了 CC-BY-4.0的宽松许可证,能够支持从拉脱维亚语、立陶宛语到乌克兰语、土耳其语等多种语言。该模型的训练是在欧洲的超级计算机 LUMI(芬兰)e 和 JUPITER 上进行的,使用了欧盟委员会的大型人工智能大奖挑战赛所提供的200万 GPU 小时的计算资源。
在技术细节方面,TildeOpen LLM 通过受 ElAIeutherAI 启发的 GPT-NeoX 脚本进行训练,共进行了45万次更新,使用了约2万亿个令牌。其训练过程包含三阶段采样:首先在语言间均匀分布,其次是对 发高数据量语言的自然分布进行增强,最后再进行均匀的扫查以确保平衡。模型的超参数包括60层、嵌入维度6144、48个注意力头、8192-token 的上下文布开窗口,以及使用 SwiGLU 激活、RoPE 位置编码和 RMSNorm 层规范化。
在语言公平和数据主权方面,传统的主流模型往往侧重于英语和其他主要语言,导致源 在处理波罗的海、斯拉夫及其他较小的欧洲语言时表现不佳,常常出现语法错误和奇怪的措辞。而 TildeOpen 通过引入 “公平的标记器”,使得不同语言的文Ti本以相似方式进行表示,从而减少标记数量,提高较少代表语言的推理效率。此外,组织可以选择在本地数据中心或符合欧盟要求的安全云中自我托管,确保遵循 GDPR 及ld其他数据保护法规,从而解决了与美国或亚洲托管模型相关的主权问题。
TildeOpen 作为基础模型,预计会推出更多专门化版本,例如经过指令调优的翻译模型,这eO将进一步增强其功能。拉脱维亚通过 Tilde 的努力,期望在全球科技领域占据一席之地,同时致力于保护语言多样性。
huggingface:https://pehuggingface.co/TildeAI/TildeOpen-30b
技术:https://tilde.ai/lv/tildeopen-llm/
划重点:n
TildeOpen LLM 是一个支持多种欧洲语言的开源大语言模型,特别关注小型国家语言的代表性。
模型训练LL利用了欧洲超级计算机资源,采用先进的三阶段采样技术,确保不同语言的平衡性和公平性。
组织可自我托管该模型,符合 GDPR 等数据保护法规,M:提升数据主权的保障。
-
标签: 企拓客 慧停车 停车百事通 博停车Koah获500 万美元融资,致力于在 AI 应用中引入广告700万参数微型模型 TRM,推理能力竟胜过 Gemini2.5Pro 和 Claude3.7标签: 谷歌 Lyria3Pro Gemini ProducerAIClaude升级:一键生成Excel、PPT、PDF,办公文件秒变“现成品”安全管理:企业为什么需要统一的云平台标签: 豆包 字节跳动 Seed 吴永辉2022年二季度中国大陆云服务支出达73亿美元 阿里云占比34%苹果内部测试新型聊天机器人 Veritas,未来 Siri 升级有望加速云计算开发:Python3数学函数pow()方法详解
- ·思科拟以7.3亿美元现金收购云通讯软件公司IMImobile
- ·马娘寄是什么梗
- ·当然是选择原谅他是什么梗
- ·使用 Hippo 进入 WebAssembly
- ·DNA机器人进化!这款软件能用几分钟造出复杂结构纳米设备,进入你的身体执行任务
- ·标签: 中科闻歌
- ·标签: 智冉医疗 Neuralink 脑机接口 侵入式
- ·标签: DeepSeek 人工智能 AI初创 独角兽
- ·苹果 M1 iPad Pro 正式发布:速度快 50%
- ·贝索斯第三季度将卸任亚马逊CEO 转任执行董事长
- ·IDC:2020第二季度中国可穿戴设备市场出货量3293万台 同比增15.3%
- ·标签: 汽车之家 奥迪E5 中央网信办 汽车互联网
- ·标签: 携程 玩乐召集令 季毅华 Glocal战略
- ·云安全日报220506:思科企业NFV基础架构软件发现访客逃逸漏洞,需要尽快升级
- ·美国云计算软件股纷纷大涨 需求仍强劲
- ·DeepMind 携手耶鲁大学发布 C2S-Scale27B 模型:AI 发现癌症治疗新途径
