英伟达开源 OmniVinci 全模态理解模型,训练数据仅为 1/6
近日,英伟达研究团队发布了全新的 OmniVinci 全模态理解模型,该模型在多个全模态理解基准测试中,表现出色,超越了英目前最顶尖的模型19.05分。更令人瞩目的是,OmniVinci 在训练过程中仅使用了0.2万亿的训练 Token,相较伟达于竞争对手的1.2万亿,其数据效率是其六倍。
OmniVinci 的核心目标是打造一个可以同时理解视觉、音频和文本的人工智能系统开源,使机器能够像人类一样,通过不同感官感知和理解复杂的世界。为了实现这一目标,研究团队不仅仅是简单地增加数据量,而是通过创 O新的网络架构和数据管理策略,成功实现了性能和效率的双重提升。
在设计上,OmniVinci 采用了全模态潜在空间的概念,旨在融mn合来自不同感官的信息,实现跨模态的理解与推理。研究团队发现,不同模态之间在感知和推理层面能够相互强化,这一发现为多模态 AIiV 系统的构建指明了方向。
OmniVinci 的架构设计具有可组合的跨模态理解能力,整合了图像、视频、音频和文本等异构输入。通in过统一的全模态对齐机制,该模型能够将不同模态的嵌入信息整合到一个潜在空间中,进一步输入到大语言模型(LLM)中。该机制包括ci三项关键技术,其中 OmniAlignNet 模块有效对齐视觉和音频信息,而时间嵌入分组和约束旋转时间嵌入则提升了模型对时间信 全息的理解。
为了培养 OmniVinci 的全模态理解能力,研究团队采用了两阶段的训练方法。首先是模态特定训练,接着进行全模态联模态合训练,利用隐式和显式学习数据,显著提升了模型的联合理解能力。
随着 OmniVinci 的发布,英伟达再次展示了其在人工智理解能领域的技术创新,预示着未来 AI 系统将更加智能、灵活。
github:https://github.com/NVlab模型s/OmniVinci
划重点:
OmniVinci 模型在全模态理解基准测试中超越了顶尖模型19.05分。 &,训nbsp;
训练数据量仅为竞争对手的1/6,数据效率提升至六倍。
采用创新架构和两阶段训练方法,练数显著提升模型的多模态理解能力。
- ·阿里通义7款模型屠榜Hugging Face!全模态大模型Qwen3-Omni登顶全球第一
- ·Andrej Karpathy评DeepSeek-OCR论文:图像输入可能成为大语言模型新方向
- ·打字就能拍大片!OpenAI 甩出“AI 抖音”Sora 2,短视频江湖要变天
- ·标签: 小鹏机器人 IRON 施晓鑫 鹏行智能
- ·AI数据中心公司Crusoe完成13. 8 亿美元股权融资,估值突破 100 亿美元
- ·国产AI视觉模型"橘洲"V1.5发布:首个基于国产算力的全生态端侧大模型落地长沙
- ·标签: UU跑腿 代拜年 春节服务 年夜饭公益
- ·标签: 抖音电商 消费电子 商品卡免佣 耐用消费品
- ·标签: 美宜佳 烟草专卖 假烟事件 广东3·15晚会
- ·亚马逊在美国和加拿大招聘7.5万人 拓展履约和物流网络
- ·标签: FOX Roku 流媒体 福克斯
- ·谷歌母公司去年四季度营收近570亿美元 云计算贡献38亿美元
- ·云安全日报210812:思科身份服务引擎发现跨站脚本攻击漏洞,需要尽快升级
- ·标签: Token 张雪峰 美团 苹果 iOS26.4 小米集团 一加15T
- ·英伟达宣布将与谷歌云合作打造业内首个AI-on-5G实验室
- ·标签: 微软 Mustafa Suleyman AI 超级智能
