英伟达推出全模态理解模型 OmniVinci,刷新 SOTA 高出19.05分
英伟达研究团队今日发布了名为 OmniVinci 的全模态理解模型,该模型在关键的全模态理解基准测试中取英伟得了惊人的成果,相较于现有顶尖模型高出19.05分。更为引人注目的是,OmniVinci 仅使用了1/6的训练数据,展现达推出卓越的数据效率和性能。
OmniVinci 的目标是创建一个能够同时理解视觉、音频和文本的全能 AI 系统,使机器能够出全像人类一样通过多种感官感知并理解复杂的世界。为了实现这一目标,英伟达团队采取了创新的架构设计和数据管理策略,通过一个统模态一的全模态潜在空间,将不同感官的信息融合在一起,实现了跨模态的理解和推理。
在 Dailyomni 基准测试中,OmniVinc理解i 的表现超过了 Qwen2.5-Omni,其在音频理解的 MMAR 测试中高出1.7分,在视觉理解的 Video-MME 测试模型中高出3.9分。使用的训练 Token 仅为0.2万亿,而 Qwen2.5-Omni 的训练量为1.2万亿,显示出 Omn OiVinci 的训练效率是其6倍。
该模型的核心创新在于全模态对齐机制,包括 OmniAlignNet 模块、时间嵌入分组mn(TEG)和约束旋转时间嵌入(CRTE)三项技术。OmniAlignNet 利用视觉和音频信号之间的互补性,加强了两者的学习iV与对齐。而 TEG 则通过将视觉和音频信息按时间分组,有效编码了时间关系。CRTE 则进一步解决了时间对齐问题,确保模in型能够理解事件的绝对时间信息。
研究团队采用了两阶段的训练方法,首先进行模态特定训练,随后进行全模态联合训练,以逐步ci提升模型的全模态理解能力。在隐式全模态学习方面,研究者们通过现有的视频问答数据集,进一步提高了模型对音视频的联合理解能,刷力。
OmniVinci 的问世标志着英伟达在多模态 AI 领域的重要突破,预计将在各类应用中推动 AI 技术的发展,助力更智能的系统新 和服务的出现。该模型的开源发布,也将为全球的研究人员和开发者提供新的机遇,推动 AI 在实际应用中的进一步探索与创新。
- ·阿里CEO吴泳铭:未来五年,云和AI商业化年收入突破1000亿美元
- ·标签: 英特尔 罗金峰 绝密文件 法律诉讼
- ·苹果推出新图像模型 Manzano 实现理解与生成双重能力
- ·使用ChatGPT自动写文章:关于图片版权问题的科普和介绍
- ·标签: 同道猎聘 AI人才 中高端招聘
- ·微软完成对游戏开发商ZeniMax耗资75亿美元的收购:对抗索尼
- ·标签: 追觅
- ·标签: 特朗普 半导体 美国关税 最高法院
- ·标签: 影视飓风 无尽冬日 Tim 留几手
- ·苹果最快本月正式推送iOS 14.6:解决性能下降
- ·标签: 索尼 LEGO 银座索尼公园 80周年
- ·标签: 零跑汽车 朱江明 廉洁合规 反腐举报
- ·阿里云正式发布“汽车云”:已服务国内超70%汽车企业
- ·PayPal与OpenAI达成合作,ChatGPT成为首个集成支付平台!
- ·标签: 宇树科技 A股上市 王兴兴 机器人
- ·标签: 文远知行 WeRide Robotaxi 港股上市
- ·为什么说微软收购Nuance公司是一件大事
- ·曝谷歌审查内部研究 要求研究员避开敏感话题
- ·2020年的优秀云计算技巧
- ·标签: 默克 Benjamin Hein 电子科技业务 半导体
- ·云安全日报210419:IBM安全统筹与自动化响应平台发现命令注入漏洞,需要尽快升级
- ·用“大白话”精准搜图,OpenAI的CLIP惊艳了所有人
- ·标签: 抖音 直播治理 健康分 AI审核
- ·应对 AI 论文泛滥:arXiv CS 类别综述论文设“前置评审”门槛
- ·标签: 先导智能 锂电池装备 光伏串焊机 新能源智能装备
- ·云安全日报211025:Ubuntu Linux内核发现拒绝服务等重要漏洞,需要尽快升级
