谷歌发布最新零样本学习看图说话模型,多类型任务直接上手
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
谷歌新推出了弱监督看图说话模型SimVLM,能够轻松实现零样本学习(zero-shot)任务迁移。
从文字描述图像到回答图片相关问题,模型无需微谷歌调也能样样精通。
对于一般的视觉语言预训练(VLP)模型,训练数据集中要求包含大量精准标签。而模型的任务迁移,则需要针对特定任务重新进行数据集的标签标注。
总结下来,就是标注数据集不仅耗时耗力,还不能多任务通用。
能不能开发出一种又简发布单又万能的VLP模型呢?
谷歌新开发的这款模型使用了弱监督学习进行模型训练,通过利用大量的弱对齐图像-文本对进行建模,简化了VLP的训练流程,大大降低了训练的复杂性。
SimVLM使用前缀语言建模的单一目标进行端到端训练,并最新直接将原始图像作为输入。这些设置允许模型对大规模的弱标记数据集进行利用,从而能够更好地实现零样本学习泛化效果。
SimVLM模型是如何实现的?
SimVLM模型的预训练过程采用了前缀语言建模(PrefixLM)的单一目标,接零样受序列的前缀作为输入,通过模型解码器来预测其延续的内容。
对于数据集中的图像-文本对,图像序列可视作其文本描述的前缀。
这种方法可以简化训练过程,最大限度地提高模型在适应不同任务设置方面的灵活性和通用性。
模型的主干网络,则使用了在语本学言和视觉任务上均表现突出的Transformer架构。
对输入的原始图像数据提取上下文patch,这里采用了ResNet卷积网络。
如上图所示:视觉模态中,图片被分割成多个patch,然后压缩为一维序列。文本模态语句则被映射习看到了一个表征向量中。
本模型使用了包含大约1.8B噪声的图像-文本对ALIGN训练集进行预训练,以此来实现更好的零样本学习泛化能力。
为了补偿训练集中的噪声影响,训练模型另外还使用了共800G的Colossal Clean Crawle图说d Corpus (C4)数据集。
SimVLM模型基础性能如何?
模型的预训练完成后,需要在多模式任务中对模型进行微调,以测试性能。
这里用到的多模式任务有:VQA、NLVR2、SNLI-VE、COCO Caption、NoCa话模ps和Multi30K En-De。
将SimVLM模型与现有的功能完善的模型进行比较,测试结果如上表所示,参与评估的SimVLM模型还包括了三种不同规模:8600万参数、3.07亿参数和6.32亿参数。
跨模式任务的测试结果中,型,SimVLM模型的性能表现最好(数据越大越好),除了CoCo Caption的B@4指标,在其他任务上都取得了新的SOTA结果,充分证明了该模型的先进性。
SimVLM模型零样本泛化
SimVLM模型在跨模式任务测试中可以取得不多类错的性能表现,那么它能否顺利执行零样本跨模态转移呢?
预训练的SimVLM模型仅对文本数据进行微调或完全不进行微调,通过图像字幕、多语言字幕、开放式VQA和视觉文本生成等任务,对模型进行测试。
测试结果如下图所示:
给定图像型任和文本提示,预训练模型无需微调即可预测图像的内容。
除此之外,未进行过微调的模型在德语字幕生成、数据集外的答案生成、基于图像内容的文字描述、开放式视觉问题回答等应用上均有不错的表现。
为了量化SimVLM的零样本学习性能,这里采务直用了预训练的固化模型在COCO Caption和NoCaps上进行解码,然后与监督标准基线(Sup.)进行比较。
从结果对比上来看,即使没有监督微调,SimVLM也可以达到有监督的训练质量水平。
作者介绍
本研究的第一作者是谷歌学生接上研究员王子瑞,现就读于卡内基梅隆大学,曾以第一作者身份在ICLR、EMNLP、CVPR等顶会上发表了多篇论文。
截止到2020年12月20日,他在SuperGLUE数据集上获得了第一个超过人类得分的SOTA性能(分数超过90),目谷歌前则被百度团队赶超,位居第二。
这一次开发的SimVLM也在6个视觉语言基准测试中达到了单模型SOTA性能,并实现了基于文本引导的零样本学习泛化能力。
- ·软银贷款50亿美元助力AI投资,孙正义押注未来科技!
- ·标签: 闻献 愚园书室 夜庙 亮堂空间
- ·云安全日报210609:Adobe Acrobat和Reader软件发现任意代码执行漏洞,需要尽快升级
- ·耐克发布“Project Amplify”机器人鞋与Mind系列 可让跑步提速20%
- ·云安全日报210827:Ubuntu OpenSSL传输协议工具包发现拒绝服务漏洞,需要尽快升级
- ·谷歌公布13GB 3D扫描数据集:17大类、1030个家用物品
- ·AI与深度学习不再是高端视频监控应用的专属
- ·标签: 极米科技 财报 净利润 研发创新
- ·字节OmniHuman-1.5重磅发布!一张图+音频秒变超真实视频,AI数字人再进化!
- ·标签: 巨星传奇 宇树科技 IP机器人 智能娱乐
- ·都是5G旗舰,为何大家买华为Mate40,也不买苹果12?
- ·云计算助推巴西企业转型发展
- ·克苏鲁音乐
- ·云安全日报210129:Ubuntu Linux内核发现敏感信息泄露漏洞,需要尽快升级
- ·标签: 曹操出行 Robotaxi 吉利控股 自动驾驶
- ·Koah获500 万美元融资,致力于在 AI 应用中引入广告
- ·标签: 王暖暖 无忧传媒 孕妇泰国坠崖案 脑动脉瘤
- ·IBM向威瑞森与Telefonica扩大服务内容 新增云端平台5G与AI技术
- ·阿里巴巴2023财年Q4扭亏为盈,阿里云等多个业务集团启动上市计划
- ·标签: 美团 骑手 好人好事 见义勇为
- ·AI版《绿野仙踪》轰动拉斯维加斯!球形巨幕剧院打造史上最震撼观影体验,却引发好莱坞激烈争议
- ·欧洲 AI 新星 Nexos.ai 获 3000 万欧元融资,助力企业安全拥抱 AI
- ·标签: 同程旅行 DeepTrip 西安榆林航线 奔县游
- ·标签: 上海家化 美妆业务 2025年年报 经营性现金流
- ·谷歌Drive视频编辑迎来重大升级!Vids AI工具一键直达,视频创作门槛再降低
- ·都5G时代了,你还不知道什么是移动边缘计算(MEC)?
- ·云计算开发:Python练习实例-求0-7所能组成的奇数个数
- ·标签: 喜临门 ST喜临门 陈阿裕 羿阁公司
- ·腾讯云于重庆成立新公司,经营范围含云计算装备技术服务等
- ·Meta 推出 DeepConf 技术,智能平衡大型语言模型的推理成本与准确性
- ·标签: 百度 AI云 萝卜快跑 文心大模型
- ·标签: 华沿机器人 大族机器人 协作机器人 大族激光
- ·腾讯云团队修复Linux关键内核漏洞 获Linux创始人点赞
- ·标签: 宁德时代 曾毓群 零碳科技 WLS峰会
- ·云计算核心技术Docker教程:使用scratch 创建一个简单的父图像
- ·夸克发力AI生态布局:三大新品齐发,承载阿里AI to C战略重任
