这年头,机器翻译都会通过文字脑补画面了
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
现在,想象一个外国人面前摆了句「金石迸碎荡尘埃,磐山纡水尽为开」。
除了痛苦地死抠复杂单词和长难句语法,他还能怎么去理解这句这年话呢?
——想象。
想象这句诗词中的“金石”、“尘埃”、“山水”各个词汇的意象,再将意象汇聚成一个具体的画面或场景。
而这时就有研究者灵机一动:
人类不是能根据非母语文本脑补画面,进而做到更深入的理解吗?
那机器头,是不是也能根据输入文本脑补图像,最终实现更好的翻译呢?
于是,一个以视觉想象为引导的机器翻译模型ImagiT就诞生了。
论文作者来自南洋理工大学和字节跳动人工智能实验室。
缺少图片也能利用视觉
提到“利用视觉”,机器我们首先会想到多模态机器翻译。
比起纯文本的机器翻译,多模态机器翻译能够利用语音、图像这样的模态信息来提高翻译质量。
但多模态机器翻译的质量是和数据集的可用性直接挂钩的。
换句话说就是标注图片的数量和质量翻译会非常影响模型翻译的有效性。
但偏偏人工图片标注的成本又不低……所以现阶段的多模态机器翻译大都应用在Multi30K,一个包含了3万张图片标注的数据集上。
而新提出的ImagiT翻译模型呢?
它在推理阶段不需要标注都会图片作为输入,而是通过想象的方式利用视觉信号,在训练阶段将视觉语义蕴含到模型内部。
做到了在缺少图片标注的情况下也能利用视觉信息。
基于想象的翻译模型到底什么样
这是一个端到端的对抗学习架构。
架构左右端是我们熟悉通过的transformer的编码器和解码器,而中间则是这一框架独特的生成想象网络。
这一生成想象网络主要由两个转化器和一个注意力层组成,具体做转化时:
一、源文本通过F0输入
F0包含一个全连接层和四个去卷积文字层。
基于GAN的思想,句子特征与噪声拼接后会通过F0转化成视觉表征。
二、将注意力放在词层面
在注意力层关注源文本中的相关词汇,并生成图像不同子区域的细粒度细节,让图像特征的子区域与词对应。
最终得到更加语义脑补一致的视觉表征。
三、视觉表征通过F1输出
F1包含两个全连接层和一个去卷积层,以及一个残差层。
通过这一转化器,捕捉多层次(词级和句级)的语义,输出生成的视觉特征f1。
四、多模态聚合
把原本的文本模态和新合成画面的视觉特征聚合在一起。
五、翻译
模型的学习目标结合了文本到图片的生成,以及逆任务的图像字幕和翻译。
其中鉴别器源文本、生成图像和真实图像作为输入,用来评估合成图像是否与真实图片一致。
同时,也会使用条件对抗损失来评这年估合成的图像是否与源语言具有相同的语义。
“脑补”如何帮助翻译?
研究者使用了一种退化策略,即用特殊字符替换源语言文本中的重要词语,来观察模型的翻译表现会下降多少。
在这这种情况下,纯文本的翻译模型只能通过丢失头,词语的上下文和偏置来推理句子的翻译。
多模态机器翻译则会利用标注的图片进行翻译。
而ImagiT在缺少图片标注的情况下,还能根据退化的文本想象并恢复丢失的信息。
通过这一特殊的探索实验,可以看到ImagiT能在训机器练阶段学习特定词语(色彩,可被具象化的实体词等)与其他词语之间相关性和共现。
而对比纯文本翻译,通过想象恢复被替换文本的ImagiT模型在翻译质量上下降的幅度也最少。
由于ImagiT不需要图片作为输入,翻译所以在测试时选用纯文本的transformer模型作为baseline。
在Multi30K的英法、英德Test2016,Test2017上进行测试时,ImagiT得到了与SOTA多模态翻译系统相当的表现都会:
而在Ambiguous COCO上也展现出了不错的测试结果:
论文地址:
https://arxiv.org/abs/2009.09654
- ·标签: Arm DreamBig AI芯片 数据中心
- ·IBM 发布 Granite 4.0 Nano 模型,突破小型 AI 模型的性能极限
- ·IDC 2022 全球CSO网络安全大会将于6月首次落地中国
- ·标签: iRobot 石头科技 大疆 科沃斯
- ·IDC发布全球 ICT 市场预测:AI算力驱动未来五年7.6万亿美元市场
- ·亚马逊测试家具安装服务:对百思买和家得宝构成威胁
- ·AI竞赛让谷歌数据中心用水量飙升 同比增长20%
- ·标签: 特斯拉 ModelS ModelX 陶琳
- ·云计算开发:Python内置函数-str() 函数详解
- ·宣战Clubhouse!Facebook正开发播客和直播音频室功能 预计今夏推出
- ·云安全日报210329:Debian垃圾邮件过滤器发现注入攻击漏洞,需要尽快升级
- ·标签: IBM 克里希纳 AGI 数据中心
- ·OpenAI 计划在印度建立大型数据中心,推动 AI 基础设施发展
- ·云计算核心技术Docker教程:Docker格式化命令和日志输出
- ·云数据库选型也绕不开“CAP定理”?
- ·英特尔复苏计划导致利润承压 数据中心业务疲软引发担忧
- ·标签: 适马 山木和人 CP+ 2026 光学制造
- ·标签: 联华电子 联电 王石 欣兴电子
- ·可灵 AI 季度收入突破2.5亿,助力快手业绩创新高
- ·Anthropic 推出新功能,Claude 为金融分析师提供强大工具
- ·标签: 西贝 罗永浩 贾国龙 餐饮
- ·美国FTC启动对Meta、OpenAI等AI聊天机器人调查,聚焦青少年安全
- ·云计算核心技术Docker教程:Docker Hub使用链接的私有子模块构建存储库
- ·中国云计算战争:外资云落寞简史
- ·云计算核心技术Docker教程:Docker集群.将节点添加到群
- ·国产芯片再突破!5nm“龙鹰二号”正式发布,AI算力直达200TOPS
