官方论文代码放出,OpenAI是如何实现图像版GPT-3的?
OpenAI 放出 DALL-E 的部分论文与实现代码。
今年年初,OpenAI 图像版 GPT-3、120 亿参数的 DALL-E 刷屏官方社区,这个大型模型可以将以自然语言形式表达的大量概念转换为合适的图像,效果十分惊艳。
如输入「牛油果形状的椅子」,就可以获得绿油油、论文形态各异的牛油果椅子图像。
如果 GPT-3 一样,大家都在期待 OpenAI 放出 DALL-E 的官方论文与实现代码。
经过近两个月的等代码待,DALL-E 的论文和代码终于新鲜出炉!
不过此项目正在更新,截止发稿时 DALL-E 只开放了使用图像重建部分 d-VAE 训练的 CNN放出 编码器和解码器部分,而 Transformer 代码部分还没有公开。除此以外数据集也不能使用。而论文也是公布了 d-VAE 的论,O文。
项目地址:https://github.com/openai/DALL-E 论文地址:https://arxiv.org/peabs/2102.12092
只能期待后续 OpenAI 公开更多的技术细节。
DALL-E 部分代码已开源
这是为 DALL·E 所使用的 d-nAVAE 的官方 PyTorch 包。在运行 DALL-E/notebooks/usage.ipynb 程序之前,需要先安装软件包,代码I是如下:
pip install git+https://github.com/openai/DALL-E.git
解码器、编码器如何代码
d-VAE 论文
年初在论文还没有公开的情况下,就有人开始复现,他们复现的依据来自某博主制作的油管视频,在视频中,对 DALL·E 的实现原理结构进行了猜测。那么,现在论文已公开,是否颠覆了他的预想。
传统上,文本到图像的生成主要集中在在固定的训练数据集上找到图像更好的建模假设。这些假设可能涉及复杂的体系架构、辅助损失或辅助信息,例如在训练期间提供的对象部件标签或分割掩码。该研究提出了一版G种基于 transformer 的简单方法,将文本和图像 token 作为单个数据流进行自回归建模。在足够的数据和扩展的情况下,当PT以 zero-shot 方式评估时, 该研究提出的方法与以前的领域特定模型具有相当的竞争力。
- ·GPT-5震撼突破:首次通过哥德尔测试,破解三大数学猜想!
- ·Kafka集群的搭建
- ·腾讯混元开源端到端视频音效生成模型HunyuanVideo-Foley
- ·标签: 沃尔沃汽车 段建军 袁小林 奔驰
- ·标签: 千禾味业
- ·继澳洲之后 美国也要立法帮助出版商与Facebook谷歌谈判
- ·标签: 地平线 汽车芯片 NOA解决方案 智驾芯片
- ·蚂蚁数科向全球开源180万深度伪造定位数据集,助力AI算法可解释
- ·跑步热菜什么梗的视频
- ·标签: T1 埃安 UT super 赵明 中国手机
- ·标签: 读书郎 学生平板 AI+教育 教育硬件
- ·标签: 铜博科技 电解铜箔 锂电池铜箔 港交所上市
- ·OpenAI 将推出家长监控功能以应对青少年自杀悲剧
- ·云安全日报210811:红帽Linux内核实时修订包发现特权提升漏洞,需要尽快升级
- ·牛奶加水可以喝吗
- ·云安全日报210714:Adobe Acrobat和Reader软件发现任意代码执行漏洞,需要尽快升级
- ·英国金融监管机构将加强对微软谷歌等云计算巨头的审查
- ·数仓 | 几种常见的数据同步方式
- ·ICRA 2022杰出论文:把自动驾驶2D图像转成鸟瞰图,模型识别准确率立增15%
- ·谷歌AI搜索大战升级:AI模式进军西班牙语市场,正面硬刚 OpenAI
- ·上海 AI 实验室发布创新 ViraHInter 模型,提升抗病毒药物研发效率
- ·标签: 鹰角网络 明日方舟:终末地 PayPal支付BUG
- ·标签: 北汽极狐 快手 华为随行WiFi 微信鸿蒙版
- ·Salesforce 因 AI 模型侵权被起诉,或引发企业对 AI 信任危机
- ·Adobe 开启 AI 开放时代:核心应用全面集成对话助手与外部模型,Firefly5.0可生成4K 原生图像!
- ·云计算核心技术Docker教程:Docker 守护进程dockerd的LCOW选项
