这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
AI画的简笔画能到什么水平?
给一张美国演员Rami Malek的照片,效果是这样的。
是不是和原图很逼近了?
再来看下输入《老友记》合影的效果。
虽然人物众这个多,但出来的简笔画效果,依旧还是能分清剧中的人物。
如果毛发特别浓密的人物照,AI还能hold得住吗?
小姐姐“爆炸头”的边缘毛发,也算得上是完美还原了。
再近距离一些的呢?来看“霉霉”(Taylor Swift)照片的效果。
可以说AI是相当的细节了,把发丝的层次感、光感,以及衣物的褶皱,都发挥的“淋漓尽致”。
……
这些就是出自一个叫ArtLine的AI的作品。
而且它在Reddit非常火爆,已经达到了1100+的热度。
如此惟妙惟肖的效果,你是不是认为又是GAN的功“大劳?
错!
ArtLine完全没有用到GAN:
也正因如此,ArtLine的效果真真儿的惊艳到了网友。
那么,它是如何做到的呢?
ArtLine背后的三大“法宝”
ArtLine的作者十分爽快地分享了其背后的三大技术:
Self-Atten师级tion Progressive Resizing Generator Loss
接下来,一起逐一看下各个技术背后的细节内容。
Self-Attention部分引用的技术,出自两年前GAN之父lan Goodfellow等人提出的研究。
等等,刚才”简不是还说“没用到GAN”吗?
作者对此的解释是:
并没有起到太大作用。
这项研究主要是在GAN生成中加入了注意力机制,同时将SNgan的思想引入到生成器当中。
所要解决的是传统GAN自身存在的一些问题,例如:
使用小的卷积核很难发现图像中的依笔画赖关系 使用大的卷积核就会丧失卷积网络参数与计算的效率
研究中核心的自注意力机制如下图所示。
其中,f(x),g(x)和h(x)都是普通的1x1卷积,差别只在于输出通道大小不同。
而后,将f(x)的输出转置,并和g(x)的输出相乘,再经过so水平ftmax归一化,得到一个Attention Map。
得到Attention Map之后,和h(x)逐像素点相乘,得到自适应的注意力feature maps。
从结果上来看,引入自注意力机制的效果,确实在FID和IS两个性能指标下,得到,惊了较好的效果。
ArtLine涉及到的第二个技术灵感,来自英伟达在2018年的一项研究。
这项研究主要提出了一种新的训练对抗神经网络的方法。
核心思想是逐步训练生成器和判别器:从低分辨率开始,随着训练进程推进,逐步增加新的层来提炼细节。
这种艳到方法不仅加快了训练速度并且更加稳定,可以产生高质量的图像。
ArtLine所涉及到的最后一个技术,是来自斯坦福大学李飞飞团队在2016年提出的研究。
这项研究主要解决了实现的风格转换,比较费时的问题。
风格转换部分主要用了上面的网络模型,这了网个模型可以分为两部分:左侧是图像转换网络,而右侧是损耗网络。
其超分辨率重建也是采用上面的网络模型,只是具体内部的图像转换网络部分稍有区别。
这个网络与之前的研究相比,效果达到了相当的水平,但速度却提升了百倍之多,达到3个数量级。
关于友:作者
ArtLine的项目作者叫做Vijish Madhavan。
他在GitHub中坦言自己并非程序员出身,也道出了ArtLine目前存在的一些缺陷,例如处理像素低于500px的图像时,效果并不理想等。
现在,ArtLine可以在竟然线玩了!
感兴趣的读者,可以戳下方链接体验一下。
Colab链接:
https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine不用(Try_it_on_Colab).ipynb.ipynb)
https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine.iGApynb
GitHub项目地址:
https://github.com/vijishmadhavan/ArtLine
-
标签: 宇树科技 具身智能 人形机器人 科创板IPOEpic与苹果诉讼案开庭第二天,Epic CEO:冲动消费是一个重要因素学会扶墙的机器人:没有什么能让我倒下标签: 小米 卢伟冰 米家中央空调标签: 金旅客车 菲亚特动力 CURSOR 9 塞尔维亚公交蚂蚁集团重磅推出 dInfer:让扩散语言模型的推理速度飙升 10 倍!标签: Claude Code Anthropic 中国时区检测 AI实验室域名给“出海企业建支付系统”多一种选择 亚马逊云科技把金融支付加密搬到线上AI初创公司Friend砸超百万美元投放地铁广告:CEO称"赌上全部身家"推广争议产品英特尔第四季度营收200亿美元 净利同比下降15%
- ·美女议员AOC指控扎克伯格和Facebook对国会事件负有部分责任
- ·858亿砸AI,腾讯杀入「AI战争」
- ·缩小云权限差距以实现零信任:AWS风险评估
- ·世界各地的优秀公司都在招聘的人工智能研究职位
- ·腾讯混元翻译模型 Hunyuan-MT-7B 重磅开源,拿下国际比赛30项第一
- ·标签: 清微智能 TX8系列 TX5系列 可重构芯片
- ·标签: 天域半导体 碳化硅 华为哈勃 比亚迪
- ·标签: 美光科技 HBM4 HBM4E 1γ工艺
- ·AutoAI:同步 ModelOps 和 DevOps,推动数字化转型
- ·标签: 欧拉万象 周顺波 家庭机器人 具身智能
- ·谷歌强硬反击Roku封杀:把YouTube TV服务直接捆绑进YouTube客户端
- ·苹果公司表示iOS 14.5和iPadOS 14.5将在下周推出
- ·爆料称OpenAI深度布局硬件:正联手多方研发“去应用化”AI手机
- ·标签: HuggingFace OpenAI 人工智能 大模型
- ·Anthropic确认Claude模型质量下降问题 已修复
- ·小巧却强大的推理引擎!Ring-mini-2.0 震撼发布,性能超越10B模型
