只需2张照片就能2D变3D,这个AI能自己脑补蜡烛吹灭过程,一作二作均为华人
2张废片啪地一合!
错过的精彩瞬间立刻重现,还能从2D升到3D效果。
看,小男孩可爱的笑容马上跃然浮现:
吹灭生日蛋糕蜡烛的瞬间也被还原只需了出来:
咧嘴笑起来的过程看着也太治愈了吧~
咱就是说,这回相机里熊孩子/毛孩子的废片终于有救了!
而且完全看不出是后期合成的效果,仿佛是原生拍摄2张的一般。
这就是谷歌、康奈尔大学、华盛顿大学最近联合推出的成果,能只用2张相近的照片还原出3D瞬间,目前已被CVPR 2022收录。
论照片文作者一作、二作均为华人,一作小姐姐本科毕业于浙江大学。
用2张照片正反向预测中间场景
这种方法适用于两张非常相似的照片,比如连拍时产生的一就能系列照片。
方法的关键在于将2张图片转换为一对基于特征的分层深度图像 (LDI),并通过场景流进行增强。
整个过程可以把两张照片分别看做是“2D起点”和“终点”,然后在这二者之间逐步预测出每一刻的变化。
具体来看,过程如下:
首先,将两张照片用单应矩阵(homegraphy)对齐变3,分别预测两张照片的稠密深度图。
然后将每个RGBD图像转换为彩色的LDI,通过深度感知修复背景中被遮挡的部分。
其中,RGB图像即为D,普通RGB图像+深度图像。
之后用二维特征提取器修复LDI的每个颜色层,以获取特征层,从而生成两份特征图层。
下一步就到了模拟场景运动部分。
通这个过预测两个输入图像之间的深度和光流,就能计算出LDI中每个像素的场景流。
而如果想要两张图之间渲染出一个新的视图、并提升到3D,在此需AI要将两组带特征值的LDI提升到一对3D点云中,还要沿着场景流双向移动到中间的时间点。
然后再将三维的特征点投影展开,形成正向、反向的二能自维特征图及对应深度图。
最后将这些映射与时间线中对应时间点的权重线性混合,将结果传给图像合成网络,就能得到最后的效果了。
实验结果
从数据方面来己脑看,该方法在所有误差指标上,均高于基线水平。
在UCSD数据集上,这一方法可以保留画面中的更多细节,如(d)所示。
在NVIDIA数据集上进补蜡行消融实验表明,该方法在提高渲染质量上表现也很nice。
不过也存在一些问题:当两张图像之间的改变比较大时,会出现物体错位的现象。
比烛吹如下图中酒瓶的瓶嘴移动了,不该发生变化的酒杯也摇晃了起来。
还有照片如果没有拍全的地方,在合成的时候难免会出现“截肢”的情况,比如下图中喂灭过考拉的手。
论文地址:
https://3d-moments.github.io/
- ·标签: Momenta 初速度科技 曹旭东 智能驾驶
- ·谷歌员工宣布成立工会 与管理层紧张关系升级
- ·标签: 爱玛科技 零际 国际事业部
- ·标签: 蔚来 李斌 ROI 精细化运营
- ·标签: 俞敏洪 新东方文旅 东方甄选 知识文旅
- ·标签: 杰华特 摩斯IPO 中信证券 模拟集成电路
- ·亚马逊清理云服务内容 违反规定将被删除
- ·标签: 同程旅行 DeepTrip HopeGoo 艺龙酒店科技
- ·港股大模型股 “深跌”!智谱与 Minimax 在 Deepseek V4 发布后遭遇重创
- ·标签: 此间无限 齐俊元 豆包手机 GUI Agent
- ·怎么样提高新陈代谢
- ·标签: 追觅 小红书 苹果 尊界
- ·标签: 英伟达 H200芯片 特朗普 美国商务部
- ·标签: 博泰车联 智能座舱 域控制器 车联网
- ·标签: 英伟达 H200芯片 特朗普 美国商务部
- ·浜戝畨鍏ㄦ棩鎶�210723锛氬紑婧怰edis鏁版嵁搴撳彂鐜拌繙绋嬩唬鐮佹墽琛屾紡娲�,闇€瑕佸敖蹇�崌绾�
- ·谷歌推出数据公用 MCP 服务器,助力 AI 代理获取可靠数据
- ·科技巨头又一个新战场:机器人时代正在开启
- ·谷歌云计算去年四季度营收同比大增44% 但与亚马逊差距依旧明显
- ·标签: 禾赛科技 激光雷达 ADAS 理想汽车
- ·Google重磅推出“Google Skills”平台,内部AI知识向公众免费开放
- ·思科推出新型路由器,助力数据中心融合成为 AI 训练巨头
- ·Scality 推出20多种关键工具的 AI 认证,助力企业加速 AI 应用开发
- ·深度学习正改变物理系统模拟,速度最高提升20亿倍那种
- ·云安全日报220531:IBM资产管理预测分析解决方案发现执行任意代码漏洞,需要尽快升级
- ·报道称:OpenAI 与博通合作开发自家 AI 芯片,明年开始量产
