手机1秒生成3D全息图,MIT团队新作
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
一张图片的焦距,能在老鼠玩具和日历尺之间自由切换:
甚至能完成图片上任一物体的对焦,呈现出不同物体在不同深度时的照片:
这张具有神奇手机魔力的图片,就是集成了“全部物体信息”的ȫϢͼ。
生成这类全息图,往往需要大量计算才能完成。
然而,来自MIT的团队开发了一种新算法,不需要复杂仪器、也不需要等几个小时,生成这样一张全息图,只需要在智能手机上耗费不1秒到1秒的时间。
要知道,就在去年11月份,三星的科学家们生成3D全息视频所用的处理器,尺寸还是太大,没能整合到手机上:
那么,这种快速生成3D全息图的方法,究竟是怎么做到的?
用神经网络快速“切蛋糕”
首先,全息图生成是什么?
举个例子,visa信用卡上的鸽子,就利用了全息图来做防伪标志。
全息图即“全部的信息”,这种图片包含物体的幅度和相位信息。
普通照相机,拍摄出来的照片只包含物体的幅度信息(亮暗),相位信息(远近)却无法直3D接保存。
这也是为什么,我们平时看见的2D照片“没有立体感”。
此前,计算机要想360°全方位生成全息图,通常得从多个角度进行干涉、衍射,再将相位信息拼合起来,与振幅信息叠加后生成图片。
多角度生成相位信息,就像全息是在一个球形蛋糕上精准地切割8刀,将之分成8块,对每块进行相位重现:
然而,这种方法所需要的计算量往往巨大,耗时很久,完全无法在智能手机上运行。
因此,MIT团队思考,能不能采用深度学习的方法,只通过3个角度,就把图,“蛋糕”分成8块,来生成全息图?
他们精挑细选出了4000张包含幅度、相位信息的图像,以及这些图像对应的3D全息图,用来训练神经网络。
整体思路大致如下:获取物体的相位信息后,生成点云,再结合残差神经网络,生成整体的MI全息图。
那么,这种全息图的效果如何呢?
可对焦任意物体,内存占用不到1MB
事实证明,利用神经网络进行预测,只需要不到640KB的内存就能生成全息图。
如果在消费级GPU上,这种神经网络模型,每秒能生成60张分辨率T团为1080p的彩色3D全息图。
而在智能手机如iPhone 11 Pro上,每秒能生成1.1张全息图;至于Google Edge TPU上,每秒则能生成2张全息图。
以动画角色大雄兔(Big Buck Bunny)为例,右下队新角是它的深度图。
从图中可见,利用神经网络(右)生成的全息图像,几乎和用原有方法(左)生成的全息图像一模一样。
而且,无论是远处的小黄花,还是近处的兔子眼睛,都能完美对焦。
表面上看起来是一样的话,具体到幅度和相位手机信息上如何呢?
从图中可见,利用神经网络预测的幅度和相位信息,也与真实值非常接近。
即使是现实中的照片,也与实际生成目标非常接近了。
当然,从细节来看的话,还是略微有一点差距。
相比于现有的VR和AR方案,3D全息图是3D1秒可视化的另一个实现方案。
但在使用VR的时候,用户实际上是盯着2D显示屏,产生3D错觉,因此可能会产生视觉疲劳、头晕等症状。
而3D全息图则允许眼睛调整焦距,即交替地对前景和背景进行聚焦,能有效缓解这种症状。
下一步,生成团队计划添加眼球追踪技术,让用户的眼睛看向哪里,哪里就生成部分高清全息图。
在这种方案下,计算机只需要部分生成全息图,实时运用下,效果也能更快更好。
以及,索尼赞助了这项研究,所以……
作者介绍 论文一作史亮,2014年3D毕业于北航,硕士毕业于斯坦福,目前于MIT就读博士,研究方向包括VR/AR,以及机器学习和计算机图形学。
论文二作李北辰,2018年毕业于清华大学,目前于MIT就读博士,研究方向是机器学习在计算机图形学中的应用。
论全息文地址:
https://www.nature.com/articles/s41586-020-03152-0.pdf
- ·OpenAI 紧急暂停 Sora生成马丁・路德・金形象,AI 视频生成引发热议!
- ·Facebook 2020年为保护CEO扎克伯格安全花费了2300万美元
- ·马斯克旗下 xAI 发布 Grok 4 Fast:速度提升十倍但细节有所妥协
- ·《长安三万里》票房破11亿 追光动画打破魔咒
- ·亚马逊优质店铺遭疯狂收购 1年内收购价高达35亿美元!
- ·标签: 小红书 期权回购 互联网公司 人才策略
- ·余承东:未来企业数据中心会消失 走向全面云化
- ·标签: 大麦娱乐 快达票 演出票务 港澳台市场
- ·标签: Counterpoint AI服务器 存储市场 三星
- ·亚马逊CEO贝索斯出售了98673股公司股份
- ·谷歌云五年来在巴西投资超3亿美元 改善其技术基础设施
- ·标签: 死了么 三星S26 奇瑞冰淇淋 引望
- ·美国最大邻里社交平台Nextdoor通过SPAC上市 不惧Facebook挑战
- ·大数据明星Palantir获FDA4400万美元合同:股价大涨17%
- ·标签: H200 鸿蒙智行 智界V9 摩尔线程
- ·云计算开发:Python内置函数-super() 函数详解
- ·图灵奖获得者约翰・轩尼诗:数据和机器学习让世界变得更美好
- ·标签: 领克Z20 领克汽车 语音误操作 智能车灯
- ·Twitter周一宕机:1.8万用户报告故障
- ·标签: Meta Limitless Rewind Mac AI穿戴设备
- ·标签: SK海力士 ADR 纳斯达克 SEC
- ·一台二手苹果手机被拍卖,引来98人959次加价才分出胜负
- ·苹果重拳整顿 App Store 支付:明星应用 Cal AI 违规被下架
- ·苹果AirPods Pro 2将在今年4月发布
- ·IDC发布2023年中国整体超融合市场报告,深信服第一
- ·腾讯云披露 4 月 8 日服务故障原因:云 API 异常持续近 87 分钟
- ·云安全日报210928:思科多个产品服务器发现数据泄露漏洞,需要尽快升级
- ·萤石发布EZVIZ AI Core X智能大模型主机:64Tops算力开启家居“大脑”时代
- ·云计算开发:Python练习实例-时间函数举例
- ·抖音发布AIGC创作新规:严禁未经授权“换脸仿声”,强调真实消费体验
- ·标签: 骁龙8 高通 第五代
- ·马斯克旗下xAI起诉苹果和OpenAI 指控合谋垄断AI市场
- ·谷歌和高通宣布将为Android手机提供4年软件更新支持
- ·用AI制作历史类超长助眠视频,YouTube创作者涨粉63W+低调赚钱
- ·标签: 京东工业 刘强东 港交所 上市
- ·标签: 博泰车联 智能座舱 域控制器 车联网
