从1小时到3.5分钟,Meta新算法一部手机搞定3D人脸数据采集
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
搞定这样的人脸3D建模需要几步?
在数据采集的阶段,答案是:一部手机 + 3.5分钟。
没从1错,仅凭这3.5分钟的数据,就足以生成高保真、可驱动的真实3D人脸头像。
这项研究来自Meta Reality Labs——就是扎克伯格元宇宙计划里的那个核心部门。小时论文已经被SIGGRAPH 2022接收。
作者提到,这一方法适用于VR应用。
也就是说,在VR的世界里,以后你可能就不必顶着一张卡通脸登场了。
而是可以方便地与胖友们到3“真身”相见。
方法原理
实现这一结果的方法框架如下图所示:
具体而言,分为三个部分。
首先,是要用大型多视角人脸数据集训练一个超网络,这个超网络可以通过神经网络解码器产生专.5属于个人的头像参数。
数据集中的人脸由多视角捕捉系统采集,包括255位不同年龄、性别和种族参与者的面部图像数据。
△左为图像捕获设备;右为采集到的人脸
这个捕获3D人分钟脸的巨型装置是Meta在2019年研发的,其中配备171个高分辨率摄像头,每秒能记录180GB数据。采集时间在1个小时左右。
值得一提的是,在这个超网络中,解码器,M的基本组成模块是带有bias map的卷积上采样层。
这些bias map会被用来生成体积单元,进而通过射线追踪来渲染头像。
另外,该解码器结构能够将视线与其他面部活动区et分开,这在VR应用中意味着能够更直接地利用眼动跟踪系统。
其次,是轻量级人脸表情捕捉。
在这项研究中,采集人脸只需要用到一部带有深度摄像头的智能手机。
实验中,研a新究人员采用的是iPhone 12。
采集过程就像这样:
采集到的数据要进行如下处理:
获取每一帧人脸图像中的几何形状和纹理;对输入的RGB图像进行人脸标志检测和人像分割;对模算法板网格进行拟合和变形,以匹配检测到的人脸标志物、分割轮廓和深度图;对每一帧图像的纹理进行解包,而后汇总得到完整的人脸纹理。
在进一步完善模型的过程中,还需要采集6一部5种特定的表情:
最后,该方法输出的3D人脸头像不仅能与用户外观高度匹配,通过全局表情空间,还能对其进行进一步的驱动、控制。
研究人员表示,整个采集过程大概要花手机费3.5分钟。
不过需要说明的是,建模的过程不是实时的,数据处理还要花费数小时的时间。
实验结果
说了这么多,效果如何,我们还是来看实验结果。
与Pinscreen提出搞定的“一张照片构建3D数字化身”(CVPR 2021)的方法相比,该方法能生成更具真实感的人脸模型。
而与海德堡大学、慕尼黑工业大学、马普所等研究机构在Neural3D Head Avatars from Monocular RGB Videos一文中提出的方法相比,该方法能生成保真度更高的结果。
不过,作者也指出了该方法的局限性:hold人脸不太住长发和眼镜,容易产生伪影。另外,该方法对于光照条件也有一定要求。
- ·亚马逊云计算业务CEO计划调整产品策略 为特定行业推出更多定制产品
- ·拿下全球48%收益!苹果却担忧“遭断供”,投资77亿赴欧研发芯片
- ·首款全疾病覆盖的颅脑 CT 辅助报告生成大模型问世!
- ·标签: Clawdbot Moltbot 腾讯云Lighthouse AI智能体
- ·标签: ASML EUV光刻机 傅恪礼 半导体设备
- ·像金枪鱼一样动态调节尾巴弹性:「机器金枪鱼」登上Science子刊
- ·1秒内精确估算,人工智能地震监测系统问世
- ·国产GPU新突破:摩尔线程S5000 助力中国移动“九天”大模型
- ·研究表明:欧盟技术规则也应限制IBM等云计算供应商
- ·云安全日报210318:思科小型企业交换机发现远程命令执行漏洞,需要尽快升级
- ·Twitter将于2月10日发布2020年第四季度及全年财报
- ·苹果隐私标签打脸Facebook:收集信息超级多
- ·华为与浙大携手发布 DeepSeek-R1-Safe 大模型:AI安全与性能完美平衡
- ·Facebook在美加推出AI照片编辑建议功能:可访问相机胶卷中未分享的照片
- ·标签: 网易有道 AI原生 学习硬件 AI Agent
- ·亚马逊AGI实验室掌门人首度回应"反向收购"争议:为了通用人工智能,我别无选择
