53帧变900帧!AI让你不用昂贵的高速摄像机也能制作慢镜头
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
要制作慢动作视频就必须要用死贵的高速摄像机?
NO! 可以用AI。
看到没,这就是AI完成的效果!
虽然和真正的高速摄像机至少上千的帧数没法53比,但它完全可以做到每秒53֡的视频轻轻松松变成960֡,没有伪影也没有噪声。
很多网友看完效果都按耐不住了:“非常想要一个深入的教程”、“能不能出一个应用程序?”……
而这项酷毙的研究成果也成功入选CVPR 2021,研究帧变人员来自华为苏黎世研究中心和苏黎世大学。
当然,也用了一个特殊的摄像头
实现这一效果没有采用通过视频光流来猜测粒子运动的经典思想,而是先用了两个摄像头来捕捉画面。
一个就是普通摄像头,记录低帧(20-60FPS)真实画90面;
要想达到慢动作效果,起码得每秒300张画面才够;20帧的视频给的信息太少了,没法直接合成慢动作。
怎么办?靠另一个特殊的摄像头——
也就是事件相机(也称为神经形态相机),它使用新型的传感器,拍摄的是“事件”,0帧也就是记录像素亮度变化。
事件相机还比较新兴,实验室里有很多,市场上还没有大规模问世,报价有2000美元一个或更高。
由于该相机记录的信息经过压缩表示,因此可以较低的清晰度、高速率进行拍摄,也就是牺牲图像质量换取!A更多图像信息。
最终的信息量足够AI理解粒子的运动,方便后续插值。
这俩相机同步拍摄到的内容合起来就是这样的:
拍好以后,就可以使用机器学习来最大化地利用这两种相机的信息进行插帧了。
研究人员在这里提出的AI模型叫做TI让ime Lens ,一共分为四块。
首先,将俩相机拍到的帧信息和事件信息发送到前两个模块:基于变形(warp)的插值模块和合成插值模块。
基于变形的插值模块利用U形网络将运动转换为光流表示,然后将事件转换成真实的帧。
合成你不插值模块也是利用U形网络将事件置于两个帧之间,并直接为每个事件生成一个新的可能帧(现在就为同一事件生成两个帧了)。
该模块可以很好地处理帧之间出现的新对象以及光线变化(比如水反射啥的)。
不过到这里的话,合成的视用昂频可能会有一个问题:出现噪声。
这时,第三个模块的作用就派上用场了,它使用第二个插值合成模块中的新信息来细化第一个模块。
也就是提取同一事件的两个生成帧中最有价值的信息,进行变形优化——再次使用U-net网络生成事件贵的的第三个帧版本。
最后,这三个候选帧被输入到一个基于注意力的平均模块。
该模块采用三帧表示中最好的部分将它们组成最终帧。
现在,有了帧之间第一个事件的高清帧后,再对事件相机提供的所有事件重复此过程,就能生成最终我们高速想要的结果了。
这就是使用AI创建逼真的慢动作视频的方法。怎么样?
附一个摄像机的参数图:
取得了智能手机和其他模型无法达到的效果
你说这个AI模型的效果好,那得对比一下才知道。
比如上面这个与最优秀的插值模型之一的DAIN(入摄像选CVPR 19)的对比,谁好谁坏效果就很明显了。
而且它的插值方法的计算复杂度也是最优的:图像分辨率为640×480,在研究人员的GPU上进行单个插值时,DAIN模型需要878毫秒,该AI则只需要138毫秒。
另外机也,虽然不建议,用该模型输入的视频即使只有5֡,也可以生成慢动作。
和其他模型的对比实验数据,大家感兴趣的可以查看论文。
最后,作者在介绍成果的视频里也再次说道,不和昂贵的专业设备相比,该模型至少取得了智能手机和其他能制模型无法达到的效果。
作者介绍
一作Stepan Tulyakov,华为苏黎世研究中心机器学习研究员。
共同一作Daniel Gehrig,苏黎世大学博士生。苏黎世联邦理工大学机械工程硕士。
论文地址:
http://rpg.ifi作慢.uzh.ch/docs/CVPR21_Gehrig.pdf
开源地址:
https://github.com/uzh-rpg/rpg_timelens
-
蚂蚁链发布BTN:可将区块链网络吞吐量提升186% 带宽成本降低80%标签: UU跑腿 AgentSkill 跑腿Skill UUClawAMD宣布拟以19亿美元收购云计算初创公司Pensando这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN标签: 美团 外卖平台 反垄断 行业竞争标签: 追觅科技 现金贷 尼日利亚 菲律宾阿里巴巴推出紧凑型Qwen3-VL模型,提升多模态AI效率,加速边缘设备部署标签: 爱奇艺 内容热度值 AI短片大赛 鲍德熹苹果下架并整改健康类爆款应用Cal AI,严厉打击规避内购及操纵性计费行为苹果推出全新 FS-DFM 模型,AI 长文本写作效率提升128倍!
- ·IDC TechScape中国数据安全发展路线图首发:涵盖三大类别 18项技术
- ·标签: KEPLO 吕江涛 智能房车 增程式
- ·解读容器的 2020:寻找云原生的下一站
- ·Twitter移动应用新版内测 音频聊天室成中心
- ·标签: 逐玉 腾讯视频 收视率造假 电视剧
- ·Meta 成立超级政治行动委员会 抗击 AI 监管政策
- ·惊艳世人的NASA火星无人机,究竟是怎么设计出来的?
- ·Google量子计算AI实验室大公开,并分享了未来十年的路线图
- ·OpenAI 开放 Sora2视频工具,面向美国、加拿大、日本和韩国用户
- ·标签: 悦普集团 AI营销 社交媒体营销 港交所IPO
- ·数据中心进入“液冷时代” 曙光助力绿色数据中心建设
- ·消息称英国政府考虑阻止英伟达收购ARM
- ·标签: 瑞发科 SerDes芯片 车规级芯片 华为哈勃
- ·纽约州率先立法禁用 AI 算法租金操控
- ·标签: 小马智行 Robotaxi 港股上市 自动驾驶
- ·Anthropic重磅研究:Claude能检测并调节内部思维,自省能力初现!
- ·盲人也能“看见”街景?Google新AI系统让虚拟探索无障碍,科技向善迈出关键一步
- ·江南农商银行携手京东云 推出全国首个业务办理类数字人
- ·标签: 文石BOOX 港交所上市 招股书 AI读写终端
- ·标签: Adobe 2026财年 AI-first ARR
- ·标签: 金龙鱼 丰益堂 不油腻轻年稻米油 甘油二酯油
- ·IP鍦扮悊浣嶇疆搴撲骇鍝佹秹瀚屼镜鏉�?闃块噷浜戝洖澶嶏細宸蹭笌IPIP.NET杈炬垚鍜岃В
- ·网宿科技2022年报:营收净利润双增长,业绩拐点可期
- ·“分秒必争”?亚马逊合作配送公司要求司机绕过安全检查
- ·金山办公半年报:AI月活用户突破2900万,WPS365营收暴增62%
- ·标签: 华为乾崑 2026华为乾崑技术大会
