连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
我们在打游戏、看动漫的时候,遇到过不少这样的情况:
感觉哪里不太对……
现在,这些3D人体模型可以得到改进了~体态更逼真、褶皱更连肌自然、肌肉更饱满:
连情绪都显得更投入了……
甚至肌肉颤动也清晰可见:
这么一对比,差距很明显了~
不仅动画质量更高,这种新方法还大量减少了人工参与,制作速度更快了。
要知道,以前的动画需要繁琐的步骤,比如:搭建骨骼、蒙肉颤皮、刷权重等等……动画师往往要为此修炼数年,效果还常常不尽人意。
现在,只需一个神经网络就能搞定。
不仅如此,它还可以从形象中预测骨骼,并绑定权重,更容易地用运动捕捉来制作动画。
这一研究成果,由北京大学、北京电影动都学院等高校和机构合作完成。
相关论文《Learning Skeletal Articulations with Neural Blend Shapes》在SIGGRAPH 2021上发表,代码现已开源。
提出神经融合形清晰状技术
团队开发了一套神经网络,用来生成具有指定结构的骨骼,并且精准绑定骨骼的蒙皮权重。
它由两个部分组成:包裹变形分支(envelope deformation branch)和补偿变形分支(residual d可见eformation branch)。
其中,包裹变形分支通过间接监督,学习由偏移量组成的特定骨架层次的装配参数,最后从输入角色中预测出骨架、蒙皮和权重绑定。
你可能会说,常用的动画制作工具Mixamo中,也!3有绑定和蒙皮。
但是新方法能做的不只这些,它还可以准确预测与模型高度匹配的骨骼,并绑定权重。
从而更容易进行动作捕捉,制作动画:
并且,利用一种神经融合形状(neural blend shapes)技术,补偿变形分支D人可以根据输入的网格连接,来预测对应的融合形状(blend shapes)。
与此同时,根据关节旋转预测融合系数,然后基于此插值得到补偿变形。
比如,神经混合形状会纠正肌肉的形状,准确保留鼓起的肌肉:
与LBS(线性混体模合蒙皮)算法的效果相比,细节处理得更好:
与三维动画制作软件Blender的效果对比:(小肚腩被完美保留了)
除此之外,研究团队还对神经混合形状系数进行了可视化,可以看到左侧输出的形象,与右侧相应的姿势绑定。
并且型自,通过颜色变化,表现各关节的混合形状系数激活程度。
利用这一方法,神经网络只需观察变形后的人物模型进行间接学习,而不需要对训练数据集的变形方法有任何限制,极大扩大了适用范围。
最终实现了,实时、高质量的三维动生人物模型动画端到端自动生成。
一作来自北大图灵班
团队由来自北京大学陈宝权教授研究团队、北京电影学院未来影像高精尖创新中心、Google Research、特拉维夫大学,以及苏黎世联邦理工学院的研究人员组成。
论文成算一作,是来自北大图灵班的一名本科生——李沛卓。
他毕业于重庆一中,曾入选信息学竞赛省队,2017年高考以687分考入北大。
目前,李沛卓师从陈宝权教授,研究方向是深度学习和计算机图形学,正在北京大学视觉计算与学习实法,验室和北京电影学院未来影像高精尖创新中心(AICFVE)实习。
此前,他已有论文登上SIGGRAPH。在与量子位交流时,他曾表示对图形学特别感兴趣。
论文的更多细节,感兴趣的小伙伴,可以戳链接了解详情。
项目主页:
h一作ttps://peizhuoli.github.io/neural-blend-shapes/
论文地址:
https://peizhuoli.github.io/neural-blend-shapes/pape北大rs/neural-blend-shapes-camera-ready.pdf
- ·OpenAI 首席执行官 Sam Altman 注意到 Twitter 上大量 AI 账号现象
- ·标签: 极佳视界 GigaBrain Maker H01 具身基模
- ·阿里MuleRun陈宇森:AI Native团队效率是Copilot团队10倍,企业转型窗口期仅18个月
- ·IDC:中国品牌升腾(Centerm)拿下瘦客户机市场第一,超越长期领先的戴尔和惠普
- ·标签: 觅蜂科技 具身智能 红杉中国 数据联盟
- ·阿里云泄露用户数据隐忧:云端用户隐私,是否真安全?
- ·AI 市场有望在 2024 年突破 5000 亿美元大关
- ·特斯拉中国数据中心获得数据安全标准批准
- ·腾讯云官宣混元模型Token涨价
- ·Twitter和亚马逊合作开发云基础架构
- ·谷歌发布史上超强人类大脑「地图」,在线可视3D神经元「森林」
- ·标签: 工业富联 AI服务器 800G交换机 郑弘孟
- ·Claude 与 Microsoft 365 深度整合,企业效率再提升!
- ·机器人视觉大飞跃!新模型助力 AI “看懂” 三维世界,成功率提升 31%
- ·标签: 阿里巴巴 吴泳铭 通义实验室 林俊旸
- ·在代理 AI 和物理 AI推动下,全球芯片市场预计将突破 1 万亿美元大关
- ·月之暗面推出新型混合线性注意力架构 “Kimi Linear”
- ·阿里云百炼平台上架智谱、Minimax、Kimi等顶尖模型,千问云官网售卖
- ·国产AI视觉模型"橘洲"V1.5发布:首个基于国产算力的全生态端侧大模型落地长沙
- ·Sesame完成B轮2.5亿美元融资,革命性AI语音引百万用户尝鲜,测试版应用同步上线
- ·OpenAI首度实现月入10亿!但算力不足成最大难题
- ·标签: 卡尔动力 Robotruck KargoOmni 干线无人货运
- ·标签: 智谱 GLM-4.7-Flash 大模型 开源
- ·吃菠萝不加盐会怎么样
- ·标签: 360doc 六智信息 个人图书馆 文档收藏平台
- ·Verizon灏嗘妸璋锋瓕Messages浣滀负榛樿�娑堟伅搴旂敤锛氬�鎶楄嫻鏋渋Message
