ResNet也能用在3D模型上了,清华「计图」团队新研究已开源
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
用AI处理二维图像,离不开卷积神经网络(CNN)这个地基。
不过,面对三维模型,CNN就没有那么得劲了。
主要原因是,3D模型通常采用网格数据表示,类似于这样:
这Re些三角形包含了点、边、面三种不同的元素,缺乏规则的结构和层次化表示,这就让一向方方正正的CNN犯了难。
那么像VGG、ResNet这样成熟好用的CNN骨干网络,就不能用来做三维模型的深度学习了吗?
并不是。
最近,清华大学计图(Jittor)团sN队,就首次提出了一种针对三角网格面片的卷积神经网络SubdivNet。
基于SubdivNet,就可以将成熟的图像网络架构迁移到三维几何学习中。
并且,相关论文和代码均已开源。
基于细分结构的网格卷积网络
所以,SubdivNet是如何打破2D到3Det之间的壁垒的呢?
具体而言,这是一种基于细分结构的网格卷积网络。
对于输入的网格数据,先进行重网格化(remesh),构造细分结构,得到一般网格的多分辨率表示;而后,再上重头戏——面片卷积方法和上下采样方法。
面片卷积方法
以往的网格深度学习方法,也能通常是将特征存储在点或者边上,这就带来了一个问题:点的度数是不固定的,而边的卷积并不灵活。
于是,计图团队提出了一种在面片上的网格卷积方法,以充分利用每个面片与三个面片相邻的规则性质。
并且,基于这样的规则性质,研究团队进一步依据面片之间的距离用在,设计了多种不同的卷积模式。
由于三维数据格式中的面片顺序不固定,SubdivNet在计算卷积结果时,通过取邻域均值、差分均值等方式,使得计算结果与面片顺序无关,满足排列不变性。
再来看上下采样的部分。
SubdivNet受到传统的Loop3D细分曲面建模的启发,构造了一种基于细分结构的上下采样方法。
也就是说,在池化(下采样)过程中,由于网格数据已经经过重网格化,其面片具有细分连接结构,就可以4片变1片,从高分辨率转为低分辨率,实现面片特征的池化操作。
而在上采样的过程中,则反过来,让模型面片一分为四。
如此一来,上下采样方式就是规则且均匀的,还可以实现双线性插值等需求。
结合面片卷积方法和上下采样方法,像VGG、ResNet、DeepLabV3+这样经典2D卷积网络,就可以轻松迁移到3D模型的深度学习中。
值得一提的是,Subdiv上了Net方法是基于清华大学的深度学习框架计图(Jittor)实现的。其中,计图框架提供了高效的重索引算子,无需额外的C++代码,即可实现邻域索引。
实验结果
至于SubdivNet的效果如何,不妨直接看看实验结果。
首先,在网格分类数据集上,S,清ubdivNet在SHREC11和Cube Engraving两个数据集中,首次达到了100%的分类正确率。
在网格分割方面,量化指标下,SubdivNet的分割准确率均高于用于对比的点云、网格方法。
而在形状对应实验中,SubdivNet华「也达到了SOTA水准。
这篇论文来自清华大学计算机系胡事民教授团队。
作者是胡事民及其博士生刘政宁、国孟昊、黄家辉等,还有卡迪夫大学Ralph Martin教授。
同时,他们也是清华“计图”框架团队成员。
计图是首个由中国高校开源的深度学习框架,计图开发团队均来自清华大学计算机系图形学实验室,负责人是胡事民教授。
该实验室的主要研究方向是计算机图形学、计算机视觉、智能信息处理、智能机器人、系统软件等,在ACM TOG, IEEE TVCG, IEEE PAMI, ACM SIGGRAPH, IEEE」团 CVPR, IEEE ICRA, USENIX ATC等重要国际刊物上发表论文100余篇。
目前,开发计图的主力,是该实验室梁盾、杨国烨、杨国炜、周文洋、刘政宁、李相利、国孟昊和辛杭高等一批博士生。
与TensorFlow、PyTorch不同,计图是一个完队新全基于动态编译,使用元算子和统一计算图的深度学习框架。
此前,在可微渲染、动态图推理等方面,计图都有超越PyTorch的表现。
论文地址:
https://arxiv.org/abs/2106.02285
项目地址:
https://github.c研究om/lzhengning/SubdivNet
参考链接:
https://mp.weixin.qq.com/s/tJjarzqU7MvS_pHWWO3JYQ
-
OpenAI Codex 推出全新 Chronicle 功能:让 AI 记住你的项目上下文标签: 携程 市场监管总局 反垄断 携程集团标签: 网易 有道 云音乐 燕云十六声阿里云拿下LV母公司五年长期合约:涵盖超40个品牌和部门标签: 腾讯音乐 在线音乐 TME 2025Q3财报新模型 CoMPaSS-FLUX.1:提升Flux文本到图像生成的空间理解能力标签: 元戎启行 DeepSeek 阮翀 自动驾驶云安全日报210222:思科互联网产品和网络解决方案发现特权升级漏洞,需要尽快升级字节跳动推出 Sa2VA:结合 LLaVA 与 SAM-2 实现多模态智能分割标签: 奈飞 华纳兄弟 HBO Max 收购
- ·标签: 呜哩 阿里巴巴 Qwen Image AIGC
- ·微软推出全新 Copilot Audio音频模式,体验更具个性化的语音交互
- ·2022京东全球科技探索者大会之京东云峰会官宣定档 进一步阐释“更懂产业的云”
- ·激进基金Elliott业务主管将退出推特董事会 去年曾逼迫多西下台
- ·字节跳动王炸出击:Seed-OSS-36B开源模型横空出世,512K超长上下文碾压DeepSeek引爆AI圈
- ·云计算开发:Python内置函数-raw_input() 函数详解
- ·微软 Copilot 拥抱竞争:集成 Anthropic AI 模型,打破 OpenAI 独家地位
- ·Adobe 招聘新标准:鼓励求职者使用 AI 展现“创造力+技术”双重技能
- ·标签: 享道出行 上汽集团 网约车 Robotaxi
- ·标签: 地平线 宁德时代 朱威 陈黎明
- ·自动驾驶汽车今年将在英国合法化
- ·标签: 东风集团 岚图汽车 港股上市 新能源汽车
- ·报告揭示互联网新趋势:超半数新内容由 AI 生成
- ·华为参与欧盟多个研发项目 涉及AI、6G和云计算等技术
- ·OpenAI Codex 正式发布,提升开发者编程体验
- ·标签: 中科院星际航行学院 iPhone Fold 马年集福 存储涨价
- ·AI录音神器再进化!Plaud推出Pro版本,30小时续航+智能屏幕颠覆传统笔记体验
- ·云计算核心技术Docker教程:Docker集群将滚动更新应用于服务
- ·苹果开始在印度组装iPhone 12 未来或组装iPad
- ·标签: 千里科技 千里智驾1.0 千里浩瀚G-ASD ASC100
- ·标签: 格力电器 海信空调 真铜实料 铝代铜
- ·Facebook年薪中位数170万元:凸显大厂在劳动力市场的网络效应
- ·英国:Facebook等科技巨头若不删非法内容将面临数十亿英镑罚款
- ·Notion3.0AI 代理爆出严重漏洞,恶意 PDF 可诱导其泄露敏感数据
- ·合作三年成果斐然 MongoDB联手阿里云布局自动驾驶、金融、物流等行业
- ·标签: 金山办公 WPS WPS365 AI办公
