为了用AI处理二维图像，卷积神经网络（CNN）这个基础是不可缺少的。
但是，面对三维模型，CNN并没有那么感兴趣。
主要原因是三维模型通常采用网格数据表示，类似于这样。
这些三角形包括点、边、面三种不同的元素，缺乏规则的结构和分层表示，这给单向方正的CNN带来了困难。
那么，VGG、ResNet这样成熟易用的CNN主干网，难道不能用于三维模型的深度学习吗。
不是的。
最近，图（Jittor）团队首次提出了用于三角网格修补的卷积神经网络SubdivNet。
基于SubdivNet，您可以将成熟的图像网络架构过渡到三维几何学习。
此外，相关论文和代码都是开源的。
特别地，这是一种基于细分结构的网格卷积网络。
对输入的网格数据，首先进行重新网格化（remesh），构建细化结构，得到一般网格的多分辨率表现，然后再次提高作为主要事件的面片卷积方法和上下采样方法。
贴片卷积方法传统的网格深度学习方法通常是将特征存储在点或边上，造成了点的度数不恒定、边的卷积不灵活的问题。
因此，计划小组提出了一种在补丁上的网格卷积方法，以充分利用每个补丁和三个补丁相邻的规则性质。
然后，基于这样的规则性质，研究团队进一步根据补丁之间的距离，设计了多种不同的卷积图案。
△k是卷积核的大小，d是空洞的长度
由于三维数据格式中的贴片顺序不固定，因此SubdivNet在计算卷积结果时，通过采用邻域平均值、差分平均值等方式，计算结果与贴片顺序无关，满足排列不变性。
在上下采样方法中，我们来看一下上下采样的部分。
SubdivNet在传统Loop细分曲面建模的启发下，构建了基于细分结构的上下采样方法。
即，在池化（下采样）的过程中，由于网格数据被再网格化，因此该修补具有细分连接结构，4片变为1片，从高分辨率变为低分辨率，能够实现修补特征的池化操作。
在上采样过程中，反过来将修补程序分成四部分。
这样，上下采样方式规则均匀，还可以实现双线性插值等需求。
结合补丁卷积方法和上下采样方法，结合VGG、ResNet、DeepLabV3+这样经典的二维卷积网络，可以轻松过渡到三维模型的深度学习。
值得注意的是，SubdivNet方法是基于清华大学的深度学习框架计（Jittor）来实现的。其中，图表框架提供了有效的重新索引算子，不需要额外的C++代码就可以实现邻居索引。
关于实验结果SubdivNet的效果，不妨直接看一下实验结果。
首先，在网格分类数据集中，SubdivNet在SHREC11和Cube Engraving两个数据集中，首次达到100%的分类正确率。
在网格划分中，在量化指标下，SubdivNet的划分精度均高于用于比较的点云、网格方法。
在形状对应实验中，SubdivNet也达到了SOTA水平。
这篇关于作者的论文来自清华大学计算机系胡事民教授组。
作者是胡事民及其博士生刘政宁、国家孟昊、黄家辉等，以及卡迪夫大学Ralph Martin教授。
此外，他们也是清华“计划”框架团队成员。
计图为中国高校开源深度学习框架，开发团队均来自清华大学计算机系图形学实验室，负责人是胡事民教授。
该实验室的主要研究方向为计算机图形学、计算机视觉、智能信息处理、智能机器人、系统软件等，将在ACM TOG、IEEE TVCG、IEEE PAMI、ACM SIGRAPH、IEEE CVPR、IEEE ICRA、USENIX ATC等重要国际刊物上发表论文100多篇。
目前，开发计划的主力是该实验室的梁盾、杨国烨、杨国沵、周文洋、刘政宁、李相利、国孟昊和辛杭高等博士生。
与TensorFlow、PyTorch不同，计算图是基于完全动态的编译，使用元运算符和统一计算图的深度学习框架。
到目前为止，在微渲染、动态图推理等方面，计图有超过PyTorch的表示。
论文地址：https：//arxiv.org/abs/2106.02285
项目地址：https：//github.com/lzhengning/SubdivNet
参考链接：https：//mp.weixin.qq.com/s/tJjarzqU7MvS_pHWWO3JYQ
-结束了
文章评论