基于多阶段渐进式知识蒸馏的轻量级三维重建方法技术

本发明专利技术提供了一种基于多阶段渐进式知识蒸馏的轻量级三维重建方法，包括如下步骤：S1、构建学生网络和教师网络；S2、所述学生网络和所述教师网络均对目标物体进行三维空间特征提取，并进行第一渐进式知识蒸馏，以使所述教师网络引导训练所述学生网络，生成三维模型的初始特征；S3、所述学生网络和所述教师网络均对所述初始特征进行N次空间特征上池化，并进行N次第二渐进式知识蒸馏，以使所述教师网络分别引导训练所述学生网络，最终生成所述目标物体的三维模型。该方法结合知识蒸馏的同时，并达到了极高的重建精度。并达到了极高的重建精度。并达到了极高的重建精度。

【技术实现步骤摘要】
基于多阶段渐进式知识蒸馏的轻量级三维重建方法


[0001]本专利技术涉及三维重建
，具体涉及一种基于多阶段渐进式知识蒸馏的轻量级三维重建方法。

技术介绍

[0002]元宇宙的兴起使得三维重建一直是近年来的热点话题，三维几何形状的精确重建可以极大降低后续更加细致建模的复杂度，其得益于深度学习惊人的学习能力，近年来许多三维重建方法不断迭代更新，三维重建的精度越来越高，但代价是网络模型的复杂度越来越高。与此同时，知识蒸馏在其他领域中大放异彩。在图像处理领域中，知识蒸馏通常是要求先对数据集预训练一个参数量较大、模型相对复杂的教师网络，然后再由教师网络引导训练出一个参数量小，模型简单的学生网络。因此，通过将知识蒸馏运用到三维网格重建中，来降低网络模型的复杂度、减少参数量，是一个显而易见的思路。
[0003]但是，知识蒸馏应用到当前的三维网格重建方法中就会出现一些问题，首先当前三维网格的重建方法普遍采用的是一种渐进式重建，即逐步增加顶点个数来提升模型的精细度，但在将知识蒸馏应用在渐进式重建方法上时，由于后面阶段的顶点个数高于前一阶段的顶点个数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多阶段渐进式知识蒸馏的轻量级三维重建方法，其特征在于，包括如下步骤：S1、构建学生网络和教师网络；S2、所述学生网络和所述教师网络均对目标物体进行三维空间特征提取，并进行第一渐进式知识蒸馏，以使所述教师网络引导训练所述学生网络，生成三维模型的初始特征；S3、所述学生网络和所述教师网络均对所述初始特征进行N次空间特征上池化，并进行N次第二渐进式知识蒸馏，以使所述教师网络分别引导训练所述学生网络，最终生成所述目标物体的三维模型。2.根据权利要求1所述的基于多阶段渐进式知识蒸馏的轻量级三维重建方法，其特征在于，所述三维空间特征提取具体包括：采用VGG
‑
16提取所述目标物体的二维图像的空间特征，并将'conv3_3'层，'conv4_3'层和'conv5_3'层提取的二维图像高层特征拼接，得到一图像大小不对齐，总维度为960的二维图像的空间特征；输入不同视点的多个二维图像，得到多个视图的二维图像的空间特征；对所述多个视图的二维图像的空间特征进行特征提取，然后根据相机矩阵计算出三维网格模型上顶点在多个二维图像中的位置，作为从二维图像像素到三维网格顶点之间的映射关系；对每一三维网格模型上顶点，计算其在多个二维图像的高层特征图上的二维投影位置，并用双线性插值从所述二维投影位置的浮点位置周围的四个像素计算该浮点位置特征，以使每一三维网格模型上顶点得到多个维度为960的图像特征；计算所述多个维度为960的图像特征之间的最大值、均值和方差，得到3个960维度的图像特征，将他们拼接起来，最终得到该顶点一个维度为2880的二维图像特征。3.根据权利要求2所述的基于多阶段渐进式知识蒸馏的轻量级三维重建方法，其特征在于，所述教师网络采用基于邻接关系的空间特征上池化，所述学生网络采用基于投影的空间特征上池化。4.根据权利要求3所述的基于多阶段渐进式知识蒸馏的轻量级三维重建方法，其特征在于，所述基于邻接关系的空间特征上池化具体包括：将利用三维空间特征提取的二维图像特征附加到三维网格顶点上，在网格顶点上额外拼接三维空间特征，利用特征上池化直接初始化新增顶点的特征。5.根据权利要求3所述的基于多阶段渐进式知识蒸馏的轻量级三维重建方法，其...

【专利技术属性】
技术研发人员：刘智杰，石武祯，
申请(专利权)人：深圳大学，
类型：发明
国别省市：