三维重建方法、系统、机器设备和计算机可读存储介质技术方案

本发明专利技术揭示了一种三维重建方法、系统、机器设备和存储介质。所述方法包括：对给定图片在深度网络通过网络各层所进行的特征抽取中，通过所集成合并层进行的前馈网络信息向反馈网络映射执行卷积层的特征抽取，获得二维特征；对二维特征执行稀疏成本控制，并变换二维特征为三维特征，得到三维特征所对应的成本量信息；通过成本量信息的映射提取上下文信息，生成初始深度图；进行初始深度图的传播和优化输出高精度深度图；对高精度深度图生成三维点云，由三维点云构建生成给定图片的三维模型，在此三维重建的实现中，降低了内存消耗，并在稀疏成本控制和成本量信息的映射下，减少计算量而保证了三维重建效果，且能够满足三维重建对速度的要求。对速度的要求。对速度的要求。

【技术实现步骤摘要】
三维重建方法、系统、机器设备和计算机可读存储介质


[0001]本专利技术涉及计算机视觉应用
，特别涉及一种三维重建方法、系统、机器设备和计算机可读存储介质。

技术介绍

[0002]三维重建技术一直是计算机视觉研究的重要领域。三维重建用于对三维物体建立可以让计算机处理的三维数字模型。三维重建的实现主要包括几何模型建模以及利用三维扫描仪进行三维重建两种方式。其中，通过几何模型建模方式进行三维重建，该技术发展最为成熟，通过几何模型建模方式可以精确地进行三维重建，但是存在着三维重建过程复杂、周期长等问题，并且对复杂物体或人模型而言，重建效果不佳。
[0003]其次，利用三维扫描仪进行三维重建这一方式，是使用结构光、深度相机以及激光扫描仪等设备，生成三维模型。但是这些设备昂贵，且使用条件苛刻，无法在设施简陋的条件下使用。
[0004]几何模型建模对于三维重建的实现过程存在着高度复杂性，而三维扫描仪依赖于昂贵的设备且使用环境苛刻，对于三维重建的实现而言亦存在着高度复杂性，这将导致三维重建技术的性能受限，也无法满足实时性的要求。

技术实现思路

[0005]为了解决相关技术中无法控制三维重建的高度复杂性和时间长度的技术问题，本专利技术提供一种三维重建方法、系统、机器设备和计算机可读存储介质。
[0006]一种三维重建方法，所述方法包括：
[0007]对给定图片在深度网络通过网络各层所进行的特征抽取中，通过所集成合并层进行的前馈网络信息向反馈网络映射执行卷积层的特征抽取，获得所述给定图片的二维特征；
[0008]对所述二维特征执行稀疏成本控制，并变换所述二维特征为三维特征，得到三维特征所对应的成本量信息；
[0009]通过所述三维特征所对应成本量信息的映射提取上下文信息，生成对所述给定图片预测的初始深度图；
[0010]进行所述初始深度图的传播和优化，输出高精度深度图；
[0011]对所述高精度深度图生成三维点云，由所述三维点云构建生成所述给定图片的三维模型。
[0012]在一个示例性实施例中，所述合并层和卷积层的组合构成所述深度网络中执行特征抽取的网络层，所述对给定图片在深度网络通过网络各层所进行的特征抽取中，通过所集成合并层进行的前馈网络信息向反馈网络映射执行卷积层的特征抽取，获得所述给定图片的二维特征，包括：
[0013]在所述深度网络中网络各层的特征抽取中，对合并层中前馈网络向反馈网络的反
向传播，将前馈网络所存储信息翻转正向传播计算，恢复所述反向传播所需信息；
[0014]将卷积层对给定图片抽取的卷积特征输入到恢复反向传播所需信息的反馈网络，在所述反馈网络输出所述卷积层对应的二维特征。
[0015]在一个示例性实施例中，所述在所述深度网络中网络各层的特征抽取中，对合并层中前馈网络向反馈网络的反向传播，将前馈网络所存储信息翻转正向传播计算，恢复所述反向传播所需信息，包括：
[0016]面向所述给定图片在所述深度网络的特征抽取，通过合并层中的前馈网络进行正向传播后输入至卷积层，所述卷积层执行特征抽取；
[0017]对正向传播过程计算所得到并经前馈网络存储的信息，进行所述正向传播的翻转计算，通过所述翻转计算恢复得到所述反向传播所需信息。
[0018]在一个示例性实施例中，所述对所述二维特征执行稀疏成本控制，并变换所述二维特征为三维特征，得到三维特征所对应的成本量信息包括：
[0019]对所述二维特征通过成本量度量生成成本量并执行稀疏操作，得到稀疏成本量，所述稀疏成本量用于对所述给定图片的上下文信息提取进行容量控制；
[0020]通过所述稀疏成本量将所述二维特征转换为三维特征，得到三维特征所对应的成本量信息。
[0021]在一个示例性实施例中，所述通过所述三维特征所对应成本量信息的映射提取上下文信息，生成对所述给定图片预测的初始深度图包括：
[0022]在面向上下文信息提取而构建的网络各层，通过所在网络层中设置的卷积门映射输入的所述成本量信息，以提取上下文信息生成对所述给定图片预测的初始深度图。
[0023]在一个示例性实施例中，所述卷积门为第一卷积门，所述在面向上下文信息提取而构建的网络各层，通过所在网络层中设置的卷积门映射输入的所述成本量信息，以提取上下文信息生成对所述给定图片预测的初始深度图包括：
[0024]以配置的卷积层为第一卷积门映射所述三维特征所对应成本量信息至可视空间；
[0025]对所述成本量信息在可视空间的映射，配合重置门、更新门以及更新门所配置的第二卷积门对上一步的影响控制进行上下文信息提取，生成对所述给定图片预测得到的初始深度图。
[0026]在一个示例性实施例中，所述进行所述初始深度图的传播和优化，输出高精度深度图包括：
[0027]通过卷积网络中所述初始深度图的传播，对所述初始深度图执行粗优化操作；
[0028]以所述粗优化操作的输出为输入对象，对所述初始深度图细化深度生成高精度深度图。
[0029]一种三维重建系统，所述系统包括：
[0030]特征构造模块，用于对给定图片在深度网络通过网络各层所进行的特征抽取中，通过所集成合并层进行的前馈网络信息向反馈网络映射执行卷积层的特征抽取，获得所述给定图片的二维特征；
[0031]稀疏成本控制模块，用于对所述二维特征执行稀疏成本控制，并变换所述二维特征为三维特征，得到三维特征所对应的成本量信息；
[0032]深度预测模块，用于通过所述三维特征所对应成本量信息的映射提取上下文信
息，生成对所述给定图片预测的初始深度图；
[0033]精度优化模块，用于进行所述初始深度图的传播和优化，输出高精度深度图；
[0034]三维生成模块，用于对所述高精度深度图生成三维点云，由所述三维点云构建生成所述给定图片的三维模型。
[0035]一种机器设备，包括：
[0036]处理器；以及
[0037]存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如前所述的方法。
[0038]一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如前所述的方法。
[0039]本专利技术的实施例提供的技术方案可以包括以下有益效果：
[0040]给定图片的三维重建中，首先对给定图片在深度网络通过网络各层所进行的特征抽取中，通过所集成合并层进行的前馈网络信息向反馈网络映射来执行卷积层的特征抽取，得到给定图片的二维特征，前馈网络信息向反馈网络的映射，使得反馈网络所需要信息不需要进行存储，而直接计算得到，进而将极大的降低内存消耗；其次，在获得二维特征之后，对二维特征执行稀疏成本控制，进而在此之下变换二维特征为三维特征，得到三维特征所对应的成本量信息；通过三维特征所对应成本量信息的映射提取上下文信息，生成对给定图片预测的初始深度图，进行初始深度图的传播和优化，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维重建方法，其特征在于，所述方法包括：对给定图片在深度网络通过网络各层所进行的特征抽取中，通过所集成合并层进行的前馈网络信息向反馈网络映射执行卷积层的特征抽取，获得所述给定图片的二维特征；对所述二维特征执行稀疏成本控制，并变换所述二维特征为三维特征，得到三维特征所对应的成本量信息；通过所述三维特征所对应成本量信息的映射提取上下文信息，生成对所述给定图片预测的初始深度图；进行所述初始深度图的传播和优化，输出高精度深度图；对所述高精度深度图生成三维点云，由所述三维点云构建生成所述给定图片的三维模型。2.根据权利要求1所述的方法，其特征在于，所述合并层和卷积层的组合构成所述深度网络中执行特征抽取的网络层，所述对给定图片在深度网络通过网络各层所进行的特征抽取中，通过所集成合并层进行的前馈网络信息向反馈网络映射执行卷积层的特征抽取，获得所述给定图片的二维特征，包括：在所述深度网络中网络各层的特征抽取中，对合并层中前馈网络向反馈网络的反向传播，将前馈网络所存储信息翻转正向传播计算，恢复所述反向传播所需信息；将卷积层对给定图片抽取的卷积特征输入到恢复反向传播所需信息的反馈网络，在所述反馈网络输出所述卷积层对应的二维特征。3.根据权利要求2所述的方法，其特征在于，所述在所述深度网络中网络各层的特征抽取中，对合并层中前馈网络向反馈网络的反向传播，将前馈网络所存储信息翻转正向传播计算，恢复所述反向传播所需信息，包括：面向所述给定图片在所述深度网络的特征抽取，通过合并层中的前馈网络进行正向传播后输入至卷积层，所述卷积层执行特征抽取；对正向传播过程计算所得到并经前馈网络存储的信息，进行所述正向传播的翻转计算，通过所述翻转计算恢复得到所述反向传播所需信息。4.根据权利要求1所述的方法，其特征在于，所述对所述二维特征执行稀疏成本控制，并变换所述二维特征为三维特征，得到三维特征所对应的成本量信息包括：对所述二维特征通过成本量度量生成成本量并执行稀疏操作，得到稀疏成本量，所述稀疏成本量用于对所述给定图片的上下文信息提取进行容量控制；通过所述稀疏成本量将所述二维特征转换为三维特征，得到三维特征所对应的成本量信息。5.根据权利要求1所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：杨硕，谢晓尧，刘嵩，
申请(专利权)人：贵州师范大学，
类型：发明
国别省市：