一种基于可微分体积渲染的隐式三维重建方法、系统、存储介质及终端技术方案

本发明专利技术公开了一种基于可微分体积渲染的隐式三维重建方法、系统、存储介质及终端，包括：构建隐式三维重建模型，输入单张单视图并对所述单视图进行图像编码；对编码后的图像进行等间距采样，得到采样点；根据所述采样点预估表面深度；根据预估的表面深度计算深度损失，将采样点反投影到3D空间并在给定深度评估其RGB纹理，其中，利用隐式微分计算表面深度相对于网络参数的梯度；根据深度损失与RGB纹理评估结果对所述隐式三维重建模型进行训练；调用训练好的隐式三维重建模型进行单视图的三维重建。本发明专利技术能够满足低内存占用的三维重建需求，同时以更好的分辨率输出三维模型。同时以更好的分辨率输出三维模型。同时以更好的分辨率输出三维模型。

【技术实现步骤摘要】
一种基于可微分体积渲染的隐式三维重建方法、系统、存储介质及终端


[0001]本专利技术涉及三维重建
，尤其涉及一种基于可微分体积渲染的隐式三维重建方法、系统、存储介质及终端。

技术介绍

[0002]三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。三维重建技术是移动机器人自主导航、位置环境模型重构、大规模数字化监控等的重要组成部分，也是虚拟现实(Virtual Reality，VR))、增强现实(Augmented Reality，AR)技术的基础，经过重建后的三维模型可以直接应用到VR或AR的场景中。在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全，因此三维重建需要利用经验知识。而多视图的三维重建(类似人的双目定位)相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图象坐标系与世界坐标系的关系，然后利用多个二维图象中的信息重建出三维信息。物体三维重建是计算机辅助几何设计(CAGD)、计算机图形学(CG)、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。在计算机内生成物体三维表示主要有两类方法。一类是使用几何建模软件通过人机交互生成人为控制下的物体三维几何模型，另一类是通过一定的手段获取真实物体的几何形状。前者实现技术已经十分成熟，现有若干软件支持,比如:3DMAX、Maya、AutoCAD、UG等等，它们一般使用具有数学表达式的曲线曲面表示几何形状。
[0003]近些年来，随着深度学习技术(Deep learning)在计算机视觉领域的广泛应用，基于深度学习的3D重建方法已经取得了令人瞩目的成果，其通过在训练过程中获取丰富的先验知识，它们能够从一张图像中推断出一个3D模型。然而，大多数基于深度学习方法的适用范围都受限于合成数据集，主要是因为它们需要准确的3D真实模型参数作为训练的监督值。而非合成数据集往往难以提供如此完整精准的监督标准。为了克服这个障碍，一些工作提出了只需要二维监督(如深度图或多视角图像)的方法。但它们受到特定的3D表示形式(例如体素或网格)的限制，这些表示形式容易出现离散化伪影，而且计算成本限制了它们的分辨率或对固定模板网格的变形。然而，现有使用隐式表示形式的方法需要3D地面真实模型进行训练，而如何仅从图像数据中学习隐式表示形式仍然不清楚。
[0004]所以目前基于深度学习的三维重建方法障碍在于：(1)在3D监督的条件下，可用于训练的数据集非常少，导致深度神经网络的学习受限，无法进行通用性三维重建。(2)使用2D监督的神经网络模型的数据表示形式受限，如体素受限于内存占用和计算时间，输出结果的分辨率需要立方级的成本付出；而网格表示形式容易出现伪影、自交叠等模型问题，需要重新修正。

技术实现思路

[0005]本专利技术的目的在于克服现有三维重建方法存在的不足，提供了一种基于可微分体积渲染的隐式三维重建方法、系统、存储介质及终端，能在不改变内存占用和计算成本的条件下表示高分辨率的三维模型，提高三维重建质量。
[0006]本专利技术的目的是通过以下技术方案来实现的：
[0007]在第一方面，提供一种基于可微分体积渲染的隐式三维重建方法，所述方法包括以下步骤：
[0008]S1、构建隐式三维重建模型，输入单张单视图并对所述单视图进行图像编码；
[0009]S2、对编码后的图像进行等间距采样，得到采样点；
[0010]S3、根据所述采样点预估表面深度；
[0011]S4、根据预估的表面深度计算深度损失，将采样点反投影到3D空间并在给定深度评估其RGB纹理；所述根据预估的表面深度计算深度损失，包括：
[0012]利用隐式微分计算表面深度相对于网络参数的梯度，所述网络参数表示模型中各个神经元的权重集合；
[0013]S5、根据深度损失与RGB纹理评估结果对所述隐式三维重建模型进行训练；
[0014]S6、调用训练好的隐式三维重建模型进行单视图的三维重建。
[0015]作为一优选项，一种基于可微分体积渲染的隐式三维重建方法，所述对所述单视图进行图像编码，包括：
[0016]通过全局描述符约束隐式三维重建模型的输出。
[0017]作为一优选项，一种基于可微分体积渲染的隐式三维重建方法，所述对编码后的图像进行等间距采样，包括：
[0018]对图像点以一定的射线采样精度采样。
[0019]作为一优选项，一种基于可微分体积渲染的隐式三维重建方法，所述步骤S3包括：
[0020]将采样点投影到三维空间，并在沿着从相机原点到该点的射线上的固定步骤中评估存在概率网络；
[0021]通过存在概率网络在光线上的变化确定表面深度。
[0022]作为一优选项，一种基于可微分体积渲染的隐式三维重建方法，应用迭代割线法，计算表面深度的估量值。
[0023]作为一优选项，一种基于可微分体积渲染的隐式三维重建方法，所述根据预估的表面深度计算深度损失，包括：
[0024]在单个图像观测上计算重建损失如下：
[0025][0026]其中，I表示观察到的图像，是由DIR隐式渲染的图像，I
u
表示任意像素处的RGB真实值，表示对应位置的预测值；||
·
||是L1范数，代表向量中各个元素的绝对值之和。
[0027]作为一优选项，一种基于可微分体积渲染的隐式三维重建方法，所述隐式三维重建模型的网络结构包括ResNet
‑
18编码器、5个全连接层和4个维度的输出层。
[0028]在第二方面，提供一种基于可微分体积渲染的隐式三维重建系统，所述系统包括：
[0029]图像编码器，配置为构建隐式三维重建模型，输入单张单视图并对所述单视图进行图像编码；
[0030]图像采样模块，配置为对编码后的图像进行等间距采样，得到采样点；
[0031]综合推断网络，配置为根据所述采样点预估表面深度；
[0032]深度损失计算模块，配置为根据预估的表面深度计算深度损失；所述根据预估的表面深度计算深度损失，包括：
[0033]利用隐式微分计算表面深度相对于网络参数的梯度，所述网络参数表示模型中各个神经元的权重集合；
[0034]RGB纹理损失计算模块，将采样点反投影到3D空间并在给定深度评估其RGB纹理；
[0035]模型训练模块，配置为根据深度损失与RGB纹理评估结果对所述隐式三维重建模型进行训练；
[0036]三维重建模块，配置为调用训练好的隐式三维重建模型进行单视图的三维重建。
[0037]在第三方面，提供一种计算机存储介质，其上存储有计算机指令，所述计算机指令运行时执行任意一项所述一种基于可微分体积渲染的隐式三维重建方法中相关步骤。
[0038]在第四方面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可微分体积渲染的隐式三维重建方法，其特征在于，所述方法包括以下步骤：S1、构建隐式三维重建模型，输入单张单视图并对所述单视图进行图像编码；S2、对编码后的图像进行等间距采样，得到采样点；S3、根据所述采样点预估表面深度；S4、根据预估的表面深度计算深度损失，将采样点反投影到3D空间并在给定深度评估其RGB纹理；所述根据预估的表面深度计算深度损失，包括：利用隐式微分计算表面深度相对于网络参数的梯度，所述网络参数表示模型中各个神经元的权重集合；S5、根据深度损失与RGB纹理评估结果对所述隐式三维重建模型进行训练；S6、调用训练好的隐式三维重建模型进行单视图的三维重建。2.根据权利要求1所述的一种基于可微分体积渲染的隐式三维重建方法，其特征在于，所述对所述单视图进行图像编码，包括：通过全局描述符约束隐式三维重建模型的输出。3.根据权利要求1所述的一种基于可微分体积渲染的隐式三维重建方法，其特征在于，所述对编码后的图像进行等间距采样，包括：对图像点以一定的射线采样精度采样。4.根据权利要求1所述的一种基于可微分体积渲染的隐式三维重建方法，其特征在于，所述步骤S3包括：将采样点投影到三维空间，并在沿着从相机原点到该点的射线上的固定步骤中评估存在概率网络；通过存在概率网络在光线上的变化确定表面深度。5.根据权利要求4所述的一种基于可微分体积渲染的隐式三维重建方法，其特征在于，应用迭代割线法，计算表面深度的估量值。6.根据权利要求1所述的一种基于可微分体积渲染的隐式三维重建方法，其特征在于，所述根据预估的表面深度计算深度损失，包括：在单个图像观测上计算重建损失如下：其中，I表示观察到的图像，是由DIR隐式渲染的图像，I
u

【专利技术属性】
技术研发人员：匡平，宋晟昱，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：