本发明专利技术提供的基于二维图像的网格模型重建方法、系统、装置及介质，方法包括以下步骤：获取待重建目标物表面的二维图像；通过自注意力模型对二维图像的图像深度区间进行分箱深度预测，得到深度箱子的线性组合；深度箱子用于表征深度值区间；根据线性组合描述二维图像中像素的深度值，构建得到深度图，并构建目标物的模型点云；通过截断的带符号距离函数根据模型点云构建空间体素，并对二维图像进行帧融合得到有符号的距离场；根据有符号的距离场通过等值面提取模型表面，根据模型表面还原得到目标物的三维网格模型，方法能够达到更加准确、可靠的三维重建效果，方法重建耗时更短，能够快速且高质量完成三维重建，可广泛应用于计算机视觉技术领域。算机视觉技术领域。算机视觉技术领域。
【技术实现步骤摘要】
基于二维图像的网格模型重建方法、系统、装置及介质
[0001]本专利技术涉及计算机视觉
，尤其是基于二维图像的网格模型重建方法、系统、装置及介质。
技术介绍
[0002]基于深度学习与表面重建的三维模型重建方法通过训练深度估计神经网络并且求解基于物理的微分方程来达到从图像还原三维模型的目的，在CG(计算机图形学)、3DCV(三维计算机视觉)、AR(增强现实)中有着大量运用。例如，在增强现实中，为了实现AR效果与周围物理场景之间的逼真与沉浸式交互，三维重建需要准确、连贯并且实时地执行。
[0003]在计算机视觉领域中，三维模型通常由网格(Mesh)表示。网格是构成三维对象的顶点，线和面的集合，大型模型通常是由较小的相互连接的平面(通常是三角形或矩形)构建而成的。在多边形网格中，每个顶点都保存着x，y，z坐标信息，每个面中都包含着顶点及顶点间的相互连接关系。对于二维图像来说，由于只存在一个方向与图像各像素的颜色，直接从图像重建三维模型是一个比较具有挑战性的问题。
[0004]相关技术方案中，三维模型重建框架将模型重建的计算流程分为两个步骤，即从彩色图像估计对应的深度贴图和使用估计的深度贴图重建点云模型然后进一步重建表面。深度估计指的是要寻找一种从图像中各像素点的颜色到各自对应的深度的映射。在获取到深度信息之后，可以通过原本生成这张贴图的相机内参数矩阵(Camera Intrinsic Matrix)，完成从二维空间到三维点云(Point Cloud)的逆投影变换。但是，在深度估计方面，相关技术方案中大多使用多视图序列(Multi
‑
View Stereo)的方法来进行深度贴图估计。然而，这类型的方法依赖于单物体的多张不同视角的图片来进行恢复，并且估计的深度值大多有缺失。而基于卷积神经网络的方法无法捕捉到全局上下文交互信息，预测的深度值不够精确。在表面重建方面，泊松重建方法由于需要进行迭代求解，耗时较长，且无法在实时家居展示时使用该方法。
技术实现思路
[0005]有鉴于此，为至少部分解决上述技术问题或者缺陷之一，本专利技术实施例的目的在于提供一种基于二维图像的网格模型重建方法，方法充分利用全局上下文交互信息旨在获取更为精确的深度值；本申请技术方案同时还提供了方法对应的系统、装置以及介质。
[0006]一方面，本申请技术方案提供了基于二维图像的网格模型重建方法，包括以下步骤：
[0007]获取待重建目标物表面的二维图像；
[0008]通过训练后的自注意力模型对所述二维图像的图像深度区间进行分箱深度预测，得到深度箱子的线性组合；所述深度箱子用于表征深度值区间；
[0009]根据所述线性组合描述所述二维图像中像素的深度值，构建得到深度图，并根据所述深度图构建目标物的模型点云；
[0010]通过截断的带符号距离函数根据所述模型点云构建空间体素，根据所述空间体素与最近的目标物表面的第一距离以及所述空间体素更新的第一权重，对所述二维图像进行帧融合得到有符号的距离场；
[0011]根据所述有符号的距离场通过等值面提取模型表面，根据所述模型表面还原得到所述目标物的三维网格模型。
[0012]在本申请方案的一种可行的实施例中，所述自注意力模型的训练过程，包括：
[0013]通过第一训练数据训练得到所述自注意力模型中的编码器；
[0014]根据特征上采样模块构建得到所述自注意力模型中的解码器；
[0015]根据所述编码器、所述解码器以及自注意力模块构建得到所述自注意力模型。
[0016]在本申请方案的一种可行的实施例中，通过训练后的自注意力模型对所述二维图像的图像深度区间进行分箱深度预测，得到深度箱子的线性组合，包括：
[0017]将所述二维图像输入至所述编码器进行编码，将编码结果输入至所述解码器进行解码得到所述二维图像的图像特征；
[0018]根据所述图像特征进行全局注意力计算确定所述二维图像对应的深度箱子的宽度向量；所述宽度向量表征所述二维图像的分辨率以及局部像素级信息；
[0019]将所述宽度向量与所述图像特征进行卷积运算得到范围注意力特征图，根据所述范围注意力特征图确定所述深度箱子的线性组合。
[0020]在本申请方案的一种可行的实施例中，所述根据所述图像特征进行全局注意力计算确定所述二维图像对应的深度箱子的宽度向量，包括：
[0021]将所述图像特征输入至编码卷积模块，根据所述码卷积模块的内核大小、步长以及输出通道数输出得到所述图像特征的第一张量；
[0022]根据所述自注意力模块的有效序列长度将所述第一张量进行展平得到第二张量；
[0023]根据所述第二张量通过多层感知机中的激活函数进行激活运算输出得到第一向量，将所述第一向量进行归一化处理得到所述深度箱子的宽度向量。
[0024]在本申请方案的一种可行的实施例中，将所述宽度向量与所述图像特征进行卷积运算得到范围注意力特征图，根据所述范围注意力特征图确定所述深度箱子的线性组合，包括：
[0025]将所述范围注意力特征图输入至卷积核中进行卷积运算，将卷积运算的结果进行分类预测，得到分类预测的分数值；
[0026]根据所述深度箱子的宽度向量计算所述深度箱子中心的第一概率，根据所述第一概率以及所述分数值确定所述深度箱子的线性组合；所述线性组合用于描述像素的深度值。
[0027]在本申请方案的一种可行的实施例中，所述通过截断的带符号距离函数根据所述模型点云构建空间体素，根据所述空间体素与最近的目标物表面的第一距离以及所述空间体素更新的第一权重，对所述二维图像进行帧融合得到有符号的距离场，包括：
[0028]确定所述空间体素在世界坐标系中的第一位置点，根据所述深度图中深度数据对应的相机位姿矩阵确定所述第一位置点在相机坐标系下的第一映射点；
[0029]根据所述相机坐标系相机内参矩阵，对所述第一映射点既定反投影得到所述深度图中的第二位置点；
[0030]确定所述第一映射点与所述相机坐标系的原点之间的第二距离，根据所述第二距离以及第二位置点的深度值计算得到有向距离场，根据所述有向距离场确定所述第一距离；
[0031]根据所述第一位置点的投影光线、表面法向量的夹角以及所述第二距离即使算得到所述第一权重；
[0032]根据所述空间体素在当前帧中的所述第一距离以及所述第一权重确定所述空间体素的有符号的距离场。
[0033]在本申请方案的一种可行的实施例中，所述根据所述有符号的距离场通过等值面提取模型表面，根据所述模型表面还原得到所述目标物的三维网格模型，包括：
[0034]通过所述三维网格模型中第三位置点的所述距离场对应的浮点张量，
[0035]将所述浮点张量输入至训练完成后的三维卷积网络，通过所述三维卷积网络中的激活函数进行运算输出得到所述三维网格模型；
[0036]所述三维卷积网络的训练过程包括：
[0037]根据历史数据中物体本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于二维图像的网格模型重建方法，其特征在于，包括以下步骤：获取待重建目标物表面的二维图像；通过训练后的自注意力模型对所述二维图像的图像深度区间进行分箱深度预测，得到深度箱子的线性组合；所述深度箱子用于表征深度值区间；根据所述线性组合描述所述二维图像中像素的深度值，构建得到深度图，并根据所述深度图构建目标物的模型点云；通过截断的带符号距离函数根据所述模型点云构建空间体素，根据所述空间体素与最近的目标物表面的第一距离以及所述空间体素更新的第一权重，对所述二维图像进行帧融合得到有符号的距离场；根据所述有符号的距离场通过等值面提取模型表面，根据所述模型表面还原得到所述目标物的三维网格模型。2.根据权利要求1所述的基于二维图像的网格模型重建方法，其特征在于，所述自注意力模型的训练过程，包括：通过第一训练数据训练得到所述自注意力模型中的编码器；根据特征上采样模块构建得到所述自注意力模型中的解码器；根据所述编码器、所述解码器以及自注意力模块构建得到所述自注意力模型。3.根据权利要求2所述的基于二维图像的网格模型重建方法，其特征在于，通过训练后的自注意力模型对所述二维图像的图像深度区间进行分箱深度预测，得到深度箱子的线性组合，包括：将所述二维图像输入至所述编码器进行编码，将编码结果输入至所述解码器进行解码得到所述二维图像的图像特征；根据所述图像特征进行全局注意力计算确定所述二维图像对应的深度箱子的宽度向量；将所述宽度向量与所述图像特征进行卷积运算得到范围注意力特征图，根据所述范围注意力特征图确定所述深度箱子的线性组合。4.根据权利要求3所述的基于二维图像的网格模型重建方法，其特征在于，所述根据所述图像特征进行全局注意力计算确定所述二维图像对应的深度箱子的宽度向量，包括：将所述图像特征输入至编码卷积模块，根据所述码卷积模块的内核大小、步长以及输出通道数输出得到所述图像特征的第一张量；根据所述自注意力模块的有效序列长度将所述第一张量进行展平得到第二张量；根据所述第二张量通过多层感知机中的激活函数进行激活运算输出得到第一向量，将所述第一向量进行归一化处理得到所述深度箱子的宽度向量。5.根据权利要求3所述的基于二维图像的网格模型重建方法，其特征在于，所述将所述宽度向量与所述图像特征进行卷积运算得到范围注意力特征图，根据所述范围注意力特征图确定所述深度箱子的线性组合，包括：将所述范围注意力特征图输入至卷积核中进行卷积运算，将卷积运算的结果进行分类预测，得到分类预测的分数值；根据所述深度箱子的宽度向量计算深度箱子中心位置的第一概率，根据所述第一概率以及所述分数值确定所述深度箱子的线性组合；所述线性组合用于描述像素的深度值。6.根据权利要求1所述的基于二维图像的网格模型重建方法，其特征在于，所述通过截
断的带符号距离函数根据所述模型点云构建空间体素，根据所述空间体素与...
【专利技术属性】
技术研发人员：柯建生，王兵，戴振军，陈学斌，
申请(专利权)人：广州极点三维信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。