一种基于多平面扫描的端到端网络的多视点场景重建方法技术

本发明专利技术公开了一种基于多平面扫描的端到端网络的多视点场景重建方法，用于对已知相机内外参矩阵的多视点图像数据集进行三维重建，构建出深度图和点云。该方法包括如下步骤：(1)用金字塔结构提取各级图像特征，得到不同大小和分辨率的特征图；(2)用多平面扫描的方式在分辨率最低的特征图上构建基于方差的成本量并估计一个低分辨率的深度图；(3)将低分辨率深度图进行上采样，并且联合更高分辨率的特征图对深度图进行细化，直到得到原图像大小的深度图为止。本发明专利技术能对已知相机内外参的多视点图像进行很好的重建，兼顾准确率和完整度。兼顾准确率和完整度。兼顾准确率和完整度。

【技术实现步骤摘要】
一种基于多平面扫描的端到端网络的多视点场景重建方法


[0001]本专利技术涉及本专利技术涉及数字图像处理与计算机视觉领域，具体是一种基于多平面扫描的端到端网络的多视点场景重建方法，用于对已知相机内外参矩阵的多视点图像数据集进行三维重建，构建出深度图和点云的方法。

技术介绍

[0002]多视点三维重建(multi
‑
view stereo)是计算机视觉领域中的研究热点之一,得到了学者们的广泛关注和大力研究，如何从图像中恢复物体的三维信息是计算机视觉研究的一个核心问题。Multi
‑
view Stereo(MVS)的方法即为给定从不同视角拍摄的图像以及其对应的相机几何，通过稠密匹配的方式恢复出物体以及场景的三维结构。
[0003]现有MVS方法存在重建结果一般，准确率和完整度不能兼顾的问题。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术的不足，提供一种基于多平面扫描的端到端网络的多视点场景重建方法，用于对已知相机内外参矩阵的多视点图像数据集进行三维重建，构建出深度图和点云的方法。
[0005]为了实现以上目的，本专利技术所述的一种基于多平面扫描的端到端网络的多视点场景重建方法，该方法的具体步骤如下：
[0006]用金字塔结构提取各级图像特征，得到不同大小和分辨率的特征图，并计算相应内参；
[0007]用多平面扫描的方式在分辨率最低的特征图上构建基于方差的成本量并估计一个低分辨率的深度图；
[0008]将所述低分辨率的深度图进行上采样，并且联合更高分辨率的特征图对深度图进行细化，直到得到原图像大小的深度图为止。
[0009]进一步地，所述用金字塔结构提取各级图像特征，得到不同大小和分辨率的特征图，并计算相应内参，包括：
[0010]首先用CNN对原始的图像进行特征的提取，再使用双线性插值的方法对原图进行下采样，每次下采样的系数为0.5，然后将下采样的彩色图像输入到提取特征的CNN网络结构，提取下采样之后图像的特征图，构建一个两层的金字塔特征结构；
[0011]在训练的阶段提取3张图像的金字塔特征，分别为一张参考图像和两张源图像，在测试的时候提取5张图像的金字塔特征，包括一张参考图像和4张源图像。
[0012]进一步地，所述用金字塔结构提取各级图像特征的具体操作步骤为：
[0013](a)先用深度神经网络提取原图像的特征图，所述深度神经网络一共有9层，每层都有3*3的卷积核以及一个Leaky ReLU激活函数，最后特征提取网络输出的通道数为16；
[0014](b)用双线性插值的方法来对原图像进行下采样，每下采样一次，图像的长和宽变成原来的一半；
[0015](c)在训练阶段，提取三张图像的金字塔特征，其中一张是需要估计的参考图像，另外两张是源图像。
[0016]进一步地，所述计算相应内参，包括：
[0017]对于不同分辨率的图像重新计算内参矩阵的大小，具体的换算公式为：
[0018][0019]其中，f'为下采样图像对应的相机焦距，f为相机焦距，c
x
'为下采样图像对应的光心的x坐标，c
x
为光心的x坐标，c
y
'为对应的光心的y坐标，c
y
为光心的y坐标。
[0020]进一步地，所述用多平面扫描的方式在分辨率最低的特征图上构建基于方差的成本量，包括：
[0021]使用三个不同的扫描方向，分别为45
°
，90
°
和135
°
，从这三个不同的方向分别构建出三个不同的成本量。
[0022]进一步地，所述用多平面扫描的方式在分辨率最低的特征图上构建基于方差的成本量，包括：
[0023](a)通过单应性变换将不同相机参考坐标系下的图像变换到同一个坐标系下，得到源图像和参考图像在同一个相机参考坐标系下的特征图；
[0024](b)平面扫描的方向有三个，分别是45
°
，90
°
和135
°
，形成三个不同方向的平行平面集；将这三个平行平面集对应的法向量和距离代入到(a)中的所述变换中，得到不同参数下源图像变换到参考图像相机坐标系中的特征图，对每一个假设平面方向，每一个假设的深度得到一张源图像变换的特征图，由此得到3张参考相机坐标系下的特征图；
[0025](c)用求方差的方式来评估特征图之间的相似性，假设深度接近真实的深度值，由此得到一个方差图，沿着假设深度的方向将方差图堆叠起来，就得到一个成本量；每个平面扫描的方向构成一个成本量，对每一张源图像一共有三个成本量；所述三个成本量在整个神经网络中是独立的，分别输出一个距离图，再转换成深度进行融合。
[0026]进一步地，所述估计一个低分辨率的深度图，包括：
[0027]用3D卷积核对成本量进行正则化，使之在深度方向上和像素点在对应深度的概率值对齐，得到三个概率体，再计算每个像素点沿着深度方向上概率分布的熵，在三个概率分布中选择熵最小的概率分布，沿着深度方向用概率对深度进行加权，得到一张低分辨率的深度图。
[0028]进一步地，所述估计一个低分辨率的深度图，包括：
[0029](a)用三个相同结构但是不共享参数的U
‑
Net 3D卷积网络来提取深度的概率分布；通过整个神经网络的损失将U
‑
Net的输出对应为参考图像沿着深度方向在不同深度上的概率分布，输出为一个概率体；
[0030](b)根据深度概率分布的熵来融合深度信息；对于参考图像的每个像素有三个不同的概率估计，选择熵最小的概率估计作为该像素点沿着深度方向的概率分布，再使用softmax回归，得到该像素点的一个深度估计；对所有像素点重复这个操作，得到最低分辨
率距离参考坐标系原点的距离图；
[0031](c)将估计出来的三张参考图像在不同虚拟扫描平面下的距离图转化为世界坐标系下的深度图，得到参考图像的三张深度估计图。
[0032]进一步地，所述将所述低分辨率的深度图进行上采样，并且联合更高分辨率的特征图对深度图进行细化，直到得到原图像大小的深度图为止，包括：
[0033]将上一级估计出来的低分辨率的深度图进行上采样到一个更大的深度图上，再对这个深度图进行细化，得到原图大小的深度图，完成对单张参考图像深度的估计。
[0034]进一步地，所述将所述低分辨率的深度图进行上采样，并且联合更高分辨率的特征图对深度图进行细化，直到得到原图像大小的深度图为止，包括：
[0035](a)将初步估计的深度图进行优化和调整；将低分辨率的深度图进行上采样，得到一个初步的深度估计，在所述深度估计附近进行采样估计；
[0036](b)构建法向量垂直于参考图像相机坐标系的假设平面的成本量，沿着假设平面法向量方向在所述深度估计附近采样8个深度值，对深度进行更精细的估计；
...

【技术保护点】

【技术特征摘要】
1.一种基于多平面扫描的端到端网络的多视点场景重建方法，其特征在于：该方法的具体步骤如下：用金字塔结构提取各级图像特征，得到不同大小和分辨率的特征图，并计算相应内参；用多平面扫描的方式在分辨率最低的特征图上构建基于方差的成本量并估计一个低分辨率的深度图；将所述低分辨率的深度图进行上采样，并且联合更高分辨率的特征图对深度图进行细化，直到得到原图像大小的深度图为止。2.根据权利要求1所述的一种基于多平面扫描的端到端网络的多视点场景重建方法，其特征在于：所述用金字塔结构提取各级图像特征，得到不同大小和分辨率的特征图，并计算相应内参，包括：首先用CNN对原始的图像进行特征的提取，再使用双线性插值的方法对原图进行下采样，每次下采样的系数为0.5，然后将下采样的彩色图像输入到提取特征的CNN网络结构，提取下采样之后图像的特征图，构建一个两层的金字塔特征结构；在训练的阶段提取3张图像的金字塔特征，分别为一张参考图像和两张源图像，在测试的时候提取5张图像的金字塔特征，包括一张参考图像和4张源图像。3.根据权利要求1所述的一种基于多平面扫描的端到端网络的多视点场景重建方法，其特征在于：所述用金字塔结构提取各级图像特征的具体操作步骤为：(a)先用深度神经网络提取原图像的特征图，所述深度神经网络一共有9层，每层都有3*3的卷积核以及一个Leaky ReLU激活函数，最后特征提取网络输出的通道数为16；(b)用双线性插值的方法来对原图像进行下采样，每下采样一次，图像的长和宽变成原来的一半；(c)在训练阶段，提取三张图像的金字塔特征，其中一张是需要估计的参考图像，另外两张是源图像。4.根据权利要求1所述的一种基于多平面扫描的端到端网络的多视点场景重建方法，其特征在于：所述计算相应内参，包括：对于不同分辨率的图像重新计算内参矩阵的大小，具体的换算公式为：其中，f'为下采样图像对应的相机焦距，f为相机焦距，c
x
'为下采样图像对应的光心的x坐标，c
x
为光心的x坐标，c
y
'为对应的光心的y坐标，c
y
为光心的y坐标。5.根据权利要求1所述的一种基于多平面扫描的端到端网络的多视点场景重建方法，其特征在于：
所述用多平面扫描的方式在分辨率最低的特征图上构建基于方差的成本量，包括：使用三个不同的扫描方向，分别为45
°
，90
°
和135
°
，从这三个不同的方向分别构建出三个不同的成本量。6.根据权利要求2或3所述的一种基于多平面扫描的端到端网络的多视点场景重建方法，其特征在于：所述用多平面扫描的方式在分辨率最低的特征图上构建基于方差的成本量，包括：(a)通过单应性变换将不同相机参考坐标系下的图像变换到同一个坐标系下，得到源图像和参考图像在同一个相机参考坐标系下的特征图；(b)平面扫描的方向有三个，分别是45
°
，90
°
和135
°
，形成三...

【专利技术属性】
技术研发人员：李兆歆，王兆其，高诗雨，朱登明，朱正刚，
申请(专利权)人：苏州中科广视文化科技有限公司，
类型：发明
国别省市：