一种基于深度学习的多视图三维重建方法技术

本发明专利技术提供了一种基于深度学习的三维重建方法，包括：构建多尺度特征提取网络，对获取的多张多视角图像进行多尺度的语义特征提取，得到多个尺度的目标关键特征；在预设定的深度范围内，在深度倒数空间内进行深度采样得到亚像素级的深度候选假设；基于卷积注意力机制与残差网络，结合多尺度特征图对深度候选假设进行像素级深度评估迭代计算获得深度图，并通过可变性卷积网络进行自适应滤波平滑深度图；将得到的深度图与参考视图的特征图输入深度优化网络之中，获取深度残差信息进行深度图优化；通过光照一致性约束和几何一致性约束对深度图进行过滤，基于可见性的融合算法进行深度图融合，获取三维场景重建结果，输出三维点云。输出三维点云。输出三维点云。

【技术实现步骤摘要】
一种基于深度学习的多视图三维重建方法


[0001]本专利技术属于几何计算机视觉三维重建领域，涉及一种基于深度学习的多视图三维重建方法。

技术介绍

[0002]近年来，随着深度学习的发展计算机视觉问题的解决都得到了较大程度的发展。近期各种二维图像处理的技术逐渐被完善适用于三维问题中，物体三维形状的重建也成为了热点问题之一。以往的许多方法都需要完整的三维模型数据进行监督，然而这样的数据是稀少且获取过程复杂代价昂贵的。由此出现了多视图三维重建方法。与传统的三维重建方法相比，基于深度学习的三维重建方法能够将全局的语义信息引入图像重建之中，从而提升弱光照、弱纹理区域的重建效果。
[0003]目前的深度学习方法在进行深度估计时，大多都采用三维卷积正则化进行代价体归一化以评估得出深度图。此种评估方法在低复杂度场景的环境下能保持较好的重建精度，但重建过程需要消耗大量的显卡内存，并且对于高复杂度场景的重建存在重建精度不足的问题。

技术实现思路

[0004]本方案针对上文提到的问题和需求，提出一种基于深度学习的多视图三维重建方法，其由于采取了如下技术方案而能够解决上述技术问题。
[0005]为了快速、准确的进行物体的三维重建，本专利技术依据多视图信息，提出了一种基于深度学习的三维重建方法。
[0006]本专利技术所采用的技术方案是：一种基于深度学习的多视图三维重建方法，其特征在于，包括以下步骤：
[0007]步骤1：构建多尺度特征提取网络，对获取的多张多视角图像进行多尺度的语义特征提取，得到多个尺度的目标关键特征；
[0008]步骤2：在预设定的深度范围内，进行深度采样得到亚像素级的深度候选假设；
[0009]步骤3：基于注意力机制与残差网络，结合多尺度特征图对深度候选假设进行像素级深度评估迭代计算，获得深度图；
[0010]步骤4：将步骤3中得到的深度图与参考视图的特征图输入深度优化网络之中，优化后得到最终的深度图；
[0012]步骤5：将步骤4中计算得到的所有参考视图的深度图进行融合，获取三维场景重建结果，输出三维点云。
附图说明
[0013]图1为本专利技术实施例中的具体步骤示意图；
[0014]图2为本专利技术实施例中的流程示意图；
[0015]图3为本专利技术实施例中野外大场景的重建结果图。
具体实施方式
[0016]下面将结合附图对本专利技术作进一步的详细描述，所描述的实例仅旨在便于对本专利技术的理解，并不用于限定本专利技术。
[0017]目前已有的多视图三维重建方法，在弱纹理区域或反射表面的重建效果不好，并且存在运行时间长、内存消耗大以及泛化能力弱等问题，因此，本专利技术公开了一种基于注意力机制和残差网络的处理方法，该方法具有很强的泛化能力，能够快速高效的获得高精度的深度图，从而获得准确、完整的三维重建效果。如图1、图2所示，本专利技术提供了一种基于深度学习的多视图三维重建方法，本专利技术的具体步骤包括：
[0018]步骤1、构建多尺度特征提取网络，对获取的多张多视角图像进行多尺度的语义特征提取，得到多个尺度的目标关键特征。
[0019]具体的，获取多张多视角图像，通过无人机拍摄设备，对待重建区域进行多角度、全方位的拍摄，获得多视角图像数据集。
[0020]更进一步的，基于图像特征金字塔结构，使用卷积神经网络对多张多视角图像进行多尺度特征提取得到原始特征图。对低分辨率的原始特征图再施加一个上采样层，与下一个尺度的原始特征图进行融合，获取具有丰富语义信息的目标特征。对相邻两个尺度之间的原始特征图都采用上述的上采样融合处理，获得多种尺度的特征图。
[0021]在本实施例中，通过训练集对所述多尺度提取网络进行训练的过程包括：
[0022]输入N张H
×
W大小的多视角图像，其中包括一张参考视图I
ref
和N
‑
1张源视图{I
src
}。分别标记三个尺度的原始特征图为F1，F2，F3，F1通过上采样网络获得尺度的新特征图F1’
，将F1’
与F2融合得到尺度的最终特征图F2’
。同样的，将F2’
通过上采样网络并与F3融合，获得尺度的目标关键特征。相比于传统的卷积网络提取特征，多尺度特征提取网络获取的特征图语义信息更为丰富，能有效提高训练模型的泛化能力与训练精度。
[0023]步骤2、在预设定的深度范围内，进行深度采样得到亚像素级的深度候选假设。
[0024]具体的，将预先给定的深度范围投影到倒数空间内，以深度值倒数的形式进行采样，获得亚像素级的深度候选假设，有助于提高深度评估的精度。
[0025]更进一步的，对于初次深度评估迭代计算，在深度值的倒数空间范围内，给定候选深度假设数量，进行均匀采样并对每个深度候选假设添加随机数得到初始的候选假设。基于可变性卷积网络，获取每个像素点的相似像素点的坐标从而进行深度采样，获得新的候选假设。在倒数空间内进行深度采样和对相似像素点进行深度采样，可以增加候选深度假设的多样性和模型训练时的健壮性，有效提高深度评估的精度和三维重建的效果。
[0026]更进一步的，对于随后的深度评估迭代计算，根据上一次迭代计算生成的深度图，对每个像素的候选深度值添加随机数进行扰动，获得本次迭代计算的初始深度候选假设。同样的，通过可变性卷积网络进行相似像素点深度采样，获取本次迭代的新的深度候选假设。
[0027]在本实施例中，根据预先定义的倒数深度范围[1/d
max
，1/d
min
]进行均匀采样，使每个像素都具有多个深度假设，并对每个深度假设添加随机数获取随机的深度假设。基于可变性卷积神经网络获取每个像素点的相似像素点的坐标(x，y)，根据获取的像素坐标进行深度采样获得新的候选假设。这样做可以使网络模型能够处理大规模的复杂场景，有更好的模型泛化能力。对于后面的迭代计算，根据上一次迭代计算产生的深度图，在合理的深度范围R内添加随机数进行随机扰动，并在随后的迭代计算中逐渐缩小深度范围R。这样做可以进一步细化深度评估结果，对之前迭代计算中的错误评估进行纠正。
[0028]步骤3、基于注意力机制与残差网络，结合多尺度特征图对深度候选假设进行像素级深度评估迭代计算，获得深度图。
[0029]对于多视图立体匹配，参考图像任意一点像素的正确深度值，也是任意源视图的对应像素点的正确深度值。对于多视图深度评估，需要整合多张源视图的可见信息去评估参考视图上的单个像素的每一个深度值。为此，基于注意力机制提取参考视图中不同像素点的权重信息进行最大特征提取，通过分组运算进行加权计算获得每个像素点的每个深度假设的代价值。随后，通过三维卷积网络进行代价体归一化，获得每个深度假设的单一代价值，并进行深度回归计算获取深度图，通过残差网络对参考视图提取残差信息优化深度图。最后，基于可变性卷积网络进行可变性滤波，相较于固定的滤波窗口，可变性滤波可以获取到相同三维平面的像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多视图三维重建方法，其特征在于，包括一下步骤：步骤1：构建多尺度特征提取网络，对获取的多张多视角图像进行多尺度的语义特征提取，得到多个尺度的目标关键特征；步骤2：在预设定的深度范围内，在深度倒数空间内进行深度采样得到亚像素级的深度候选假设；步骤3：基于卷积注意力机制与残差网络，结合多尺度特征图对深度候选假设进行像素级深度评估迭代计算获得深度图，并通过可变性卷积网络进行自适应滤波平滑深度图；步骤4：将得到的深度图与参考视图的特征图输入深度优化网络之中，获取深度残差信息进行深度图优化；步骤5：通过光照一致性约束和几何一致性约束对深度图进行过滤，基于可见性的融合算法进行深度图融合，获取三维场景重建结果，输出三维点云。2.如权利要求1所述的基于深度学习的多视图三维重建方法，其特征在于，基于图像特征金字塔结构，使用卷积神经网络对多张多视角图像进行多尺度特征提取得到原始特征图。对低分辨率的原始特征图再施加一个上采样层，与下一个尺度的原始特征图进行融合，获取具有丰富语义信息的目标特征。对相邻两个尺度之间的原始特征图都采用上述的上采样融合处理，获得多种尺度的特征图。3.如权利要求2所述的基于深度学习的多视图三维重建方法，其特征在于，在迭代计算过程中，对于初次迭代，在深度值的倒数空间范围内，给定候选深度假设数量，进行均匀采样并对每个深度候选假设添加随机数得到初始的候选假设。基于可变性卷积网络，获取每个像素点的相似像素点的坐标从而进行深度采样，获得新的候选假设以增强模型的健壮性。4.如权利要求3所述的基于深度学习的多视图三维重建方法，其特征在于，在迭代计算过程中，对于随后的迭代计算，为了纠正之前迭代计算中的错误评估，根据上一次迭代计算生成的深度图，对每个像素的候选深度值添加随机数进行扰动，获得本次迭代计算的初始深度候选假设。同样的，通过可变性卷积网络进行相似像素点深度采样，获取本次迭代的新的深度候选假设。5.如权利要求4所述的基于深度学习的多视图三维重建方法，其特征在于，多视图深度评估计算深度图的过程包括：通过卷积注意力模块获取参考视图I
i
上像素p的权重信息w
...

【专利技术属性】
技术研发人员：周贵云，周祥，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：