一种基于不确定性的多阶段稠密重建方法及装置制造方法及图纸

本申请公开了一种基于不确定性的多阶段稠密重建方法及装置，该方法包括：获取多张原始图像；通过基于空洞卷积的多尺度特征提取网络生成每张原始图像的多个尺度的特征图；根据原始图像的多个尺度的特征图，确定每个参考图像对应的多个源图像的多个尺度的特征体；提取顶层尺度参考图像特征和源图像特征，进行单应性变换构造代价体并进行正则化；使用熵映射生成不确定性图，加权融合不确定性图和代价体，生成第一尺度的粗略深度图；使用高斯牛顿迭代法求解其余尺度的深度增量，将深度增量增加到前一尺度的粗略深度图上，在达到预设的轮数后得到底层尺度的精炼深度图。本申请公开的方法在增加少量计算量的情况下解决弱纹理表面重建效果差的问题。建效果差的问题。建效果差的问题。

【技术实现步骤摘要】
一种基于不确定性的多阶段稠密重建方法及装置


[0001]本申请涉及遥感测绘地理信息
，尤其涉及一种基于不确定性的多阶段稠密重建方法及装置。

技术介绍

[0002]随着科学技术的日新月异，计算机视觉的应用日益受到各行业的关注和重视，如设备检测与监视、医学图像处理、文物保护、机器人视觉、自动导航、工业产品外观设计与生产等领域。计算机视觉技术为人们带来了机遇，也带来了挑战。三维重建作为计算机视觉技术中最为热门的研究方向之一，涉及到包括图像处理、立体视觉、模式识别等多个学科体系。随着工业化进程的不断发展，多种技术的实现均有赖于目标物体三维信息的获取，而稠密重建作为三维重建中不可或缺的一部分，亦是引起了广大学者的关注与研究。
[0003]稠密重建即多视图立体几何，目的是在相机位姿已知的前提下，逐个像素地计算图像中每一个像素点对应的三维点，得到场景物体表面密集的三维点云。稠密重建算法旨在从多幅图像中获取真实场景的三维稠密点云模型，目前通常使用人工计算的相似性度量和光度一致性来对深度图进行估计并获得三维稠密点云。
[0004]稠密重建的方法主要有三种：基于体素的方法、基于点云的方法和基于深度图融合的方法。基于深度图融合的方法又分为传统的深度图融合的方法和基于学习的深度图融合的方法，其中，传统的方法包括OpenMVS、Colmap等，基于学习的方法包括VIS
‑
MVSNet、CVP
‑
MVSNet等。
[0005]现有的方法在理想的朗伯场景和无弱纹理区域的场景中可以达到较好的效果，但是在弱纹理区域提取表面特征存在困难并且难以兼顾多尺度信息，人工计算的相似性度量指标变得不可信，进而导致图像的稠密重建结果不完整。

技术实现思路

[0006]在本申请实施例中，通过提供一种基于不确定性的多阶段稠密重建方法及装置，能够在弱纹理区域提取表面特征并且兼顾多尺度信息，在增加少量计算量的情况下解决了弱纹理表面重建效果差的问题，从而使图像的稠密重建结果完整。
[0007]第一方面，本申请实施例提供了一种基于不确定性的多阶段稠密重建方法，该方法包括：获取多张原始图像；其中，所述原始图像包括参考图像和源图像；通过基于空洞卷积的多尺度特征提取网络生成每张所述原始图像的多个尺度的特征图；根据所述原始图像的多个尺度的所述特征图，确定每个所述参考图像对应的多个所述源图像的多个尺度的特征体；提取顶层尺度所述参考图像特征和所述源图像特征，进行单应性变换构造代价体并对所述代价体进行正则化；使用熵映射生成不确定性图，加权融合所述不确定性图和所述代价体，生成第一尺度的粗略深度图；使用高斯牛顿迭代法求解其余尺度的深度增量，将所述深度增量增加到前一尺度的粗略深度图上，在达到预设的轮数后得到底层尺度的精炼深度图。
[0008]结合第一方面，在一种可能的实现方式中，在所述获取多张原始图像之前还包括：输入深度学习数据集，构造所述基于空洞卷积的多尺度特征提取网络。
[0009]结合第一方面，在一种可能的实现方式中，所述基于空洞卷积的多尺度特征提取网络包含有普通卷积和多个不同参数的空洞卷积；所述生成第一尺度的粗略深度图包括：将所述基于空洞卷积的多尺度特征提取网络中的所述普通卷积和多个不同参数的所述空洞卷积通过加操作输出所述第一尺度的粗略深度图的特征。
[0010]结合第一方面，在一种可能的实现方式中，所述使用高斯牛顿迭代法求解其余尺度的深度增量包括：通过拼接操作输出通过所述使用高斯牛顿迭代法求解其余尺度的深度增量。
[0011]结合第一方面，在一种可能的实现方式中，还包括：在所述加操作和所述拼接操作之后使用所述普通卷积来降低由于进行卷积所产生的通道数。
[0012]结合第一方面，在一种可能的实现方式中，所述对所述代价体进行正则化所使用的网络为3D
‑
UNet网络。
[0013]第二方面，本申请实施例提供了一种基于不确定性的多阶段稠密重建装置，该装置包括：获取模块，用于获取多张原始图像；其中，所述原始图像包括参考图像和源图像；特征图生成模块，用于通过基于空洞卷积的多尺度特征提取网络生成每张所述原始图像的多个尺度的特征图；特征体确定模块，用于根据所述原始图像的多个尺度的所述特征图，确定每个所述参考图像对应的多个所述源图像的多个尺度的特征体；代价体正则化模块，用于提取顶层尺度所述参考图像特征和所述源图像特征，进行单应性变换构造代价体并对所述代价体进行正则化；生成粗略深度图模块，用于使用熵映射生成不确定性图，加权融合所述不确定性图和所述代价体，生成第一尺度的粗略深度图；得到精炼深度图模块，用于使用高斯牛顿迭代法求解其余尺度的深度增量，将所述深度增量增加到前一尺度的粗略深度图上，在达到预设的轮数后得到底层尺度的精炼深度图。
[0014]结合第二方面，在一种可能的实现方式中，在所述获取多张原始图像之前所述装置还包括：输入模块，用于输入深度学习数据集，构造所述基于空洞卷积的多尺度特征提取网络。
[0015]结合第二方面，在一种可能的实现方式中，所述基于空洞卷积的多尺度特征提取网络包含有普通卷积和多个不同参数的空洞卷积；所述生成第一尺度的粗略深度图包括：将所述基于空洞卷积的多尺度特征提取网络中的所述普通卷积和多个不同参数的所述空洞卷积通过加操作输出所述第一尺度的粗略深度图的特征。
[0016]结合第二方面，在一种可能的实现方式中，得到精炼深度图模块具体用于：通过拼接操作输出通过所述使用高斯牛顿迭代法求解其余尺度的深度增量。
[0017]结合第二方面，在一种可能的实现方式中，所述装置还包括：降低通道数模块，用于在所述加操作和所述拼接操作之后使用所述普通卷积来降低由于进行卷积所产生的通道数。
[0018]结合第二方面，在一种可能的实现方式中，所述对所述代价体进行正则化所使用的网络为3D
‑
UNet网络。
[0019]第三方面，本申请实施例提供了一种基于不确定性的多阶段稠密重建服务器，包括存储器和处理器；所述存储器用于存储计算机可执行指令；所述处理器用于执行所述计
算机可执行指令，以实现第一方面或第一方面任一种可能的实现方式所述的方法。
[0020]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有可执行指令，计算机执行所述可执行指令时能够实现以实现第一方面或第一方面任一种可能的实现方式所述的方法。
[0021]本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果：
[0022]本申请实施例提供了一种基于不确定性的多阶段稠密重建方法，该方法在实施时，通过基于空洞卷积的多尺度特征提取网络，使用熵映射生成不确定性图，然后加权融合不确定性图和代价体，并使用高斯牛顿迭代法求解其余尺度的深度增量，将深度增量增加到前一尺度的粗略深度图上，得到底层尺度的精炼深度图。解决了弱纹纹理区域提取表面特征存在困难并且难以兼顾多尺度信息的问题，从而使图像的稠密重建结果完整。...

【技术保护点】

【技术特征摘要】
1.一种基于不确定性的多阶段稠密重建方法，其特征在于，包括：获取多张原始图像；其中，所述原始图像包括参考图像和源图像；通过基于空洞卷积的多尺度特征提取网络生成每张所述原始图像的多个尺度的特征图；根据所述原始图像的多个尺度的所述特征图，确定每个所述参考图像对应的多个所述源图像的多个尺度的特征体；提取顶层尺度所述参考图像特征和所述源图像特征，进行单应性变换构造代价体并对所述代价体进行正则化；使用熵映射生成不确定性图，加权融合所述不确定性图和所述代价体，生成第一尺度的粗略深度图；使用高斯牛顿迭代法求解其余尺度的深度增量，将所述深度增量增加到前一尺度的粗略深度图上，在达到预设的轮数后得到底层尺度的精炼深度图。2.根据权利要求1所述的方法，其特征在于，在所述获取多张原始图像之前还包括：输入深度学习数据集，构造所述基于空洞卷积的多尺度特征提取网络。3.根据权利要求1所述的方法，其特征在于，所述基于空洞卷积的多尺度特征提取网络包含有普通卷积和多个不同参数的空洞卷积；所述生成第一尺度的粗略深度图包括：将所述基于空洞卷积的多尺度特征提取网络中的所述普通卷积和多个不同参数的所述空洞卷积通过加操作输出所述第一尺度的粗略深度图的特征。4.根据权利要求3所述的方法，其特征在于，所述使用高斯牛顿迭代法求解其余尺度的深度增量包括：通过拼接操作输出通过所述使用高斯牛顿迭代法求解其余尺度的深度增量。5.根据权利要求4所述的方法，其特征在于，还包括：在所述加操作和所述拼接操作之后使用所述普通卷积来降低由于进行卷积...

【专利技术属性】
技术研发人员：黄乐，殷崎栋，仇艺伟，秦林珍，王江安，
申请(专利权)人：土豆数据科技集团有限公司，
类型：发明
国别省市：