一种基于重参数化和递归加权的实时双目立体匹配方法组成比例

本发明专利技术公开了一种基于重参数化和递归加权的实时双目立体匹配方法，其包括如下步骤：先通过使用参数共享的基于重参数化和分块卷积的特征提取模块获取输入图像对的特征细节，输出特征图，再通过得到的特征图进行分组，使用分好组的特征图分别计算多组的匹配置信度，得到多通道的成本体积。再采用互相关模块逐个计算通道之间的信息联系，最终获得精炼后的单通道成本体积，再使用视差不对称聚合网络对成本体积进行正则化，得到聚合后的成本体积，聚合后的成本体积经过视差回归得到视差图，重复上述步骤后经过相同但不同权重的成本聚合和视差回归后，通过插值得到最终全分辨率无信息冗余成本体积的高精度视差图。冗余成本体积的高精度视差图。冗余成本体积的高精度视差图。

【技术实现步骤摘要】
一种基于重参数化和递归加权的实时双目立体匹配方法


[0001]本专利技术涉及重参数化结构视觉提取的
，具体涉及一种基于重参数化和递归加权的实时双目立体匹配方法。

技术介绍

[0002]三维空间的深度感知是计算机视觉的一项重要分支，其通过不同的传感器感知三维环境中的物体几何信息，现已广泛应用于自动驾驶、增强现实和三维重建等领域。目前主流的感知方法是基于激光雷达设备的飞行时间法感知和基于光学扫描设备的结构光法感知，这些主流的方法感知精度较高，但硬件设备成本高昂。基于普通相机的立体视觉算法是今年来新兴的深度感知方法，其实现灵活且成本较低。其中双目立体视觉算法凭借类似于人眼的底层原理设计和快速且准确的感知性能成为了立体视觉的代表技术。
[0003]双目立体匹配技术的基本原理是通过双目相机获取场景的左右两张图像，通过匹配两图像中的像素计算视差图，然后根据视差来计算场景深度。传统双目立体匹配方法可大致分为全局方法和局部方法。全局方法通过匹配算法逐个像素计算匹配置信度以估计视差值；局部方法通过创建窗口并控制窗口移动的方式，计算局部的匹配置信度来完成整体的视差值估计。随着深度学习算法的发展和计算机硬件性能的提升，基于深度学习的双目立体匹配技术相较于传统全局或局部的匹配算法在精度和速度上已经实现了很大的提高。立体匹配网络主要包含四大步骤：特征提取、成本体积构建、成本聚合、视差回归。其中，特征提取、成本体积构建和成本聚合直接决定了图像每个空间像素的匹配置信度计算，进而直接绝对了网络的视差图预测精度与速度。然而，目前先进的立体匹配技术的大多数研究仅聚焦于立体匹配网络的精度优化。这些高精度网络往往有着复杂的网络结构和大量的卷积块堆叠，这使的网络的计算复杂度和内存占用较高，严重限制了网络部署的灵活性(只能部署在高性能、高能耗的计算机设备上)。
[0004]基于高精度网络部署难度高的问题，以AnyNet为代表的粗到细实时网络实现了网络在低功耗设备上的实时性部署。但是这也导致了其精度的下降，同时过多阶段的修正也影响了其推理的速度，具体缺陷包括：(1)特征提取的基本卷积块过于简单；(2)成本体积存在信息冗余；(3)成本聚合网络对视差维度的感知较弱；综上所述，已有的实时性算法无法在功能受限的设备上实现实时的高精度视差图输出。因此，本专利技术基于以上三个缺陷进行优化，在保证网络实时性的基础上，提高网络输出视差图的精度，以提高算法的实际应用价值。

技术实现思路

[0005]本专利技术基于人工智能安全领域中的目标检测对抗补丁不够自然，对抗扰动面积过大的问题，提供一种基于重参数化和递归加权的实时双目立体匹配方法，具体地针对目标检测大部分攻击还处在数字域攻击阶段，而在物理域的攻击中，为了实现攻击目标检测器的效果往往生成的对抗补丁都十分不自然，容易被人眼察觉，同时修改了攻击目标大部分
的扰动的问题，提出新的解决途径。
[0006]本专利技术的目的通过以下的技术方案实现：
[0007]一种基于重参数化和递归加权的实时双目立体匹配方法，包括如下步骤：
[0008]S1：获取输入图像的特征细节，并分别输出输入图像的1/4分辨率的特征图和1/8分辨率的特征图；
[0009]S2：将得到的1/8分辨率的特征图分为N个组，使用分组后的1/8分辨率的特征图分别计算N个组的匹配置信度，得到多通道的成本体积，逐个计算通道之间的信息联系，获得精炼后的单通道成本体积；
[0010]S3：使用视差不对称聚合网络对成本体积进行正则化，得到聚合后的成本体积；
[0011]S4：聚合后的成本体积经过视差回归得到1/8分辨率的视差图；
[0012]S5：将1/8分辨率的视差图进行插值得到粗糙的1/4分辨率的视差图，并使用该视差图与1/4分辨率的特征图对在进行固定的视差修正后构建精细的成本体积，再经过与步骤S3和S4相同步骤但不同权重的成本聚合和视差回归后，通过插值得到最终全分辨率的视差图；
[0013]S6：使用Smooth_L1函数计算S5输出的全分辨率视差图与数据集真实值的预测损失。
[0014]优选的，所述步骤步骤S1中，通过基于重参数化的特征提取模块和分块卷积的特征提取模块获取输入图像的特征细节，所述基于重参数化的特征提取模块的转换公式如下：
[0015][0016][0017][0018][0019]其中μ和σ分别代表输入BN层数据的均值和标准差；γ和β代表BN层的可学习参数；w'
i
和w
i
分别代表每个分支的转换后和转换前的卷积权重；b'
i
代表每个分支转换后的卷积偏置；W和B代表转换后的线性卷积总权重和总偏置,M表示模块的总分支数，i表示M个分支中的某一个单一分支。
[0020]更优的，所述分块卷积的特征提取模块使用步长与卷积核尺寸一致的卷积块。
[0021]优选的，所述步骤S2中，在得到了多通道成本体积后，为减少每个通道成本之间的信息冗余，采用计算每个通道成本相互之间的信息相关性来对每个通道信息进行加权，加权的权重采用卷积块进行学习。
[0022]更优的，所述对每个通道信息进行加权的具体实现方法为：假设存在N通道数的成本体积，第1个通道的成本体积与第2个通道的成本体积计算互相关信息，即两个通道成本体积的信息依赖程度，并通过线性卷积块计算权重做信息滤波，抑制重复的信息；并通过线
性卷积块计算权重做信息滤波，输出得到精炼后的成本体积，再通过精炼后的成本体积与第3个通道的成本体积计算互信息并滤波，以此类推直到完成全部N个通道的信息滤波，得到最终的单通道成本体积。
[0023]优选的，所述步骤S3中，视差不对称聚合网络包括多个5x5xN的不对称卷积块，其中N为所聚合成本体积的最大视差能级。
[0024]更优的，所述不对称卷积块包括5x5xN的分离3D卷积和1x1x1的3D卷积。
[0025]优选的，所述步骤S6中，设预测损失为x，则Smooth_L1函数损失计算公式为：
[0026][0027]计算Smooth_L1函数的梯度并反向传播，并通过Adam优化器调整权重和偏置。
[0028]本专利技术提供的基于重参数化和递归加权的实时双目立体匹配方法，与现有技术相比，还存在以下优点：
[0029](1)本专利技术提出了重参数化结构的特征提取网络。由于在实际应用中，反应网络运行效率的指标为推理速度。而重参数化方法可以使网络的训练结构与推理结构解耦。这意味着网络可以在训练时采用多分枝的残差结构网络全面的提取图像的细节特征，并在推理时将网络结构与参数进行转换，在保证精度不变的同时实现快速的推理。这种用于立体匹配的重参数化方法可以有效的提高网络的精度，同时不引入额外的计算。
[0030](2)本专利技术提出了通道互相关的多通道成本构建方法。与分组相关多通道成本体积构建方法类似，本方法将特征图进行分组，为每个视差能级生成多通道的视差候选，这些视差候选共同组成了多通道的成本体积。这种多通道的成本体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于重参数化和递归加权的实时双目立体匹配方法，其特征在于，包括如下步骤：S1：获取输入图像的特征细节，并分别输出输入图像的1/4分辨率的特征图和1/8分辨率的特征图；S2：将得到的1/8分辨率的特征图分为N个组，使用分组后的1/8分辨率的特征图分别计算N个组的匹配置信度，得到多通道的成本体积，逐个计算通道之间的信息联系，获得精炼后的单通道成本体积；S3：使用视差不对称聚合网络对成本体积进行正则化，得到聚合后的成本体积；S4：聚合后的成本体积经过视差回归得到1/8分辨率的视差图；S5：将1/8分辨率的视差图进行插值得到粗糙的1/4分辨率的视差图，并使用该视差图与1/4分辨率的特征图对在进行固定的视差修正后构建精细的成本体积，再经过与步骤S3和S4相同步骤但不同权重的成本聚合和视差回归后，通过插值得到最终全分辨率的视差图；S6：使用Smooth_L1函数计算步骤S5输出的全分辨率视差图与数据集真实值的预测损失。2.根据权利要求1所述的基于重参数化和递归加权的实时双目立体匹配方法，其特征在于，所述S1中，通过基于重参数化的特征提取模块和分块卷积的特征提取模块获取输入图像的特征细节，所述基于重参数化的特征提取模块的转换公式如下：图像的特征细节，所述基于重参数化的特征提取模块的转换公式如下：图像的特征细节，所述基于重参数化的特征提取模块的转换公式如下：图像的特征细节，所述基于重参数化的特征提取模块的转换公式如下：其中μ和σ分别代表输入BN层数据的均值和标准差；γ和β代表BN层的可学习参数；w'
i
和w
i
分别代表每个分支的转换后和转换前的卷积权重；b'
i
代表每个分支转换后的卷积偏置；W和B代表转换后的线性卷积总权重和总偏置,M表...

【专利技术属性】
技术研发人员：魏巍，姚博文，
申请(专利权)人：广州大学，
类型：发明
国别省市：