基于混合2D卷积和伪3D卷积的立体匹配方法组成比例

本发明专利技术涉及计算机视觉领域，具体涉及一种基于混合2D卷积和伪3D卷积的立体匹配方法(HybridNet)；其方法包括以下步骤：基于预设参数提取图像特征，得到特征图；基于特征图生成代价卷；通过PSMNet结构得到代价聚合后的代价卷；最后通过视差回归得到初始视差图；通过初始视差图得到残差代价卷，残差聚合后得到视差残差优以化初始视差图；其中，在PSMNet结构和残差聚合中将3D卷积换成混合2D卷积和伪3D卷积的组合；对视差图采用CSPNet的方法进行深度图优化；结合2D卷积来近似实现3D卷积的功能，这种数据切换操作不含可学习的参数以及不会产生计算量；本发明专利技术的混合2D卷积以及伪3D卷积的代价聚合方式可以在微小的精度损失的情况下，极大的降低现有模型的计算量。

【技术实现步骤摘要】
基于混合2D卷积和伪3D卷积的立体匹配方法
本专利技术涉及计算机视觉领域，具体而言，涉及一种基于混合2D卷积和伪3D卷积的立体匹配方法。
技术介绍
立体匹配作为立体视觉的基础任务可以被广泛运用到自动驾驶，三维重建，虚拟现实等领域。通过计算经立体校正之后的左右视图的视差，可以通过相似三角形的等比关系计算目标的距离。相比于一些常见的主动距离探测传感器如激光雷达，双目立体相机的优势在于可以获取稠密的深度图，同时成本也远低于主动式传感器。在传统的立体匹配算法中，计算左右视图的视差主要分为以下四步：代价计算，代价聚合，视差计算，视差优化。传统的立体匹配算法常面临着视差准确率不高以及计算量大的问题。近年来，卷积神经网络(Convolutionalneuralnetworks，简称CNNs)在双目立体匹配上取得了很大的进展。通过卷积神经网络，将双目图像进行特征提取降采样，在进行视差聚合与计算可以显著的降低计算量。现阶段，神经网络代价聚合部分通常采用3D卷积可以有效地代价聚合，实现准确的视差回归计算。但是3D卷积的计算量较大，非常不利于在一些实时应用上本文档来自技高网...

【技术保护点】
1.基于混合2D卷积和伪3D卷积的立体匹配方法，其特征在于，包括以下步骤：/n基于预设参数提取图像特征，得到特征图；/n基于所述特征图生成代价卷；/n通过PSMNet结构代价聚合得到代价聚合后的代价卷，通过视差回归得到初始视差图；其中，在PSMNet结构中将3D卷积换成混合2D卷积和伪3D卷积的组合；/n通过初始视差生成残差代价卷，通过残差代价聚合，得到视差残差优化初始视差图；其中，残差代价聚合的3D卷积换成混合2D卷积和伪3D卷积的组合；/n对优化的视差图采用CSPNet的方法进行深度图进一步优化。/n

【技术特征摘要】
1.基于混合2D卷积和伪3D卷积的立体匹配方法，其特征在于，包括以下步骤：
基于预设参数提取图像特征，得到特征图；
基于所述特征图生成代价卷；
通过PSMNet结构代价聚合得到代价聚合后的代价卷，通过视差回归得到初始视差图；其中，在PSMNet结构中将3D卷积换成混合2D卷积和伪3D卷积的组合；
通过初始视差生成残差代价卷，通过残差代价聚合，得到视差残差优化初始视差图；其中，残差代价聚合的3D卷积换成混合2D卷积和伪3D卷积的组合；
对优化的视差图采用CSPNet的方法进行深度图进一步优化。


2.根据权利要求1所述的基于混合2D卷积和伪3D卷积的立体匹配方法，其特征在于，所述方法还包括采用PSMNet的沙漏结构的版本通过视差回归得到初始视差图，并将其3D卷积换成本发明提出的混合2D卷积与伪3D卷积组合。


3.根据权利要求1所述的基于混合2D卷积和伪3D卷积的立体匹配方法，其特征在于，对代价卷采用深度切换方式及2D卷积公式代价聚合，在所述深度切换方式的基础上采用所述2D卷积与所述伪3D卷积间隔排列的方式。


4.根据权利要求1所述的...

【专利技术属性】
技术研发人员：陈世峰，甘万水，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东;44