【技术实现步骤摘要】
本专利技术涉及立体匹配领域与深度学习技术，具体涉及一种基于改进cfnet的双目立体匹配方法。
技术介绍
1、立体匹配方法旨在从一对经过校正的立体图像中构造视差图，并且在自动驾驶、目标检测、机器人技术以及三维场景重建等领域有广泛的应用。通过立体匹配实现准确的视差估计对于提升自主系统的安全性、效率和决策能力非常关键。因此，针对立体匹配的大量研究致力于通过探索各种技术进一步提高其准确性。
2、传统的立体匹配方法分为全局方法与半全局方法两大类。全局方法基于平滑性假设构造全局能量函数，并利用最优化方法求解能量函数的最小值点。该方法运算量大、用时长、实时性差。半全局方法利用局部信息，通过计算特定大小匹配窗口内的总匹配代价，利用赢家通吃(winner take all,wta)策略查找最小值最终得到视差值。该方法受窗口大小影响较大，窗口过小会造成无法包含物体的全部纹理信息产生多义性，窗口过大则会在深度非连续区域产生膨胀效应，且增大计算量。
3、在过去十年中，卷积神经网络(cnns)因其从原始图像中自动学习层次化特征的卓越能力，在计算机视觉任务中得到广泛应用。cnns在端到端立体匹配框架中的应用取得了显著进展，优于传统立体匹配方法。2015年，jure zbontar和yann lecun首次将cnns引入立体匹配，通过设计深层siamese网络计算匹配代价，然后利用9×9图块学习图块相似性，精度高于传统方法。amit shaked和lior wolf于2017年提出了一个高速网络去计算匹配代价和一个全局的视差网络来预测
4、然而，许多现有的立体匹配网络在提取准确特征方面面临挑战，往往不能提取出富含丰富结构信息的特征图；而且当前的立体匹配网络在代价聚合阶段往往难以有效提取代价卷中的结构信息；此外，当前多数网络视差细化模块往往由于构建卷积神经网络导致视差过度平滑。
5、例如，专利2022103753661公开一种基于多尺度特征提取和自适应聚合的双目立体匹配方法，在代价聚合后再融合代价卷，容易造成有效信息的丢失，并且细化模块采用卷积神经网络造成视差图的过度平滑，影响立体匹配的准确性。专利2022108273228公开一种双目视觉立体匹配网络系统及其构建方法，使用的resnet网络对于特征提取效率不高，且计算量偏大，最终输出的视差图精度较低、耗时较长。专利202210794705x公开一种基于双边网格学习和边缘损失的双目立体匹配方法，先是计算低分辨率的代价卷，再经过多次上采样的方式恢复到原始分辨率，过程中易丢失细节，影响立体匹配的效果。专利2023110157770公开一种基于多尺度代价卷的立体匹配方法及计算机存储介质，该技术方案仅将语义信息融入到二维的特征图中，在构建代价卷时并没有很好地利用好提取出的信息，导致代价卷含有的结构信息不够丰富，限制了匹配精度。
技术实现思路
1、专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种基于改进cfnet的双目立体匹配方法，本专利技术使用的特征提取网络能够提取信息更丰富的特征图，同时有效地利用了特征图信息来丰富代价卷，使其富含几何和结构信息，从而优化代价聚合。此外，本专利技术优化了视差细化模块，利用代价自重组的方式取代现有方法中的卷积网络，减少了视差平滑的现象。
2、技术方案：本专利技术的一种基于改进cfnet的双目立体匹配方法，包括以下步骤：
3、步骤1、构建特征提取网络，将分辨率为h*w*3的原始左图像和原始右图像输入该特征提取网络以提取多尺度特征图；所述特征提取网络基于efficientnetv2-m网络模型，对其编码器和解码器进行改进调整，先使用改进后的编码器对原图像进行下采样至原图像1/32分辨率，然后使用改进后的解码器逐步上采样至原图像1/2分辨率，进而得到多尺度特征图；
4、步骤2、构建和融合多尺度代价卷；
5、将步骤1所得多尺度特征图分别通过分组相关和串联方法来构建代价卷，将所得两种代价卷拼接融合得到1/4、1/8、1/16三个不同尺度的结合代价卷，再将这三个代价卷融合成统一分辨率的代价卷，该融合后的代价卷大小为1/4d*1/4h*1/4w*32，32是指该代价卷的通道数；
6、步骤3、将代价卷输入引导型代价激励聚合模块中，引导型代价激励聚合模块包括一个3d沙漏聚合网络，利用特征生成引导权重过滤代价卷，聚合过程中每一次尺度变化后均加入3d沙漏聚合网络，用于引导代价聚合；
7、步骤4、使用代价自重组csr策略计算原图像各像素点的偏移，调整聚合过的代价卷中的代价分布，然后利用视差回归得初始视差图；
8、步骤5、构建级联代价卷并联合初始视差图以一个由粗到细的方式细化视差，得到细化后的最终视差图；具体方法为：
9、先利用初始视差图计算不确定性估计，然后结合步骤1特征提取中得到的1/4原图分辨率大小的特征图构建代价卷，并聚合该代价卷，利用视差回归得到中间视差图；接着，构造1/2原图分辨率的代价卷，从而构建出级联代价卷，以一个由粗到细的方式细化视差得到最终视差图。
10、进一步地，所述步骤1提取多尺度特征图过程中，原始左图像和原始右图像实施参数共享；同时保留中间阶段特征，包括1/16、1/8、1/4和1/2原图分辨率处的特征。
11、进一步地，所述步骤2构造代价卷时，利用1/16、1/8和1/4三个不同分辨率的特征图分别构建对应尺度的分组相关和串联的代价卷，并将两种代价卷拼接融合，得到3个尺度的结合代价卷；然后，利用3d卷积以一个编码器-解码器的形式融合3个分辨率的代价卷到1/4原图分辨率大小，融合后代价卷大小为1/4d*1/4h*1/4w*32。如图1和图2所示，本专利技术在构建代价卷时，利用上一级的不确定性估计得到的视差图与特征提取得到的左右特征图再次构建更大尺度代价卷，用于三维卷积。
12、进一步地，步骤3使用引导型代价激励聚合模块获得初始视差图的具体方法为：
13、对于步骤2所得的融合后的代价卷，通过提取相应尺度上的特征图来进行引导型代价卷激励；
14、然后，将特征图送入一个3d沙漏聚合网络，为每个像素生成c个权重，便于对初始代价卷进行过滤；
15、在尺度s上，引导型代价卷激励表示为：
16、aguid本文档来自技高网...
【技术保护点】
1.一种基于改进CFNet的双目立体匹配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于改进CFNet的双目立体匹配方法，其特征在于，所述步骤1提取多尺度特征图过程中，原始左图像和原始右图像实施参数共享；同时保留中间阶段特征，包括1/16、1/8、1/4和1/2原图分辨率处的特征。
3.根据权利要求1所述的基于改进CFNet的双目立体匹配方法，其特征在于，所述步骤2构造代价卷时，利用3个不同分辨率的特征图分别构建对应尺度的分组相关和串联的代价卷，并将两种代价卷拼接融合，得到3个尺度的结合代价卷，然后，利用3D卷积以一个编码器-解码器的形式融合3个分辨率的代价卷到统一分辨率，得到融合代价卷；
4.根据权利要求1所述的基于改进CFNet的双目立体匹配方法，其特征在于，所述步骤3使用引导型代价激励聚合模块获得初始视差图的具体方法为：
5.根据权利要求1所述的基于改进CFNet的双目立体匹配方法，其特征在于，所述步骤4代价自重组CSR策略的具体执行过程为：
6.根据权利要求5所述的基于改进CFNet的双目立体匹配方
...【技术特征摘要】
1.一种基于改进cfnet的双目立体匹配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于改进cfnet的双目立体匹配方法，其特征在于，所述步骤1提取多尺度特征图过程中，原始左图像和原始右图像实施参数共享；同时保留中间阶段特征，包括1/16、1/8、1/4和1/2原图分辨率处的特征。
3.根据权利要求1所述的基于改进cfnet的双目立体匹配方法，其特征在于，所述步骤2构造代价卷时，利用3个不同分辨率的特征图分别构建对应尺度的分组相关和串联的代价卷，并将两种代价卷拼接融合，得到...
【专利技术属性】
技术研发人员：袁康，高伟，蔡咏杰，许振兴，刘湘雯，
申请(专利权)人：江苏大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。