基于三分支混合特征提取的双目立体匹配方法及系统技术方案

本申请提供一种基于三分支混合特征提取的双目立体匹配方法及系统，将CNN分支、Swin Transformer分支、融合分支并联，保留了CNN分支的局部特征表征能力和Swin Transformer分支的全局特征表征能力及显示的全局信息关联关系；融合分支由多阶段的跨分支信息适配器组成，实现本阶段全局信息和局部信息的融合与表达，提高弱纹理区域和细节区域的匹配精度；通过自适应代价体通道信息强化和自适应代价体组别信息强化，可抑制冗余的语义信息和匹配特征信息，增加有效信息的表达；并通过自适应代价体通道信息强化以平衡不同代价体间的信息表达，得到通道信息强化混合代价体，提高立体匹配精度。匹配精度。匹配精度。

【技术实现步骤摘要】
基于三分支混合特征提取的双目立体匹配方法及系统


[0001]本申请属于计算机视觉
，具体涉及一种基于三分支混合特征提取的双目立体匹配方法。

技术介绍

[0002]双目立体匹配是计算机视觉和计算机图形学领域的一个基础性任务，其核心是基于视差原理计算左、右图像对应点的位置偏差，实现场景深度信息的获取。双目立体匹配方法成本低、易部署，且对场景具有较强的适应性，广泛地应用于三维重建、自动驾驶、虚拟现实等诸多领域。
[0003]相关技术中，双目立体匹配方法包括传统的立体匹配方法和基于深度学习的立体匹配方法两大类。传统的立体匹配方法利用人为手工设计的图像特征点进行匹配，匹配精度较低；基于深度学习的立体匹配方法在特征提取阶段采用卷积神经网络(Convolutional neural network, CNN)进行左、右图像特征提取，具有强大的数据学习能力和模型表征能力，匹配精度较高，但是存在如下缺陷：（1）CNN具有较强的局部感知能力，但存在感受野有限的问题，不能很好地建立全局信息的关联关系，对于弱纹理区域，该类区域中的像素点特征相似度高，有效的感受野易导致匹配错误；（2）CNN的卷积核在空间位置上具有权值共享的特性，不能动态响应输入信息的变化，易导致边缘等细节区域误匹配率高；（3）在代价体构建阶段将每个像素点在通道维度上的匹配代价视为同等重要，且将不同类型的代价体直接进行拼接，这会导致不必要的通道冗余，从而抑制有效通道代价体的表达，且不同类型的代价体之间难以有效地实现优势互补，从而导致最终的匹配精度下降。
[0004]因此，实有必要提供一种基于三分支混合特征提取的双目立体匹配方法，以解决上述
技术介绍
中提出的问题。

技术实现思路

[0005]本申请提供一种基于三分支混合特征提取的双目立体匹配方法及系统，将CNN分支、Swin Transformer分支、融合分支并联设计，保留了CNN的局部特征表征能力和Swin Transformer的全局特征表征能力及显示的全局信息关联关系；融合分支包括多阶段的跨分支信息适配器，不仅能有效地实现本阶段全局信息和局部信息的融合与表达，同时能有效地实现跨不同阶段的不同尺度的特征的传播，使网络自始至终都维持高频特征、低频特征表征，筛选出适用于弱纹理区域、细节区域的相关性强的特征信息，提高了弱纹理区域和细节区域像素点的匹配精度。
[0006]为解决上述技术问题，本申请的技术方案在于：本申请提供一种基于三分支混合特征提取的双目立体匹配方法，包括如下步骤：双目立体匹配网络构建：所述双目立体网络包括特征提取模块、代价体构建模块及视差回归模块，所述特征提取模块包括并联设置的CNN分支、Swin Transformer分支和融合分支；
特征提取：将左、右图像作为输入图像输入所述特征提取模块，由CNN分支和Swin Transformer分支分别提取局部特征和全局特征；特征融合：所述融合分支包括多个跨分支信息适配器，多个所述跨分支信息适配器在不同阶段对多尺度的局部特征和全局特征进行融合得到初始融合特征，在融合的任意阶段，对初始融合特征进行自适应通道信息强化及自适应空间位置信息强化，增加初始融合特征中全局信息在通道维度的表征能力，并为局部信息提供空间位置线索；然后根据输入特征类别的重要程度，采用类别信息强化以平衡不同分支类别特征的表达，得到输入图像的最终融合特征，实现局部特征、全局特征跨分支融合；将当前阶段的跨分支信息适配器输出的最终融合特征作为下一阶段跨分支信息适配器的输入，实现局部特征、全局特征跨尺度传播；代价体构建：将每个阶段的跨分支信息适配器输出的最终融合特征送入所述代价体构建模块，在每个视差平面上，将每个阶段左、右图像的最终融合特征正则化后进行拼接，构建拼接代价体，所述拼接代价体提供语义信息；使用分组相关方法将每个阶段左、右图像的最终融合构建分组相关代价体，所述分组相关代价体提供匹配特征信息；将所述拼接代价体和所述分组相关代价体分别通过自适应代价体通道信息强化和自适应代价体组别信息强化抑制冗余的语义信息和匹配特征信息，得到通道信息强化拼接代价体和组别信息强化分组相关代价体；将通道信息强化拼接代价体和组别信息强化分组相关代价体进行拼接，得到混合代价体，并通过自适应代价体通道信息强化平衡不同代价体间的信息表达，得到通道信息强化混合代价体；融合各个阶段的通道信息强化混合代价体得到融合多尺度信息的融合通道信息强化混合代价体，将所述融合通道信息强化混合代价体进行上采样，得到最终代价体；视差回归：将第1阶段的通道信息强化混合代价体经过正则化及三线性插值后，执行soft argmin操作输出第1层次的视差图；将融合通道信息强化混合代价体经过正则化及三线性插值后，执行soft argmin操作输出第2层次的视差图；将最终代价体执行soft argmin操作输出第3层次的视差图；模型训练：对所述双目立体匹配网络进行训练，训练完成后，采用所述双目立体匹配网络进行推理，输入左、右图像，输出第3层次视差图作为最终的视差。
[0007]优选的，特征融合的过程具体包括如下步骤：S11：将输入图像进行下采样及调整通道数后与CNN分支第1阶段提取到的特征和Swin Transformer分支第1阶段提取到的特征沿通道维度进行拼接，得到第1阶段的初始融合特征；S12：将经自适应通道信息强化、自适应空间位置信息强化及类别信息强化后，得到第1阶段的最终融合特征；S13：将进行下采样及调整通道数后与CNN分支第2阶段提取到的特征和Swin Transformer分支第2阶段提取到的特征沿通道维度进行拼接，得到第2阶段的初始融合特征；
S14：以此类推，将第i
‑
1阶段的最终融合特征进行下采样及调整通道数后与CNN分支第i阶段提取到的特征和Swin Transformer分支第i阶段提取到的特征沿通道维度进行拼接，得到第i阶段的初始融合特征；S15：将经自适应通道信息强化、自适应空间位置信息强化及类别信息强化后，得到第i阶段的最终融合特征。
[0008]优选的，自适应通道信息强化的过程包括如下步骤：S1211：将的信息通过二维自适应平均池化压缩为通道描述符；S1212：将建模通道间的依赖关系，得到通道响应强度描述符：；式中，、均表示大小为的二维卷积核的权值，表示ReLU激活函数，表示Sigmoid激活函数；S1213：以与为构建通道强化的融合特征：；式中，表示在空间位置、通道所对应的初始融合特征；表示在空间位置、通道对应的通道强化的融合特征；表示通道对应的通道响应强度；表示阈值，且。
[0009]优选的，自适应空间位置信息强化的过程包括如下步骤：S1221：将的信息建模得到空间位置响应强度描述符：；式中，、均表示大小为的二维卷积核的权值，表示ReLU激活函数，表示Sigmoid激活函数；S1222：以与构建通道与空间位置强化的融合特征：；式中，表示在空间位置、通道对应的通道与空间位置强化的融合特征；表示空间位置对应的空间位置响应强度。
[0010]优选的，类别信息强化的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三分支混合特征提取的双目立体匹配方法，其特征在于，包括如下步骤：双目立体匹配网络构建：所述双目立体网络包括特征提取模块、代价体构建模块及视差回归模块，所述特征提取模块包括并联设置的CNN分支、Swin Transformer分支和融合分支；特征提取：将左、右图像作为输入图像输入所述特征提取模块，由CNN分支和Swin Transformer分支分别提取局部特征和全局特征；特征融合：所述融合分支包括多个跨分支信息适配器，多个所述跨分支信息适配器在不同阶段对多尺度的局部特征和全局特征进行融合得到初始融合特征，在融合的任意阶段，对初始融合特征进行自适应通道信息强化及自适应空间位置信息强化，增加初始融合特征中全局信息在通道维度的表征能力，并为局部信息提供空间位置线索；然后根据输入特征类别的重要程度，采用类别信息强化以平衡不同分支类别特征的表达，得到输入图像的最终融合特征，实现局部特征、全局特征跨分支融合；将当前阶段的跨分支信息适配器输出的最终融合特征作为下一阶段跨分支信息适配器的输入，实现融合特征跨尺度传播；代价体构建：将每个阶段的跨分支信息适配器输出的最终融合特征送入所述代价体构建模块，在每个视差平面上，将每个阶段左、右图像的最终融合特征正则化后进行拼接，构建拼接代价体，所述拼接代价体提供语义信息；使用分组相关方法以每个阶段左、右图像的最终融合特征构建分组相关代价体，所述分组相关代价体提供匹配特征信息；将所述拼接代价体和所述分组相关代价体分别通过自适应代价体通道信息强化和自适应代价体组别信息强化抑制冗余的语义信息和匹配特征信息，得到通道信息强化拼接代价体和组别信息强化分组相关代价体；将通道信息强化拼接代价体和组别信息强化分组相关代价体进行拼接，得到混合代价体，并通过自适应代价体通道信息强化平衡不同代价体间的信息表达，得到通道信息强化混合代价体；融合各个阶段的通道信息强化混合代价体得到融合多尺度信息的融合通道信息强化混合代价体，将所述融合通道信息强化混合代价体进行上采样，得到最终代价体；视差回归：将第1阶段的通道信息强化混合代价体经过正则化及三线性插值后，执行soft argmin操作输出第1层次的视差图；将融合通道信息强化混合代价体经过正则化及三线性插值后，执行soft argmin操作输出第2层次的视差图；将最终代价体执行soft argmin操作输出第3层次的视差图；模型训练：对所述双目立体匹配网络进行训练，训练完成后，采用所述双目立体匹配网络进行推理，输入左、右图像，输出第3层次视差图作为最终的视差。2.根据权利要求1所述的基于三分支混合特征提取的双目立体匹配方法，其特征在于，特征融合的过程具体包括如下步骤：S11：将输入图像进行下采样及调整通道数后与CNN分支第1阶段提取到的特征和Swin Transformer分支第1阶段提取到的特征沿通道维度进行拼接，得到第1阶段的初始融合特征；S12：将经自适应通道信息强化、自适应空间位置信息强化及类别信息强化后，得到第1阶段的最终融合特征；
S13：将进行下采样及调整通道数后与CNN分支第2阶段提取到的特征和Swin Transformer分支第2阶段提取到的特征沿通道维度进行拼接，得到第2阶段的初始融合特征；S14：以此类推，将第i
‑
1阶段的最终融合特征进行下采样及调整通道数后与CNN分支第i阶段提取到的特征和Swin Transformer分支第i阶段提取到的特征沿通道维度进行拼接，得到第i阶段的初始融合特征；S15：将经自适应通道信息强化、自适应空间位置信息强化及类别信息强化后，得到第i阶段的最终融合特征。3.根据权利要求2所述的基于三分支混合特征提取的双目立体匹配方法，其特征在于，自适应通道信息强化的过程包括如下步骤：S1211：将的信息通过二维自适应平均池化压缩为通道描述符；S1212：将建模通道间的依赖关系，得到通道响应强度描述符：；式中，、均表示大小为的二维卷积核的权值，表示ReLU激活函数，表示Sigmoid激活函数；S1213：以与为构建通道强化的融合特征：；式中，表示在空间位置、通道所对应的初始融合特征；表示在空间位置、通道对应的通道强化的融合特征；表示通道对应的通道响应强度；表示阈值，且。4.根据权利要求3所述的基于三分支混合特征提取的双目立体匹配方法，其特征在于，自适应空间位置信息强化的过程包括如下步骤：S1221：将的信息建模得到空间位置响应强度描述符：；式中，、均表示大小为的二维卷积核的权值，表示ReLU激活函数，表示Sigmoid激活函数；S1222：以与构建通道与空间位置强化的融合特征：
；式中，表示在空间位置、通道对应的通道与空间位置强化的融合特征；表示空间位置对应的空间位置响应强度； 表示阈值，且。5.根据权利要求4所述的基于三分支混合特征提取的双目立体匹配方法，其特征在于，类别信息强化的过程包括如下步骤：S1231：将的信息通过二维自适应平均池化压缩为类别描述符；S1232：将建模得到类别响应强度描述符：；式中，、均表示大小为的二维卷积核的权值，表示ReLU激活函数，表示Sigmoid激活函数；S1233：将沿通道维度进行切片操作，得到、、；S1234：将沿通道维度，按照跨分支信息适配器的输入特征类别进行切片操作，得到、、；S1235：以、、与、、构建第i阶段的最终融合特征：；式中，表示哈达玛积。6.根据权利要求5所述的基于三分支混合特征提取的双目立体匹配方法，其特征在于，通道信息强化拼接代价体的构建过程包括如下步骤：S211：在每个视差平面上，将每个提取阶段左、右图像的最终融合特征、通过多层二维卷积层、非线性层、批量归一化层进行正则化，得到经正则化的左、右图像的最终融合特征、，再拼接构成代价体：；式中，||...

【专利技术属性】
技术研发人员：孙炜，范诗萌，覃业宝，胡曼倩，
申请(专利权)人：湖南大学，
类型：发明
国别省市：