双目立体视觉匹配网络构建方法及双目立体视觉匹配方法组成比例

本发明专利技术公开了双目立体视觉匹配网络构建方法及双目立体视觉匹配方法，属于双目立体视觉匹配领域，包括：收集左图

【技术实现步骤摘要】
双目立体视觉匹配网络构建方法及双目立体视觉匹配方法


[0001]本专利技术属于双目立体视觉匹配领域，更具体地，涉及双目立体视觉匹配网络构建方法及双目立体视觉匹配方法
。

技术介绍

[0002]立体视觉在计算机视觉中扮演了重要角色，在实际应用中，双目立体视觉技术成为了当前现有的重点和热点
。
双目立体视觉的本质就是通过两个摄像机在同一个环境下获取物体的二维平面图像，即左图和右图，并通过二维平面图像信息提取空间三维信息，实现对物体形状
、
大小和位置等方面的理解，因此广泛地应用于机器人导航
、
非接触式测量，医学影像处理
、
三维重建等领域
。
[0003]立体视觉匹配的主要目的是对双目相机拍摄的两张图像找到一对一的对应点，对其进行匹配，从而得到对应点的视差，在匹配过程中，通常会把左图当做参考图像，将右图作为待匹配图像对其进行搜索匹配出对应关系
。
[0004]传统立体匹配采用特征提取算法通常只能识别简单的形状和纹理特征，不能很好地处理复杂的场景和光照变化等问题，导致在实际应用中的性能表现不佳
。
随着深度学习的发展和大数据的支撑，立体匹配的性能有了很大提升
。
但是，在复杂多变的实际场景下，当前的立体视觉技术往往难以准确实现边缘和遮挡区域的匹配，因此存在着精度和可靠性方面的不足
。

技术实现思路

[0005]针对现有技术的缺陷和改进需求，本专利技术提供了双目立体视觉匹配网络构建方法及双目立体视觉匹配方法，其目的在于，引入视差边缘信息指导双目立体视觉匹配，使得在复杂多变的实际场景下也能准确实现边缘和遮挡区域的匹配，提高匹配精度和可靠性
。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种双目立体视觉匹配网络构建方法，包括：
[0007]收集左图
、
右图及相应的视差图构建数据集，建立待训练的立体匹配网络后，利用数据集对待训练的立体匹配网络进行训练和测试，得到用于估计左图和右图间视差图的双目立体视觉匹配网络；
[0008]立体匹配网络包括：视差边缘预测分支和视差估计主干网络；
[0009]视差边缘预测分支用于对图像进行视差边缘预测，得到相应的视差边缘预测图；
[0010]视差估计主干网络包括：
[0011]代价立方体构建子网络，用于构建待匹配的左图和右图之间的代价立方体；待匹配的左图和右图中，一幅为参考图像，另一幅为待匹配图像；
[0012]代价聚合模块，用于对代价立方体进行正则化，得到聚合代价体；
[0013]聚合代价优化模块，用于按照视差边缘预测分支预测输出的参考图像的视差边缘预测图识别聚合代价体的边缘区域并进行抑制，得到优化后的聚合代价体；
[0014]以及视差回归模块，用于将优化后的聚合代价体上采样至与参考图像尺寸一致后对其进行回归，得到视差图
。
[0015]进一步地，聚合代价优化模块按照如下公式对聚合代价体的边缘区域进行抑制：
[0016]C
new
(x,y)
＝
C(x,y)
×
(2
‑
P(x,y))
[0017]其中，
C
new
为优化后的聚合代价体，
C
为聚合代价体，
P
为参考图像的视差边缘预测图，
(x,y)
表示像素坐标
。
[0018]进一步地，代价立方体构建子网络包括：
[0019]左图低尺度特征提取模块，用于对左图进行原尺度特征提取，得到左图的低尺度特征；
[0020]左图高尺度特征提取模块，用于对左图的低尺度特征进行空间金字塔池化操作，得到左图的高尺度特征；
[0021]左图特征融合模块，用于将左图的低尺度特征和高尺度特征进行加权融合，得到左图的融合特征；融合时，低尺度特征在边缘区域具有较高的权重，高尺度特征在非边缘区域具有较高的权重，边缘区域和非边缘区域依据视差边缘预测分支预测输出的左图的视差边缘预测图确定；
[0022]右图低尺度特征提取模块，用于对右图进行原尺度特征提取，得到右图的低尺度特征；
[0023]右图高尺度特征提取模块，用于对右图的低尺度特征进行空间金字塔池化操作，得到右图的高尺度特征；
[0024]右图特征融合模块，用于将右图的低尺度特征和高尺度特征进行加权融合，得到右图的融合特征；融合时，低尺度特征在边缘区域具有较高的权重，高尺度特征在非边缘区域具有较高的权重，边缘区域和非边缘区域依据视差边缘预测分支预测输出的右图的视差边缘预测图确定；
[0025]以及代价体构建模块，用于按照预定的最大视差值，在每个视差水平上将左图的融合特征和右图的融合特征进行连接，得到左图和右图之间的代价立方体
。
[0026]进一步地，左图特征融合模块按照如下公式将左图的低尺度特征和高尺度特征进行加权融合：
[0027][0028]右图特征融合模块按照如下公式将右图的低尺度特征和高尺度特征进行加权融合：
[0029][0030]其中，
F
new
_
l
和
F
new
_
r
分别表示左图和右图的融合特征，
F
low
_
l
和
F
low
_
r
分别表示左图和右图的低尺度特征，
F
high
_
l
和
F
high
_
r
分别表示左图和右图的高尺度特征，
P
l
和
P
r
分别表示左图和右图的视差边缘预测图，
(x,y)
表示像素坐标
。
[0031]进一步地，视差边缘预测分支包括：
[0032]2D
卷积模块，用于提取输入图像的浅层特征；
[0033]多尺度特征提取模块，用于对浅层特征执行不同尺度的空间金字塔池化操作，得到多个尺度的深层特征；
[0034]上采样模块，用于将各个尺度下的深层特征上采样至与输入图像尺寸一致；
[0035]特征融合模块，用于将上采样模块输出的各个特征图级联后进行卷积操作，得到单通道的边缘特征；
[0036]以及边缘回归模块，用于将边缘特征中的像素值回归到
[0,1]范围内，得到视差边缘预测图
。
[0037]进一步地，利用数据集对待训练的立体匹配网络进行训练和测试，包括：
[0038]对数据集中的视差图进行边缘检测，得到视差边缘图，与对应左图和右图构成边缘检测样本集；
[0039]利用边缘检测样本集对立体匹配网络中的视差边缘预测分支进行训练和测试；
...

【技术保护点】

【技术特征摘要】
1.
一种双目立体视觉匹配网络构建方法，其特征在于，包括：收集左图
、
右图及相应的视差图构建数据集，建立待训练的立体匹配网络后，利用所述数据集对所述待训练的立体匹配网络进行训练和测试，得到用于估计左图和右图间视差图的双目立体视觉匹配网络；所述立体匹配网络包括：视差边缘预测分支和视差估计主干网络；所述视差边缘预测分支用于对图像进行视差边缘预测，得到相应的视差边缘预测图；所述视差估计主干网络包括：代价立方体构建子网络，用于构建待匹配的左图和右图之间的代价立方体；待匹配的左图和右图中，一幅为参考图像，另一幅为待匹配图像；代价聚合模块，用于对所述代价立方体进行正则化，得到聚合代价体；聚合代价优化模块，用于按照所述视差边缘预测分支预测输出的参考图像的视差边缘预测图识别所述聚合代价体的边缘区域并进行抑制，得到优化后的聚合代价体；以及视差回归模块，用于将所述优化后的聚合代价体上采样至与所述参考图像尺寸一致后对其进行回归，得到视差图
。2.
如权利要求1所述的双目立体视觉匹配网络构建方法，其特征在于，所述聚合代价优化模块按照如下公式对所述聚合代价体的边缘区域进行抑制：
C
new
(x,y)
＝
C(x,y)
×
(2
‑
P(x,y))
其中，
C
new
为优化后的聚合代价体，
C
为聚合代价体，
P
为参考图像的视差边缘预测图，
(x,y)
表示像素坐标
。3.
如权利要求1所述的双目立体视觉匹配网络构建方法，其特征在于，所述代价立方体构建子网络包括：左图低尺度特征提取模块，用于对左图进行原尺度特征提取，得到左图的低尺度特征；左图高尺度特征提取模块，用于对左图的低尺度特征进行空间金字塔池化操作，得到左图的高尺度特征；左图特征融合模块，用于将左图的低尺度特征和高尺度特征进行加权融合，得到左图的融合特征；融合时，低尺度特征在边缘区域具有较高的权重，高尺度特征在非边缘区域具有较高的权重，边缘区域和非边缘区域依据所述视差边缘预测分支预测输出的左图的视差边缘预测图确定；右图低尺度特征提取模块，用于对右图进行原尺度特征提取，得到右图的低尺度特征；右图高尺度特征提取模块，用于对右图的低尺度特征进行空间金字塔池化操作，得到右图的高尺度特征；右图特征融合模块，用于将右图的低尺度特征和高尺度特征进行加权融合，得到右图的融合特征；融合时，低尺度特征在边缘区域具有较高的权重，高尺度特征在非边缘区域具有较高的权重，边缘区域和非边缘区域依据所述视差边缘预测分支预测输出的右图的视差边缘预测图确定；以及代价体构建模块，用于按照预定的最大视差值，在每个视差水平上将左图的融合特征和右图的融合特征进行连接，得到左图和右图之间的代价立方体
。4.
如权利要求3所述的双目立体视觉匹配网络构建方法，其特征在于，所述左图特征融合模块按照如下公式将左图的低尺度特征和高尺度特征进行加权融合：
所述右图特征融合模块按照如下公式将右图的低尺度特征和高尺度特征进行加权融合：其中，
F
...

【专利技术属性】
技术研发人员：李丹，张珍，杨兆成，洪健，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：