一种自适应融合的立体匹配算法制造技术

一种自适应融合的立体匹配算法，涉及立体匹配技术领域。该方法包括：获取双目摄像机拍摄的左视图和右视图；对左视图和右视图进行特征提取以构建第一尺度代价卷和第二尺度代价卷；对第一尺度代价卷进行下采样以生成第一融合分支；对第二尺度代价卷进行卷积以生成第二融合分支；融合第一融合分支和第二融合分支，生成初始融合代价卷；对初始融合代价卷依次进行上采样和下采样以更新第一融合分支；对第二尺度代价卷进行卷积以维持第二融合分支；融合第一融合分支和第二融合分支以对初始融合代价卷进行更新；重复初始融合代价卷的更新直至达到设定次数，输出初始融合代价卷为融合代价卷；根据融合代价卷生成稠密视差图以计算左视图和右视图的视差。图和右视图的视差。图和右视图的视差。

【技术实现步骤摘要】
一种自适应融合的立体匹配算法


[0001]本专利技术涉及立体匹配
，具体涉及一种自适应融合的立体匹配算法
。

技术介绍

[0002]立体匹配中的卷积神经网络已经取得了显著的进步，然而，它仍然是难以处理遮挡区域
。
立体匹配是计算机科学中的一种基本问题在计算机视觉在许多方面都有应用，如机器人，自动驾驶等
。
立体匹配的目标是在一对经过校正的立体图像之间建立紧密的对应关系
。
随着深度学习的发展，卷积神经网络已广泛应用于立体匹配中，与传统方法相比，现有的遮挡
、
重复和反射区域，无法在复杂的无人驾驶的场景中达到准确的匹配效果
。

技术实现思路

[0003]本专利技术主要解决的技术问题是：提供一种能够在复杂的无人驾驶的场景提高匹配效果准确性的立体匹配算法
。
[0004]根据第一方面，一种实施例中提供一种自适应融合的立体匹配算法，包括：获取双目摄像机拍摄的左视图和右视图；对所述左视图和右视图进行特征提取，以构建第一尺度代价卷和第二尺度代价卷，所述第一尺度代价卷的尺度大于所述第二尺度代价卷的尺度；对所述第一尺度代价卷进行下采样，以生成第一融合分支；对所述第二尺度代价卷进行卷积，以生成维持所述第二尺度代价卷的尺度的第二融合分支；融合所述第一融合分支和第二融合分支，生成初始融合代价卷；对所述初始融合代价卷进行更新，以生成融合代价卷，所述初始融合代价卷的更新包括：对所述初始融合代价卷依次进行上采样和下采样，以更新所述第一融合分支；对所述第二尺度代价卷进行卷积，以维持所述第二融合分支；融合更新后的第一融合分支和所述第二融合分支以对所述初始融合代价卷进行更新；重复所述初始融合代价卷的更新，直至达到所述设定次数，输出所述初始融合代价卷为融合代价卷；根据所述融合代价卷生成稠密视差图，以计算左视图和右视图的视差
。
[0005]一种实施例中，所述第一尺度代价卷包括
1/4d
，
1/4h
，
1/4w
代价卷；所述第二尺度代价卷包括
1/16d
，
1/16h
，
1/16w
代价卷；其中，
d
表示预设的最大视差值，
h
表示左视图和右视图的高度，
w
表示左视图和右视图的宽度
。
[0006]一种实施例中，所述对所述第一尺度代价卷进行下采样，以生成第一融合分支，包括：对所述第一尺度代价卷进行下采样时，所述第一尺度代价卷由
1/4d
，
1/4h
，
1/4w
代价卷变化为
1/8d
，
1/8h
，
1/8w
代价卷，再由
1/8d
，
1/8h
，
1/8w
代价卷变化为
1/16d
，
1/16h
，
1/16w
代价卷；所述第一融合分支包括
1/16d
，
1/16h
，
1/16w
代价卷；其中，
d
表示预设的最大视
差值，
h
表示左视图和右视图的高度，
w
表示左视图和右视图的宽度
。
[0007]一种实施例中，所述对所述第二尺度代价卷进行卷积，以生成维持所述第二尺度代价卷的尺度的第二融合分支，包括：利用步长为1的两层
3D
卷积对所述第二尺度代价卷进行卷积，以生成维持所述第二尺度代价卷的尺度的第二融合分支
。
[0008]一种实施例中，所述融合所述第一融合分支和第二融合分支，生成初始融合代价卷，包括：分别对所述第一融合分支和第二融合分支进行最大池化和平均池化，以对应获取第一融合分支的
2D
特征和第二融合分支的
2D
特征；将所述第一融合分支的
2D
特征和第二融合分支的
2D
特征输入至
2D
卷积层，以对应生成第一融合分支的权重图和第二融合分支的权重图；对所述第一融合分支的权重图和第二融合分支的权重图进行求和，以生成初始融合代价卷；所述初始融合代价卷包括
1/16d
，
1/16h
，
1/16w
代价卷；其中，
d
表示预设的最大视差值，
h
表示左视图和右视图的高度，
w
表示左视图和右视图的宽度
。
[0009]一种实施例中，所述对所述初始融合代价卷依次进行上采样和下采样，包括：对所述初始融合代价卷进行上采样时，所述初始融合代价卷由
1/16d
，
1/16h
，
1/16w
代价卷变化为
1/8d
，
1/8h
，
1/8w
代价卷，再由
1/8d
，
1/8h
，
1/8w
代价卷变化为
1/4d
，
1/4h
，
1/4w
代价卷；对所述初始融合代价卷进行下采样时，所述初始融合代价卷由
1/4d
，
1/4h
，
1/4w
代价卷变化为
1/8d
，
1/8h
，
1/8w
代价卷，再由
1/8d
，
1/8h
，
1/8w
代价卷变化为
1/16d
，
1/16h
，
1/16w
代价卷；其中，
d
表示预设的最大视差值，
h
表示左视图和右视图的高度，
w
表示左视图和右视图的宽度
。
[0010]一种实施例中，所述设定次数包括2次
。
[0011]一种实施例中，所述获取双目摄像机拍摄的左视图和右视图，包括：对所述双目摄像机进行相机标定；根据相机标定的结果对双目摄像机拍摄的原始左视图和原始右视图进行匹配，对匹配后的原始左视图和原始右视图进行矫正，以生成所述双目摄像机拍摄的左视图和右视图
。
[0012]一种实施例中，所述对匹配后的原始左视图和原始右视图进行矫正，以生成所述双目摄像机拍摄的左视图和右视图，包括：利用
Bouguet
极线矫正方法对匹配后的原始左视图和原始右视图进行矫正，以生成所述双目摄像机拍摄的左视图和右视图
。
[0013]根据第二方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现上述的方法
。
[0014]根据上述实施例的自适应融合的立体匹配算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种自适应融合的立体匹配算法，其特征在于，包括：获取双目摄像机拍摄的左视图和右视图；对所述左视图和右视图进行特征提取，以构建第一尺度代价卷和第二尺度代价卷，所述第一尺度代价卷的尺度大于所述第二尺度代价卷的尺度；对所述第一尺度代价卷进行下采样，以生成第一融合分支；对所述第二尺度代价卷进行卷积，以生成维持所述第二尺度代价卷的尺度的第二融合分支；融合所述第一融合分支和第二融合分支，以生成初始融合代价卷；对所述初始融合代价卷进行更新，以生成融合代价卷，所述初始融合代价卷的更新包括：对所述初始融合代价卷依次进行上采样和下采样，以更新所述第一融合分支；对所述第二尺度代价卷进行卷积，以维持所述第二融合分支；融合更新后的第一融合分支和所述第二融合分支以对所述初始融合代价卷进行更新；重复所述初始融合代价卷的更新，直至达到设定次数，输出所述初始融合代价卷为融合代价卷；根据所述融合代价卷生成稠密视差图，以计算左视图和右视图的视差
。2.
如权利要求1所述的自适应融合的立体匹配算法，其特征在于，所述第一尺度代价卷包括
1/4d
，
1/4h
，
1/4w
代价卷；所述第二尺度代价卷包括
1/16d
，
1/16h
，
1/16w
代价卷；其中，
d
表示预设的最大视差值，
h
表示左视图和右视图的高度，
w
表示左视图和右视图的宽度
。3.
如权利要求2所述的自适应融合的立体匹配算法，其特征在于，所述对所述第一尺度代价卷进行下采样，以生成第一融合分支，包括：对所述第一尺度代价卷进行下采样时，所述第一尺度代价卷由
1/4d
，
1/4h
，
1/4w
代价卷变化为
1/8d
，
1/8h
，
1/8w
代价卷，再由
1/8d
，
1/8h
，
1/8w
代价卷变化为
1/16d
，
1/16h
，
1/16w
代价卷；所述第一融合分支包括
1/16d
，
1/16h
，
1/16w
代价卷；其中，
d
表示预设的最大视差值，
h
表示左视图和右视图的高度，
w
表示左视图和右视图的宽度
。4.
如权利要求2所述的自适应融合的立体匹配算法，其特征在于，所述对所述第二尺度代价卷进行卷积，以生成维持所述第二尺度代价卷的尺度的第二融合分支，包括：利用步长为1的两层
3D
卷积对所述第二尺度代价卷进行卷积，以生成维持所述第二尺度代价卷的尺度的第二融合分支
。5.
如权利要求2所述的自适应融合的立体匹配算法，其特征在于，所述融合所述第一融合分支和第二融合分支，生成初始融合代价卷，包括：分别对所述第一融合分支和第二融合分支进行最大池化和平均池化，以对应获取第一融合分支的
2D
特征和第二融合分支的

【专利技术属性】
技术研发人员：俞正中，李鹏飞，钱刃，丘文峰，赵勇，李福池，
申请(专利权)人：东莞市爱培科技术有限公司，
类型：发明
国别省市：