一种基于高尺度单元的立体匹配模型及其应用方法技术

本发明专利技术公开了一种基于高尺度单元的立体匹配模型及其应用方法，涉及双目测距领域，其包括依次连接的计算通道、三维卷积层、综合视差层与输出层；所述计算通道包括结构一致的第一计算通道与第二计算通道；所述第一计算通道与第二计算通道，分别用于利用其对应的高尺度单元获取双目图像中第一图像与第二图像对应的目标代价特征；三维卷积层，用于对第一图像与第二图像对应的目标代价特征进行三维卷积计算以得到三维代价特征；综合视差层，用于通过三维代价特征获取双目图像的视差值，以得到双目图像对应的视差图；其极大的提高了视差计算的精准度。算的精准度。算的精准度。

【技术实现步骤摘要】
一种基于高尺度单元的立体匹配模型及其应用方法


[0001]本专利技术涉及双目测距领域，尤其涉及一种基于高尺度单元的立体匹配模型及其应用方法。

技术介绍

[0002]双目技术广泛应用于智慧仓储、三维重建、车辆导航、辅助驾驶等领域。近年来，深度学习在许多计算机视觉任务上取得了优异的成绩，包括距离预测任务。其中，基于卷积网络的立体匹配算法取得的视差较传统算法有较大的改善。GC
‑
Net是一个常用的基于深度学习的立体匹配方法，其使用的编解码单元是聚集环境信息的一种方法，降低了模糊位置的误匹配率，使用立体匹配方法获取深度信息，是一种常用的深度获取方法，但其产生的深度仍不能满足实际使用，特别是在低纹理、弱纹理区域，本专利技术通过改进GC
‑
Net，在其中加入高尺度单元、截断的综合视差法，以获取更准确的视差来提高深度的精准度，并结合yolov5实现了物体距离的快速测量。相较于其他测距设备本专利技术的模型与方法成本更低。

技术实现思路

[0003]为了获取更为准确的视差，本专利技术提出了一种基于高尺度单元的立体匹配模型，其利用双目相机获取的双目图像获取其对应的视差值，所述立体匹配模型包括：依次连接的计算通道、三维卷积层、综合视差层与输出层；所述计算通道包括结构一致的第一计算通道与第二计算通道；所述第一计算通道与第二计算通道均包括依次连接的输入层、第一卷积层、高尺度单元与第二卷积层，所述第一计算通道与第二计算通道的第二卷积层均连接于三维卷积层；其中：第一计算通道与第二计算通道，分别用于利用其对应的高尺度单元获取双目图像中第一图像与第二图像对应的目标代价特征；三维卷积层，用于对第一图像与第二图像对应的目标代价特征进行三维卷积计算以得到三维代价特征；综合视差层，用于通过三维代价特征获取双目图像的视差值，以得到双目图像对应的视差图；输出层，用于输出视差图。
[0004]进一步地，所述第一计算通道中：输入层，用于输入第一图像；第一卷积层，用于对第一图像进行卷积计算以获取第一图像对应的卷积特征图，并输入高尺度单元；高尺度单元，用于获取第一图像对应卷积特征图的目标代价特征；第二卷积层，用于对第一图像对应的目标代价特征进行卷积计算，并将卷积计算后的目标代价特征输入三维卷积层；所述第二计算通道中：
输入层，用于输入第二图像；第一卷积层，用于对第二图像进行卷积计算以获取第二图像对应的卷积特征图，并输入高尺度单元；高尺度单元，用于获取第二图像对应卷积特征图的目标代价特征；第二卷积层，用于对第二图像对应的目标代价特征进行卷积计算，并将卷积计算后的目标代价特征输入三维卷积层。
[0005]进一步地，所述高尺度单元包括以下依次连接的连接段：特征提取段、第二融合段、第三融合段与第四融合段；所述各连接段内均包括有并行层次子网；所述特征提取段包括一个并行层次子网，融合段比其对应的前一连接段多一个并行层次子网；所述融合段内的各个并行层次子网的输入均包括前一连接段内各个并行层次子网提取的所有特征；所述并行层次子网用于对输入的特征作进一步的特征提取；所述融合段，用于融合其包含的各个并行层次子网提取的所有特征，并输入下一融合段；所述融合段为第二融合段或第三融合段或第四融合段。
[0006]进一步地，所述特征提取段具体包括第一并行层次子网；所述第二融合段包括第一并行层次子网与第二并行层次子网；所述第三融合段包括第一并行层次子网、第二并行层次子网与第三并行层次子网；所述第四融合段包括第一并行层次子网、第二并行层次子网、第三并行层次子网与第四并行层次子网；所述高尺度单元中的：特征提取段，用于通过其对应的并行层次子网提取卷积特征图对应的初始代价特征，并输入第二融合段中的各个并行层次子网；第二融合段，用于通过其对应的并行层次子网分别对初始代价特征进行特征提取，以得到各并行层次子网提取的二次代价特征，融合各并行层次子网对应的二次代价特征，得到二次融合代价特征，并将二次融合代价特征输入第三融合段内的各个并行层次子网；第三融合段，用于通过其对应的并行层次子网分别对二次融合代价特征进行特征提取，以得到各并行层次子网提取的三次代价特征，融合各并行层次子网对应的三次代价特征，得到三次融合代价特征，并将三次融合代价特征输入第四融合段内的各个并行层次子网；第四融合段，用于通过其对应的并行层次子网分别对三次融合代价特征进行特征提取，以得到各并行层次子网提取的四次代价特征，融合各并行层次子网对应的四次代价特征，得到目标代价特征，并将目标代价特征输入三维卷积层。
[0007]进一步地，所述特征提取段中的并行层次子网具体为残差模块，用于对卷积特征图中的特征进行残差计算，以得到卷积特征图对应的初始代价特征，并输入第二融合段中的各个并行层次子网；所述第二融合段包括：依次连接的第一融合单元、第二融合单元与第三融合单元；所述各融合单元中均包括有第一并行层次子网对应的第一残差单元、第二并行层次子网对应的第二残差单元与融合中心；
所述第一融合单元中，所述第一残差单元与第二残差单元均用于对二次代价特征进行残差计算以得到各自对应的第一残差特征，并通过融合中心融合后输入第二融合单元；所述第二融合单元中，所述第一残差单元与第二残差单元均用于对融合后的第一残差特征进行残差计算以得到各自对应的第二残差特征，并通过融合中心融合后输入第三融合单元；所述第三融合单元中，所述第一残差单元与第二残差单元均用于对融合后的第二残差特征进行残差计算以得到各自对应的第三残差特征，所述融合中心用于融合各个第三残差特征以得到二次融合代价特征，并输入第三融合段内的各个并行层次子网。
[0008]进一步地，所述第三融合段包括：依次连接的第一融合单元、第二融合单元与第三融合单元；所述各融合单元中均包括有第一并行层次子网对应的第一残差单元、第二并行层次子网对应的第二残差单元、第三并行层次子网对应的第三残差单元与融合中心；所述第一融合单元中，所述第一残差单元、第二残差单元与第三残差单元均用于对三次代价特征进行残差计算以得到各自对应的第一残差特征，并通过融合中心融合后输入第二融合单元；所述第二融合单元中，所述第一残差单元、第二残差单元与第三残差单元均用于对融合后的第一残差特征进行残差计算以得到各自对应的第二残差特征，并通过融合中心融合后输入第三融合单元；所述第三融合单元中，所述第一残差单元、第二残差单元与第三残差单元均用于对融合后的第二残差特征进行残差计算以得到各自对应的第三残差特征，所述第三融合中心用于融合各个第三残差特征以得到三次融合代价特征，并输入第四融合段内的各个并行层次子网。
[0009]进一步地，所述第四融合段包括：依次连接的第一融合单元、第二融合单元、第三融合单元与第四融合单元；所述各融合单元中均包括有第一并行层次子网对应的第一残差单元、第二并行层次子网对应的第二残差单元、第三并行层次子网对应的第三残差单元、第四并行层次子网对应的第四残差单元与融合中心；所述第一融合单元中，所述第一残差单元、第二残差单元、第三残差单元与第四残差单元均用于对四次代价特征进行残差计算以得到各自对应的第一残本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高尺度单元的立体匹配模型，其利用双目相机获取的双目图像获取其对应的视差值，其特征在于，所述立体匹配模型包括：依次连接的计算通道、三维卷积层、综合视差层与输出层；所述计算通道包括结构一致的第一计算通道与第二计算通道；所述第一计算通道与第二计算通道均包括依次连接的输入层、第一卷积层、高尺度单元与第二卷积层，所述第一计算通道与第二计算通道的第二卷积层均连接于三维卷积层；其中：第一计算通道与第二计算通道，分别用于利用其对应的高尺度单元获取双目图像中第一图像与第二图像对应的目标代价特征；三维卷积层，用于对第一图像与第二图像对应的目标代价特征进行三维卷积计算以得到三维代价特征；综合视差层，用于通过三维代价特征获取双目图像的视差值，以得到双目图像对应的视差图；输出层，用于输出视差图。2.根据权利要求1所述的一种基于高尺度单元的立体匹配模型，其特征在于，所述第一计算通道中：输入层，用于输入第一图像；第一卷积层，用于对第一图像进行卷积计算以获取第一图像对应的卷积特征图，并输入高尺度单元；高尺度单元，用于获取第一图像对应卷积特征图的目标代价特征；第二卷积层，用于对第一图像对应的目标代价特征进行卷积计算，并将卷积计算后的目标代价特征输入三维卷积层；所述第二计算通道中：输入层，用于输入第二图像；第一卷积层，用于对第二图像进行卷积计算以获取第二图像对应的卷积特征图，并输入高尺度单元；高尺度单元，用于获取第二图像对应卷积特征图的目标代价特征；第二卷积层，用于对第二图像对应的目标代价特征进行卷积计算，并将卷积计算后的目标代价特征输入三维卷积层。3.根据权利要求2所述的一种基于高尺度单元的立体匹配模型，其特征在于，所述高尺度单元包括以下依次连接的连接段：特征提取段、第二融合段、第三融合段与第四融合段；所述各连接段内均包括有并行层次子网；所述特征提取段包括一个并行层次子网，融合段比其对应的前一连接段多一个并行层次子网；所述融合段内的各个并行层次子网的输入均包括前一连接段内各个并行层次子网提取的所有特征；所述并行层次子网用于对输入的特征作进一步的特征提取；所述融合段，用于融合其包含的各个并行层次子网提取的所有特征，并输入下一融合段；所述融合段为第二融合段或第三融合段或第四融合段。4.根据权利要求3所述的一种基于高尺度单元的立体匹配模型，其特征在于，所述特征
提取段具体包括第一并行层次子网；所述第二融合段包括第一并行层次子网与第二并行层次子网；所述第三融合段包括第一并行层次子网、第二并行层次子网与第三并行层次子网；所述第四融合段包括第一并行层次子网、第二并行层次子网、第三并行层次子网与第四并行层次子网；所述高尺度单元中的：特征提取段，用于通过其对应的并行层次子网提取卷积特征图对应的初始代价特征，并输入第二融合段中的各个并行层次子网；第二融合段，用于通过其对应的并行层次子网分别对初始代价特征进行特征提取，以得到各并行层次子网提取的二次代价特征，融合各并行层次子网对应的二次代价特征，得到二次融合代价特征，并将二次融合代价特征输入第三融合段内的各个并行层次子网；第三融合段，用于通过其对应的并行层次子网分别对二次融合代价特征进行特征提取，以得到各并行层次子网提取的三次代价特征，融合各并行层次子网对应的三次代价特征，得到三次融合代价特征，并将三次融合代价特征输入第四融合段内的各个并行层次子网；第四融合段，用于通过其对应的并行层次子网分别对三次融合代价特征进行特征提取，以得到各并行层次子网提取的四次代价特征，融合各并行层次子网对应的四次代价特征，得到目标代价特征，并将目标代价特征输入三维卷积层。5.根据权利要求4所述的一种基于高尺度单元的立体匹配模型，其特征在于，所述特征提取段中的并行层次子网具体为残差模块，用于对卷积特征图中的特征进行残差计算，以得到卷积特征图对应的初始代价特征，并输入第二融合段中的各个并行层次子网；所述第二融合段包括：依次连接的第一融合单元、第二融合单元与第三融合单元；所述各融合单元中均包括有第一并行层次子网对应的第一残差单元、第二并行层次子网对应的第二残差单元与融合中心；所述第一融合单元中，所述第一残差单元与第二残差单元均用于对二次代价特征进行残差计算以得到各自对应的第一残差特征，并通过融合中心融合后输入第二融合单元；所述第二融合单元中，所述第一残差单元与第二残差单元均用于对融合后的第一残差特征进行残差计算以得到各自对应的第二残差特征，并通过融合中心融合后输入第三融合单元；所述第三融合单元中，所述第一残差单元与第二残差单元均用于对融合后的第二残差特征进行...

【专利技术属性】
技术研发人员：岳衡，董元龙，林明晖，丁靖，李杨，尚海一，任学海，裘学东，邬黎斌，徐益明，朱力，周璐，陈凌，邵梦丽，蔡旦蓉，
申请(专利权)人：国网浙江省电力有限公司宁波供电公司，
类型：发明
国别省市：