基于深度学习算子的立体匹配方法和系统技术方案

本发明专利技术公开了一种基于深度学习算子的立体匹配方法和系统，所述方法包括：采集目标区域内的连续多帧左右目图像；对各所述左右目图像进行视差匹配代价计算，将视差匹配代价转换为匹配概率，以得到多个视差匹配代价值；对各所述视差匹配代价值进行多个方向的聚合，并通过逻辑判断优化计算，以得到最大视差匹配代价值所对应的视差图；基于所述匹配概率的加和进行亚像素视差计算，以得到立体匹配结果。提高了立体匹配的泛化能力和普适性，从而为提高自动驾驶数据的准确性提供了算法基础。动驾驶数据的准确性提供了算法基础。动驾驶数据的准确性提供了算法基础。

【技术实现步骤摘要】
基于深度学习算子的立体匹配方法和系统


[0001]本专利技术涉及辅助驾驶
，具体涉及一种基于深度学习算子的立体匹配方法和系统。

技术介绍

[0002]随着人们对更加安全和便捷出行的需求的日益增长，智能驾驶技术正处于蓬勃发展时期，感知和理解环境的能力是汽车智能系统的基础和前提。智能车辆通过双目相机采集视图，并在感知周围环境后做出分析，通过将信息提供给控制系统，实现对行驶情况的检测。
[0003]在对双目相机采集到的立体图像进行深度估计时，需要进行立体匹配，其目的是估计两个矫正图像之间所有像素点的对应关系。目前，传统双目立体匹配算法主流板端部署平台为ARM或FPGA（现场可编程门阵列）。ARM由于存在并行效率差，不能实现全尺寸高帧率的视差输出；FPGA由于开发成本及硬件成本较高，算法普适性较差，在不同行业推广存在很大阻力。

技术实现思路

[0004]为此，本专利技术实施例提供一种基于深度学习算子的立体匹配方法和系统，以提高立体匹配的泛化能力和普适性，从而为提高自动驾驶数据的准确性提供了算法基础。
[0005]为了实现上述目的，本专利技术实施例提供如下技术方案：本专利技术提供一种基于深度学习算子的立体匹配方法，所述方法包括：采集目标区域内的连续多帧左右目图像；对各所述左右目图像进行视差匹配代价计算，将视差匹配代价转换为匹配概率，以得到多个视差匹配代价值；对各所述视差匹配代价值进行多个方向的聚合，并通过逻辑判断优化计算，以得到最大视差匹配代价值所对应的视差图；基于所述匹配概率的加和进行亚像素视差计算，以得到立体匹配结果。
[0006]进一步地，对各所述左右目图像进行视差匹配代价计算，具体包括：利用均值滤波提取方法、高斯滤波提取方法或边缘提取方法对所述左右目图像进行特征提取，以得到特征提取结果；利用AD算子、SAD算子、SSD算子或SSIM算子对所述特征提取结果进行特征匹配，以完成视差匹配代价计算。
[0007]进一步地，利用均值滤波提取方法进行特征提取，利用SAD算子对所述特征提取结果进行特征匹配。
[0008]进一步地，利用均值滤波提取方法进行特征提取，利用SAD算子对所述特征提取结果进行特征匹配，具体包括：步骤S1：设定输入图像维度[w,h,c]；
步骤S2：左目图像固定，右目图像按宽度方向步长为1向左移动，与左目图像对齐；步骤S3：左目图像
‑
右目图像像素值，并取绝对值；步骤S4：重复步骤S2
‑
步骤S3的操作n次，获得图像维度[w,h,n]的特征图；步骤S5：对所述特征图进行avg
‑
pooling操作，获取匹配代价cost：[w,h,n]；步骤S6：cost_=exp(
‑
cost)，cost_取值：0
‑
1。
[0009]进一步地，利用以下公式，进行逻辑判断优化计算：其中，为聚合之后的代价值，为聚合之前的代价值，r为传播方向上的单位距离，d为视差，m为当前点视差维度计算半径，i为当前整像素点，p为当前点，A为聚合点，为聚合点当前视差维度的惩罚项，为惩罚项序列。
[0010]进一步地，利用以下公式，基于所述匹配概率的加和进行亚像素视差计算：其中，n为视差搜索范围，i为当前整像素点，为聚合后的当前视差的匹配概率，r为传播方向上的单位距离，A为聚合点，为当前点整像素视差。
[0011]本专利技术还提供一种基于深度学习算子的立体匹配系统，所述系统包括：图像采集单元，用于采集目标区域内的连续多帧左右目图像；代价值计算单元，用于对各所述左右目图像进行视差匹配代价计算，将视差匹配代价转换为匹配概率，以得到多个视差匹配代价值；代价值聚合单元，用于对各所述视差匹配代价值进行多个方向的聚合，并通过逻辑判断优化计算，以得到最大视差匹配代价值所对应的视差图；结果输出单元，用于基于所述匹配概率的加和进行亚像素视差计算，以得到立体匹配结果。
[0012]本专利技术还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
[0013]本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
[0014]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述方法的步骤。
[0015]本专利技术所提供的基于深度学习算子的立体匹配方法，通过采集目标区域内的连续
多帧左右目图像，对各所述左右目图像进行视差匹配代价计算，将视差匹配代价转换为匹配概率，以得到多个视差匹配代价值；对各所述视差匹配代价值进行多个方向的聚合，并通过逻辑判断优化计算，以得到最大视差匹配代价值所对应的视差图；基于所述匹配概率的加和进行亚像素视差计算，以得到立体匹配结果。
[0016]这样，本专利技术的代价计算部分利用深度学习算子实现，串行操作改为并行操作，将绝对匹配代价转换为匹配概率问题，为后续的代价聚合部分转化为深度学习算子提供输入；代价聚合部分转换成了卷积操作，将立体匹配的传统算法用通用的深度学习算子实现并优化，进而可以运行在主流的域控制器平台上；不但降低了双目立体匹配算法的开发适配成本，还减少了硬件集成数量及软硬件的开发维护成本。提高了立体匹配的泛化能力和普适性，从而为提高自动驾驶数据的准确性提供了算法基础。
附图说明
[0017]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0018]本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
得能涵盖的范围内。
[0019]图1为本专利技术所提供的立体匹配方法一种具体实施方式的流程图；图2为本专利技术所提供的立体匹配系统一种具体实施方式的结构框图。
具体实施方式
[0020]以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]在一种具体实施方式中，本专利技术提供的立体匹配方法基于深度学习算子，如图1所示，所述方法包括：S101：采集目标区域内的连续多帧左右目图像。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习算子的立体匹配方法，其特征在于，所述方法包括：采集目标区域内的连续多帧左右目图像；对各所述左右目图像进行视差匹配代价计算，将视差匹配代价转换为匹配概率，以得到多个视差匹配代价值；对各所述视差匹配代价值进行多个方向的聚合，并通过逻辑判断优化计算，以得到最大视差匹配代价值所对应的视差图；基于所述匹配概率的加和进行亚像素视差计算，以得到立体匹配结果。2.根据权利要求1所述的立体匹配方法，其特征在于，对各所述左右目图像进行视差匹配代价计算，具体包括：利用均值滤波提取方法、高斯滤波提取方法或边缘提取方法对所述左右目图像进行特征提取，以得到特征提取结果；利用AD算子、SAD算子、SSD算子或SSIM算子对所述特征提取结果进行特征匹配，以完成视差匹配代价计算。3.根据权利要求2所述的立体匹配方法，其特征在于，利用均值滤波提取方法进行特征提取，利用SAD算子对所述特征提取结果进行特征匹配。4.根据权利要求3所述的立体匹配方法，其特征在于，利用均值滤波提取方法进行特征提取，利用SAD算子对所述特征提取结果进行特征匹配，具体包括：步骤S1：设定输入图像维度[w,h,c]；步骤S2：左目图像固定，右目图像按宽度方向步长为1向左移动，与左目图像对齐；步骤S3：左目图像
‑
右目图像像素值，并取绝对值；步骤S4：重复步骤S2
‑
步骤S3的操作n次，获得图像维度[w,h,n]的特征图；步骤S5：对所述特征图进行avg
‑
pooling操作，获取匹配代价cost：[w,h,n]；步骤S6：cost_=exp(
‑
cost)，cost_取值：0
‑
1。5.根据权利要求1所述的立体...

【专利技术属性】
技术研发人员：杨超，葛方海，刘永才，孙钊，王鹏，
申请(专利权)人：北京中科慧眼科技有限公司，
类型：发明
国别省市：