基于双目相机的参数立体匹配方法和系统技术方案

本发明专利技术公开了一种基于双目相机的参数立体匹配方法和系统，所述方法包括：获取目标检测区域内的左右图像；基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值。解决了现有用于自动驾驶的参数匹配算法准确性差、计算速度慢的技术问题。计算速度慢的技术问题。计算速度慢的技术问题。

【技术实现步骤摘要】
基于双目相机的参数立体匹配方法和系统


[0001]本申请实施例涉及自动驾驶
，具体涉及一种基于双目相机的参数立体匹配方法和系统。

技术介绍

[0002]随着人们对更加安全和便捷出行的需求的日益增长，智能驾驶技术正处于蓬勃发展时期，感知和理解环境的能力是汽车智能系统的基础和前提。智能车辆通过双目相机采集视图，并在感知周围环境后做出分析，通过将信息提供给控制系统，实现对行驶情况的检测。
[0003]在数据分析时，需要进行参数匹配，参数匹配的性能直接影响到自动驾驶信息识别的准确性和效率。传统的参数匹配算法包括局部算法和全局算法，但是，局部算法由于所基于的局部窗口视差相同的假设在很多情况下并不成立，导致匹配效果较差；而全局算法虽然通过二维相邻像素视差之间的约束，能够得到更好的匹配效果，但是对内存的占用量大，速度慢。

技术实现思路

[0004]为此，本申请实施例提供一种基于双目相机的参数立体匹配方法和系统，以至少部分解决现有用于自动驾驶的参数匹配算法准确性差、计算速度慢的技术问题。
[0005]为了实现上述目的，本申请实施例提供如下技术方案：根据本申请实施例的第一方面，提供了一种基于双目相机的参数立体匹配方法，所述方法包括：获取目标检测区域内的左右图像；基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值。
[0006]进一步地，所述通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图，具体包括：利用所述多层级网络结构中的encode模块对左右图像进行特征提取，以获得第一特征维度的左右特征图；且/或，利用所述多层级网络结构中的decode模块对左右图像进行特征提取，以获得第二特征维度的左右特征图。
[0007]进一步地，所述第一特征维度包括[w,h,dim], [w/2,h/2,dim*2], [w/4,h/4,dim*4]，所述第二特征维度包括[w/4,h/4,dim*4], [w/2,h/2,dim*2]，[w,h,dim] ，其中，w是指左右特征图宽度，h是指左右特征图高度，dim是左右特征图数量。
[0008]进一步地，利用以下公式对所述左右特征图进行匹配代价聚合，以得到聚合后的
代价值：其中，为聚合后的代价值，为聚合前的代价值，r为传播方向上的单位距离，d为当前视差，di为视差搜索范围内的遍历视差值，λi为惩罚项的最优值，disp
‑
n为视差的搜索范围。
[0009]进一步地，所述监督学习策略具体包括：基于激光雷达点云获取真实视差值和本立体匹配方案前向推理的预测视差值；计算所述真实视差值与所述预测视差值的差值，并将所述差值向并将所述差值逐层求取相对于权重参数的梯度，依次根据模型结构进行随机梯度下降的方式进行向前传播；沿着梯度的反方向随机的调整所述权重参数，使所述差值逐步减小。
[0010]进一步地，通过反向传播结果调整所述权重参数，具体包括：梯度下降是指导数的最大值的方向就代表了梯度的方向，因此我们在做梯度下降的时候，应该是沿着梯度的反方向进行权重的更新，可以有效的找到全局的最优解。
[0011]本方案采用的是小批量随机梯度下降的方法：随机抽取m个样本作为一个批次，计算平均差值，根据平均差值计算梯度，在沿着梯度下降的方向进行权重的更新。
[0012]根据本申请实施例的第二方面，提供了一种基于双目相机的参数立体匹配系统，所述系统包括：图像获取单元，用于获取目标检测区域内的左右图像；特征图获取单元，用于基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；聚合结果输出单元，用于基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值。
[0013]进一步地，所述特征图获取单元具体用于：利用所述多层级网络结构中的encode模块对左右图像进行特征提取，以获得第一特征维度的左右特征图；且/或，利用所述多层级网络结构中的decode模块对左右图像进行特征提取，以获得第二特征维度的左右特征图。
[0014]根据本申请实施例的第三方面，提供了一种电子设备，所述电子设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行第一方面任一项所述的方法。
[0015]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如第一方面任一项所述的方法。
[0016]本申请实施例提供了一种基于双目相机的参数立体匹配方法和系统，通过获取目标检测区域内的左右图像，基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；并基于监督学习策略对所述左右特征图进行匹配
代价聚合，以得到聚合后的代价值。该方法通过特征提取及代价聚合方法的改进，提升了算法的鲁棒性，并能够通过样本学习，解决立体匹配中的困难场景效果差的问题。解决了现有用于自动驾驶的参数匹配算法准确性差、计算速度慢的技术问题。
附图说明
[0017]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0018]本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
能涵盖的范围内。
[0019]图1为本专利技术所提供的基于双目相机的参数立体匹配方法一种具体实施方式的流程图；图2为本专利技术所提供的基于双目相机的参数立体匹配系统一种具体实施方式的结构框图。
具体实施方式
[0020]以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]针对现有参数匹配方法准确性差，计算速度慢的问题，本专利技术对Preprocess（图像预处理特征提取）+ Cost Compute（代价计算）及SGM（代价聚合）两大部分进行可学习参数设计和替换，使匹配算法更鲁棒，以便为后续的自动驾驶提供较好的数据基础，具体地，能够提供稠密可靠的视差数据及三维点云数据，为障碍物测距测速提供可靠的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目相机的参数立体匹配方法，其特征在于，所述方法包括：获取目标检测区域内的左右图像；基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值。2.如权利要求1所述的参数立体匹配方法，其特征在于，所述通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图，具体包括：利用所述多层级网络结构中的encode模块对左右图像进行特征提取，以获得第一特征维度的左右特征图；且/或，利用所述多层级网络结构中的decode模块对左右图像进行特征提取，以获得第二特征维度的左右特征图。3.如权利要求2所述的参数立体匹配方法，其特征在于，所述第一特征维度包括：[w,h,dim], [w/2,h/2,dim*2], [w/4,h/4,dim*4]，所述第二特征维度包括[w/4,h/4,dim*4], [w/2,h/2,dim*2]，[w,h,dim]，其中，w是指左右特征图宽度，h是指左右特征图高度，dim是左右特征图数量。4.如权利要求3所述的参数立体匹配方法，其特征在于，利用以下公式对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值：其中，为聚合后的代价值，为聚合前的代价值，r为传播方向上的单位距离，d为当前视差，di为视差搜索范围内的遍历视差值，λi为惩罚项的最优值，disp
‑
n为视差的搜索范围。5.如权利要求4所述的参数立体匹配方法，其特征在于，所述监督学习策略具体包括：基于激光雷达点云获取真实视差值和本立体匹配方案前向推理的预测视差值；计算所述真实视差值与所述预...

【专利技术属性】
技术研发人员：杨超，
申请(专利权)人：北京中科慧眼科技有限公司，
类型：发明
国别省市：