立体匹配的方法、装置和电子设备制造方法及图纸

本发明专利技术提供了一种立体匹配的方法、装置和电子设备，包括：获取双目摄像机拍摄的图像对，并对图像对进行特征提取，得到图像对的特征；根据图像对的特征进行代价匹配计算，得到视差空间图像；对视差空间图像进行代价聚合，得到初始视差图；根据初始视差图对每个像素进行视差计算，得到中间视差图；对中间视差图进行视差优化，得到目标视差图，进而完成图像对的立体匹配。本发明专利技术的方法中，是通过自动卷积的方式自动提取图像对的特征，进而进行代价匹配计算、代价聚合、视差计算和视差优化，最终得到目标视差图，进而完成图像对的立体匹配，提高了处理速度，实时性好，能够更好的适应光照变化，在单调缺乏纹理场景中也能适用，并且计算简单。单。单。

【技术实现步骤摘要】
立体匹配的方法、装置和电子设备


[0001]本专利技术涉及机器学习的
，尤其是涉及一种立体匹配的方法、装置和电子设备。

技术介绍

[0002]近年来，无人机市场飞速增长，避障技术作为增加无人机安全飞行的保障技术也随着科技的发展日新月异。无人机在飞行过程中会通过其自身携带的传感器收集周边的环境信息(例如：图像数据、雷达数据、GPS数据等)，再对收集到的环境信息进行计算，从而测量出周边环境中各物体相对飞机自身的距离，以无人机位于环境中的坐标信息，从而做出相对应的动作指令达到避障的作用。在无人机避障系统中，主要有：内外参标定、数据采集、数据预处理、图像矫正、立体匹配、深度预测、指导避障7个主要步骤。
[0003]传统的无人机避障系统多采用双目视觉进行障碍物识别。具体而言，在无人机上设置双目摄像机，通过双目摄像机获取两张有重叠画面的图像对，对图像对进行预处理和矫正后进行立体匹配，获得视差图，再根据视差原理可以将重叠图像中的二维像素点坐标还原为真实世界中的三维点坐标信息，即获取到世界坐标系(真实世界中)中无人机以及周边各物体的坐标信息，根据此坐标信息可以计算出无人机与周边各物体间距离信息，从而根据获取到的无人机与周边各物体之间的距离来判断是否需要进行避障。其中，立体匹配为直接影响深度预测精度的重要步骤。
[0004]传统的无人机避障系统的优点是硬件成本低，室内外均可使用，但针对立体匹配步骤的缺点也较为明显：(1)对环境光照非常敏感，根据双目视觉模型原理要求相机曝光恒定不变，所以适应光照变化能力较弱；(2)不适用单调缺乏纹理场景，由于双目视觉模型在处理重叠画面部分时，需要进行图像匹配，纹理缺失会导致匹配失败，从而导致获取距离信息失败；(3)计算复杂度高，由于双目视觉模型为纯视觉方法，为保证算法精度和实时性，需要较大计算量，所以对无人机算力要求极高。
[0005]综上，现有的立体匹配的方法存在适应光照变化能力较弱、在单调缺乏纹理场景中不适用、计算复杂度高的技术问题。

技术实现思路

[0006]有鉴于此，本专利技术的目的在于提供一种立体匹配的方法、装置和电子设备，以缓解现有的立体匹配的方法适应光照变化能力较弱、在单调缺乏纹理场景中不适用、计算复杂度高的技术问题。
[0007]第一方面，本专利技术实施例提供了一种立体匹配的方法，包括：
[0008]获取双目摄像机拍摄的图像对，并对所述图像对进行特征提取，得到所述图像对的特征；
[0009]根据所述图像对的特征进行代价匹配计算，得到视差空间图像；
[0010]对所述视差空间图像进行代价聚合，得到初始视差图；
[0011]根据所述初始视差图对每个像素进行视差计算，得到中间视差图；
[0012]对所述中间视差图进行视差优化，得到目标视差图，进而完成所述图像对的立体匹配。
[0013]进一步的，获取双目摄像机拍摄的图像对，并对所述图像对进行特征提取，包括：
[0014]对所述图像对进行极线矫正，得到极线矫正后的图像对；
[0015]对所述极线矫正后的图像对进行特征提取，得到所述图像对的特征。
[0016]进一步的，所述方法还包括：
[0017]根据所述目标视差图、基线距离和预先标定的焦距计算得到所述双目摄像机与障碍物之间的距离。
[0018]进一步的，对所述视差空间图像进行代价聚合，包括：
[0019]以相邻像素具有连续的视差值的准则对所述视差空间图像进行代价聚合，得到所述初始视差图。
[0020]进一步的，根据所述初始视差图对每个像素进行视差计算，包括：
[0021]在所述初始视差图中，确定目标像素的所有视差下的代价值中的最小代价值，并将所述最小代价值所对应的视差作为所述目标像素的最优视差，进而得到所述中间视差图，其中，所述目标像素为所有像素中的任一像素。
[0022]进一步的，对所述中间视差图进行视差优化，包括：
[0023]采用左右一致性检查算法剔除所述中间视差图中的错误视差，得到第一优化视差图；
[0024]采用剔除小连通区域算法剔除所述第一优化视差图中的孤立异常点，得到第二优化视差图；
[0025]采用平滑算法对所述第二优化视差图进行平滑处理，得到所述目标视差图。
[0026]进一步的，所述代价匹配计算的方法包括以下任一种：灰度绝对值差之和、归一化相关系数。
[0027]第二方面，本专利技术实施例还提供了一种立体匹配的装置，包括：
[0028]特征提取单元，用于获取双目摄像机拍摄的图像对，并对所述图像对进行特征提取，得到所述图像对的特征；
[0029]代价匹配计算单元，用于根据所述图像对的特征进行代价匹配计算，得到视差空间图像；
[0030]代价聚合单元，用于对所述视差空间图像进行代价聚合，得到初始视差图；
[0031]视差计算单元，用于根据所述初始视差图对每个像素进行视差计算，得到中间视差图；
[0032]视差优化单元，用于对所述中间视差图进行视差优化，得到目标视差图，进而完成所述图像对的立体匹配。
[0033]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
[0034]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器
可运行指令促使所述处理器运行上述第一方面任一项所述的方法。
[0035]在本专利技术实施例中，提供了一种立体匹配的方法，包括：获取双目摄像机拍摄的图像对，并对图像对进行特征提取，得到图像对的特征；根据图像对的特征进行代价匹配计算，得到视差空间图像；对视差空间图像进行代价聚合，得到初始视差图；根据初始视差图对每个像素进行视差计算，得到中间视差图；对中间视差图进行视差优化，得到目标视差图，进而完成图像对的立体匹配。通过上述描述可知，本专利技术的立体匹配的方法中，是通过自动卷积的方式自动提取图像对的特征，进而进行代价匹配计算、代价聚合、视差计算和视差优化，最终得到目标视差图，进而完成图像对的立体匹配，提高了处理速度，实时性好，能够更好的适应光照变化，在单调缺乏纹理场景中也能适用，并且计算简单，缓解了现有的立体匹配的方法适应光照变化能力较弱、在单调缺乏纹理场景中不适用、计算复杂度高的技术问题。
附图说明
[0036]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]图1为本专利技术实施例提供的一种立体匹配的方法的流程图；
[0038]图2为本专利技术实施例提供的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种立体匹配的方法，其特征在于，包括：获取双目摄像机拍摄的图像对，并对所述图像对进行特征提取，得到所述图像对的特征；根据所述图像对的特征进行代价匹配计算，得到视差空间图像；对所述视差空间图像进行代价聚合，得到初始视差图；根据所述初始视差图对每个像素进行视差计算，得到中间视差图；对所述中间视差图进行视差优化，得到目标视差图，进而完成所述图像对的立体匹配。2.根据权利要求1所述的方法，其特征在于，获取双目摄像机拍摄的图像对，并对所述图像对进行特征提取，包括：对所述图像对进行极线矫正，得到极线矫正后的图像对；对所述极线矫正后的图像对进行特征提取，得到所述图像对的特征。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述目标视差图、基线距离和预先标定的焦距计算得到所述双目摄像机与障碍物之间的距离。4.根据权利要求1所述的方法，其特征在于，对所述视差空间图像进行代价聚合，包括：以相邻像素具有连续的视差值的准则对所述视差空间图像进行代价聚合，得到所述初始视差图。5.根据权利要求1所述的方法，其特征在于，根据所述初始视差图对每个像素进行视差计算，包括：在所述初始视差图中，确定目标像素的所有视差下的代价值中的最小代价值，并将所述最小代价值所对应的视差作为所述目标像素的最优视差，进而得到所述中间视差图，其中，所述目标像素为所有像素中的任一像素。6.根据权利要求1所述的方法，其特征在于，对所述中间视差...

【专利技术属性】
技术研发人员：陈方平，高明，张晓琪，汤秋嫄，
申请(专利权)人：天津云圣智能科技有限责任公司，
类型：发明
国别省市：