一种深度信息获取方法和装置制造方法及图纸

本申请公开了一种深度信息获取方法和装置，该方法包括：获取左目图像的第一特征图和右目图像的第二特征图；基于所述第一特征图的每个像素点，分别计算所述每个像素点与所述第二特征图对应极线上所有像素点之间的相似度，得到相似度矩阵，所述相似度矩阵用于反映所述第一特征图中每个像素点的相似度；根据预输出图像的分辨率和所述相似度矩阵，计算所述第一特征图中多个预设位置的匹配代价值，得到相似度特征矩阵，所述匹配代价值用于反映所述预设位置与所述第二特征图对应位置的相似程度，匹配代价值与相似程度呈反比例关系，所述相似度特征矩阵包括所述多个预设位置的匹配代价值；根据所述相似度特征矩阵，获取深度预测图。获取深度预测图。获取深度预测图。

【技术实现步骤摘要】
一种深度信息获取方法和装置


[0001]本申请涉及图像处理
，具体涉及一种深度信息获取方法，装置，电子设备及计算机可读存储介质。

技术介绍

[0002]双目立体匹配是对在同一时刻捕捉的左右目图像进行处理得到视差图，进而可以从该视差图中计算出深度，可以由二维图像推测出三维空间。
[0003]通常，双目立体匹配是在限定的搜索空间进行左右目图像之间的像素点匹配，得到左右目图像的像素点对的相似度，进而通过运算进行深度预测。
[0004]在实现本申请过程中，专利技术人发现现有技术中至少存在如下问题：由于是在限定搜索空间进行匹配，只能得到一定范围内的深度预测结果，并且分辨率受限。

技术实现思路

[0005]本申请实施例的目的是提供一种深度信息获取方法，装置，电子设备及计算机可读存储介质，能够解决在深度预测时只能获得一定范围的深度预测结果，并且分辨率受限的问题。
[0006]为了解决上述技术问题，本申请是这样实现的：
[0007]第一方面，本申请实施例提供了一种深度信息获取方法，该方法包括：获取左目图像的第一特征图和右目图像的第二特征图；基于所述第一特征图的每个像素点，分别计算所述每个像素点与所述第二特征图对应极线上所有像素点之间的相似度，得到相似度矩阵，所述相似度矩阵用于反映所述第一特征图中每个像素点的相似度；根据预输出图像的分辨率和所述相似度矩阵，计算所述第一特征图中多个预设位置的匹配代价值，得到相似度特征矩阵，所述匹配代价值用于反映所述预设位置与所述第二特征图对应位置的相似程度，匹配代价值与相似程度呈反比例关系，所述相似度特征矩阵包括所述多个预设位置的匹配代价值；根据所述相似度特征矩阵，获取深度预测图。
[0008]第二方面，本申请实施例提供了一种深度信息获取装置，该装置包括：第一获取模块，用于获取左目图像的第一特征图和右目图像的第二特征图；第一执行模块，用于基于所述第一特征图的每个像素点，分别计算所述每个像素点与所述第二特征图对应极线上所有像素点之间的相似度，得到相似度矩阵，所述相似度矩阵用于反映所述第一特征图中每个像素点的相似度；第二执行模块，用于根据预输出图像的分辨率和所述相似度矩阵，计算所述第一特征图中多个预设位置的匹配代价值，得到相似度特征矩阵，所述匹配代价值用于反映所述预设位置与所述第二特征图对应位置的相似程度，匹配代价值与相似程度呈反比例关系，所述相似度特征矩阵包括所述多个预设位置的匹配代价值；第二获取模块，用于根据所述相似度特征矩阵，获取深度预测图。
[0009]第三方面，本专利技术实施例还提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现所述的深度信
息获取方法。
[0010]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行所述的深度信息获取方法。
[0011]这样，在本申请的实施例中，首先分别获取左目图像的第一特征图和右目图像的第二特征图，然后以第一特征图为基准，针对其中的每个像素点，计算其与第二特征图中对应极线上的所有像素点之间的相似度，以这些相似度构建得到相似度矩阵，进一步，基于需要输出的图像的分辨率以及上述相似度矩阵，计算第一特征图中多个预设位置的匹配代价值，并构建相似度特征矩阵，进而通过相似度特征矩阵计算获得深度预测图。在上述过程中，通过对左目图像的特征图中的每个像素点均进行像素点匹配，可以对全图进行深度预测，从而可以得到任意距离范围的深度值，并且可以根据希望输出的图像的分辨率在特征图中任意位置设置预设位置，进而对任意位置进行深度估计，从而可以得到与希望输出的图像对应分辨率的深度预测图。
附图说明
[0012]图1是本申请实施例的一种深度信息获取方法的步骤流程图；
[0013]图2是本申请实施例的一种深度信息获取方法的步骤流程图；
[0014]图3是本申请实施例的一种深度信息获取方法的步骤流程图；
[0015]图4是本申请实施例的一种深度信息获取装置的框图；
[0016]图5是本申请实施例的一种电子设备的硬件结构示意图；
[0017]图6是本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
[0018]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0019]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0020]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的深度信息获取方法进行详细地说明。
[0021]图1是本申请实施例的一种深度信息获取方法的步骤流程图，该方法可以包括以下步骤：
[0022]步骤101：获取左目图像的第一特征图和右目图像的第二特征图。
[0023]本申请实施例中，左目图像和右目图像为摄像设备在同一时刻捕捉到的，并经过
极线校正后的图像，极线校正是对左右目图像分别进行投影变换，使得两幅图对应的极线在同一扫描线上，从而能够提高像素点的匹配速度，提高匹配精度。
[0024]步骤102：基于所述第一特征图的每个像素点，分别计算所述每个像素点与所述第二特征图对应极线上所有像素点之间的相似度，得到相似度矩阵，所述相似度矩阵用于反映所述第一特征图中每个像素点的相似度。
[0025]示例性地，可以以左目图像的第一特征图为基准，以其中的一个像素点为例，将该像素点依次与第二特征图中与该像素点所在极线对应的极线上的所有像素点进行匹配，并计算出相似度；本申请实施例中，对第一特征图中的每一个像素点均执行上述操作，进一步，将上述计算得到的所有相似度构建为相似度矩阵，该相似度矩阵中包含第一特征图中所有像素点与第二特征图对应极线上所有像素点的相似度。
[0026]可选地，该相似度矩阵的维度为[W，H，W]，其中，H，W分别为第一特征图的长度和宽度，示例性地，上述长度可以是第一特征图中沿长方向上的像素点的个数，同理，上述宽度可以是第一特征图中沿宽方向上的像素点的个数；示例性地，上述维度中，维度[H，W]用于表示第一特征图中所有的像素点，第一个维度W用于表示每个像素点与第二特征图对应极线上所有像素点的相似度，共有W个相似度。通过该相似度矩阵，可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度信息获取方法，其特征在于，包括：获取左目图像的第一特征图和右目图像的第二特征图；基于所述第一特征图的每个像素点，分别计算所述每个像素点与所述第二特征图对应极线上所有像素点之间的相似度，得到相似度矩阵，所述相似度矩阵用于反映所述第一特征图中每个像素点的相似度；根据预输出图像的分辨率和所述相似度矩阵，计算所述第一特征图中多个预设位置的匹配代价值，得到相似度特征矩阵，所述匹配代价值用于反映所述预设位置与所述第二特征图对应位置的相似程度，匹配代价值与相似程度呈反比例关系，所述相似度特征矩阵包括所述多个预设位置的匹配代价值；根据所述相似度特征矩阵，获取深度预测图。2.根据权利要求1所述的方法，其特征在于，所述获取左目图像的第一特征图和右目图像的第二特征图，包括：对获取的左目图像和右目图像进行特征提取，得到所述左目图像的第一图像特征和所述右目图像的第二图像特征；对所述第一图像特征和所述第二图像特征进行注意力机制运算，得到所述第一特征图和所述第二特征图。3.根据权利要求2所述的方法，其特征在于，所述对所述第一图像特征和所述第二图像特征进行注意力机制运算，得到所述第一特征图和所述第二特征图，包括：对所述第一图像特征和所述第二图像特征，进行基于注意力机制的多次迭代操作，得到所述第一特征图和所述第二特征图；其中，每次所述迭代操作包括：基于所述第一图像特征和所述第二图像特征，分别进行自注意力机制运算，得到对应的优化后的图像特征；在经过自注意力机制运算的所述第一图像特征和所述第二图像特征之间，进行交叉注意力机制运算，得到对应的优化后的图像特征。4.根据权利要求3所述的方法，其特征在于，在所述进行自注意力机制运算之后或所述进行交叉注意力机制运算之后，还包括：对所述第一图像特征和所述第二图像特征分别进行归一化运算；在所述对所述第一图像特征和所述第二图像特征，进行基于注意力机制的多次迭代操作之前，还包括：对所述第一图像特征和所述第二图像特征分别进行归一化运算。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述基于所述第一特征图的每个像素点，计算所述每个像素点与所述第二特征图对应极线上所有像素点之间的相似度，得到相似度矩阵，包括：在所述第一特征图的每个像素点与所述第二特征图对应极线上所有像素点之间，进行交叉注意力机制运算，得到多个相似度组；基于所述多个相似度组，构建匹配相似度矩阵；对所述匹配相似度矩阵进行权重配置，得到相似度矩阵。6.根据权利要求5所述的方法，其特征在于，对所述匹配相似度矩阵进行权重配置，包
括：针对所述匹配相似度矩阵中同一相似度组的相似度，提高相似度值最高的相似度的权重，降低其余相似度的权重。7.根据权利要求1
‑
4任一项所述的方法，其特征在于，根据预输出图像的分辨率和所述相似度矩阵，计算所述第一特征图中多个预设位置的匹配代价值，得到相似度特征矩阵，包括：根据预输出图像的分辨率，在所述第一特征图中标记多个预设位置，以及与所述多个预设位置分别对应的聚合区域；对多个所述聚合区域中每个像素点的相似度进行加权运算，得到对应预设位置的匹配代价值；基于多个所述预设位置的匹配代价值，构建所述相似度特征矩阵。8.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述根据所述相似度特征矩阵，获取深度预测图，包括：基于多层感知机，对所述相似度特征矩阵进行运算，得到初始视差估计和视差残差，所述初始视差估计中包括与所述多个预设位置分别对应的最小匹配代价值，所述视差残差用于对所述初始视差残差进行校正；根据所述初始视差估计和所述视差残差，计算得到深度预测图。9.一种深度信息获取装置，其特征在于，包括：第一获取模块，用于获取左目图像的第一特征图和右目图像的第二特征图；第一执行模块，用于基于所述第一特征图的每个像素点，分别计...

【专利技术属性】
技术研发人员：张友敏，国显达，黄冠，
申请(专利权)人：北京鉴智科技有限公司，
类型：发明
国别省市：