深度图生成方法和装置制造方法及图纸

提供了一种深度图生成方法和装置。所述深度图生成方法包括：基于双目图像产生第一深度图；获取深度相机采集的第二深度图；通过将第一深度图与第二深度图融合来产生最终深度图。一深度图与第二深度图融合来产生最终深度图。一深度图与第二深度图融合来产生最终深度图。

【技术实现步骤摘要】
深度图生成方法和装置


[0001]本专利技术涉及图像处理领域，更具体地，涉及一种深度图生成方法和装置。

技术介绍

[0002]最近，在自动驾驶、机器人导航和增强现实等众多技术中，都需要基于精准且稠密的深度估计来解决高级别的任务。深度既可以通过诸如雷达(LiDAR)、结构光传感器(structure light,SL)、飞行时间传感器(time-of-flight，TOF)等的传感器获取，也可以通过基于立体匹配算法的深度估计从双目图像中生成。
[0003]具体来说，LiDAR是一种能够准确测量远距离的传感器，但是仅可以提供稀疏的深度图且垂直方向的成像视野小，而且高精度的LiDAR设备比较昂贵且体积大，限制了其应用场景。SL和TOF传感器的测量距离有限，随着测量距离增加，其精度就逐渐下降，这一缺点限制了其测量范围，在室外环境中效果不佳，并且采集的深度图存在噪声高、分辨率低等问题。基于立体匹配算法的深度估计能够获得稠密的深度图，目前精度较高的多是基于深度学习网络的方法，但在遇到无纹理区域、反光区域和遮挡区域等病态区域时深度估计精度下降，并且存在域适应问题，即，在特定数据集(诸如，合成数据集)训练的网络模型，换到别的数据集(诸如，真实数据集)上会存在精度下降的问题，不适合应用在新的环境中。

技术实现思路

[0004]根据本专利技术的示例性实施例，提供了一种深度图生成方法，包括：基于双目图像产生第一深度图；获取深度相机采集的第二深度图；通过将第一深度图与第二深度图融合来产生最终深度图。
[0005]获取第二深度图的步骤可包括：从第二深度图提取深度特征；通过对提取的深度特征进行由相似矩阵引导的滤波，来产生深度补全的第三深度图，其中，相似矩阵是基于双目图像产生的。
[0006]产生深度补全的第三深度图的步骤可包括：基于相似矩阵获得深度图的当前像素与当前像素的相邻像素之间的相似度，并基于相邻像素的深度特征和所述相似度按照预定方向对当前像素的深度特征进行滤波。
[0007]所述预定方向可包括从上到下的方向、从下到上的方向、从左到右的方向和从右到左的方向中的至少一个方向。
[0008]产生第一深度图的步骤可包括：获得双目图像包括的每个单目图像的第一特征图；基于单目图像的第一特征图，来获得匹配代价矩阵；对匹配代价矩阵进行代价聚合；基于代价聚合的匹配代价矩阵来产生每个单目图像的深度图。
[0009]产生第一深度图的步骤还可包括：对每个单目图像的深度图进行一致性检测以获得每个单目图像的可信深度图。
[0010]获得第一特征图的步骤可包括基于注意力机制的神经网络对双目图像进行特征提取。
[0011]获得匹配代价矩阵的步骤可包括：基于单目图像的第一特征图获得初始匹配代价矩阵，并将初始匹配代价矩阵输入到预定神经网络进行卷积来获得匹配代价矩阵。
[0012]进行代价聚合的步骤可包括基于图神经网络(GNN)对匹配代价矩阵进行代价聚合。
[0013]进行代价聚合的步骤可包括：根据距离获得与作为匹配代价矩阵的元素的每个中心节点的邻域节点，基于每个邻域节点的权重和邻域节点的匹配代价，来更新每个中心节点的匹配代价以获得第一代价聚合的匹配代价矩阵。
[0014]进行代价聚合的步骤还可包括使用第二特征图引导代价聚合。
[0015]第二特征图可以是基于语义分割神经网络生成的，或者第二特征图与第一特征图相同。
[0016]进行代价聚合的步骤可包括：根据距离获得与第二特征图的每个像素的邻域像素，按照第二特征图与匹配代价之间的像素对应关系，找到作为匹配代价矩阵的元素的每个中心节点的邻域节点，基于邻域节点的权重和匹配代价来更新每个中心节点的匹配代价以获得第二代价聚合的匹配代价矩阵，并将第一代价聚合的匹配代价矩阵与第二代价聚合的匹配代价矩阵聚合以获得第三代价聚合的匹配代价矩阵。
[0017]所述距离可以为空间距离、特征向量距离、或者空间距离与特征向量距离的加权和。
[0018]进行代价聚合的步骤可包括：根据多个不同尺度的匹配代价矩阵获得临时匹配代价矩阵，获得临时匹配代价矩阵的每个元素对应于预定视差的概率，根据所述概率与临时匹配代价矩阵获得第四匹配代价矩阵。
[0019]进行代价聚合的步骤可包括基于相似矩阵和匹配代价矩阵，获得第五匹配代价矩阵，其中，相似矩阵是基于双目图像产生的。
[0020]产生第一深度图的步骤可包括：将双目图像输入到预定神经网络进行特征提取以获得双目图像包括的每个单目图像的第一特征图；基于单目图像的第一特征图来获得匹配代价矩阵；计算匹配代价矩阵的每个元素对应于预定视差的概率以将匹配代价矩阵转换为匹配概率矩阵；基于匹配概率矩阵来产生每个单目图像的深度图。
[0021]获得可信深度图的步骤可包括：在各个单目图像的深度图之间比较对应位置的像素，当对应位置的像素的深度差值大于或等于预定阈值时将对应位置的像素确定为不可信像素，当对应位置的像素的深度差值小于所述预定阈值时将对应位置的像素确定为可信像素，以获得可信深度图。
[0022]获得可信深度图的步骤可包括：根据可信深度图，对第一特征图、初始匹配代价矩阵和匹配代价矩阵进行处理。
[0023]根据本专利技术的示例性实施例，提供了一种深度图生成装置，包括：第一获取单元，基于双目图像产生第一深度图；第二获取单元，获取深度相机采集的第二深度图；深度合成单元，通过将第一深度图与第二深度图融合来产生最终深度图。
[0024]第二获取单元可包括：深度特征提取单元，从第二深度图提取深度特征；滤波单元，通过对提取的深度特征进行由相似矩阵引导的滤波，来产生深度补全的第三深度图，其中，相似矩阵由第一获取单元基于双目图像产生。
[0025]滤波单元可基于相似矩阵获得深度图的当前像素与当前像素的相邻像素之间的
相似度，并基于相邻像素的深度特征和所述相似度按照预定方向对当前像素的深度特征进行滤波。
[0026]所述预定方向可包括从上到下的方向、从下到上的方向、从左到右的方向和从右到左的方向中的至少一个方向。
[0027]第一获取单元可包括：特征提取单元，获得双目图像包括的每个单目图像的第一特征图；匹配代价获得单元，基于单目图像的第一特征图，来获得匹配代价矩阵；代价聚合单元，对匹配代价矩阵进行代价聚合；深度图产生单元，基于代价聚合的匹配代价矩阵来产生每个单目图像的深度图。
[0028]第一获取单元还可包括：可信深度获得单元，对每个单目图像的深度图进行一致性检测以获得每个单目图像的可信深度图。
[0029]特征提取单元可基于注意力机制的神经网络对双目图像进行特征提取。
[0030]匹配代价获得单元可基于单目图像的第一特征图获得初始匹配代价矩阵，并将初始匹配代价矩阵输入到预定神经网络进行卷积来获得匹配代价矩阵。
[0031]代价聚合单元可基于图神经网络(GNN)对匹配代价矩阵进行代价聚合。
[0032]代价聚合单元可根据距离获得与作为匹配代价本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度图生成方法，包括：基于双目图像产生第一深度图；获取深度相机采集的第二深度图；通过将第一深度图与第二深度图融合来产生最终深度图。2.如权利要求1所述的深度图生成方法，其中，获取第二深度图的步骤包括：从第二深度图提取深度特征；通过对提取的深度特征进行由相似矩阵引导的滤波，来产生深度补全的第三深度图，其中，相似矩阵是基于双目图像产生的。3.如权利要求2所述的深度图生成方法，其中，产生深度补全的第三深度图的步骤包括：基于相似矩阵获得深度图的当前像素与当前像素的相邻像素之间的相似度，并基于相邻像素的深度特征和所述相似度按照预定方向对当前像素的深度特征进行滤波。4.如权利要求3所述的深度图生成方法，其中，所述预定方向包括从上到下的方向、从下到上的方向、从左到右的方向和从右到左的方向中的至少一个方向。5.如权利要求1所述的深度图生成方法，其中，产生第一深度图的步骤包括：获得双目图像包括的每个单目图像的第一特征图；基于单目图像的第一特征图，来获得匹配代价矩阵；对匹配代价矩阵进行代价聚合；基于代价聚合的匹配代价矩阵来产生每个单目图像的深度图。6.如权利要求5所述的深度图生成方法，其中，产生第一深度图的步骤还包括：对每个单目图像的深度图进行一致性检测以获得每个单目图像的可信深度图。7.如权利要求5所述的深度图生成方法，其中，获得第一特征图的步骤包括基于注意力机制的神经网络对双目图像进行特征提取。8.如权利要求5所述的深度图生成方法，其中，获得匹配代价矩阵的步骤包括：基于单目图像的第一特征图获得初始匹配代价矩阵，并将初始匹配代价矩阵输入到预定神经网络进行卷积来获得匹配代价矩阵。9.如权利要求5所述的深度图生成方法，其中，进行代价聚合的步骤包括基于图神经网络(GNN)对匹配代价矩阵进行代价聚合。10.如权利要求9所述的深度图生成方法，其中，进行代价聚合的步骤包括：根据距离获得与作为匹配代价矩阵的元素的每个中心节点的邻域节点，基于每个邻域节点的权重和邻域节点的匹配代价，来更新每个中心节点的匹配代价以获得第一代价聚合的匹配代价矩阵。11.如权利要求10所述的深度图生成方法，其中，进行代价聚合的步骤还包括使用第二特征...

【专利技术属性】
技术研发人员：毛亚敏，刘志花，高天豪，金允泰，李洪硕，全明帝，王强，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：