双目深度估计方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种双目深度估计方法、装置、电子设备及存储介质，其中，该方法包括：获取红外IR图像对应的第一关键点特征图和彩色RGB图像对应的第二关键点特征图；获取第一关键点特征图中各第一关键点与第二关键点特征图中各第二关键点的匹配度得分；基于匹配度得分，得到IR图像和RGB图像的第一视差信息；基于第一视差信息，得到深度估计结果。本申请实施例有利于提升深度估计的精度。例有利于提升深度估计的精度。例有利于提升深度估计的精度。

【技术实现步骤摘要】
双目深度估计方法、装置、电子设备及存储介质


[0001]本申请涉及计算机视觉
，尤其涉及一种双目深度估计方法、装置、电子设备及存储介质。

技术介绍

[0002]随着深度学习的发展，深度估计在计算机视觉领域有着广泛的应用，比如人脸门禁设备的识别过程中，人脸深度的估计对人脸识别精度的提升有着促进作用。常见的深度估计有基于单目的深度估计和基于双目的深度估计，特征点匹配是双目深度估计中极其重要的一项操作，在实际的应用场景中，可能会存在特征点匹配出错的情况，这就会导致深度估计的精度变差。

技术实现思路

[0003]本申请实施例提供了一种双目深度估计方法、装置、电子设备及存储介质，有利于提升深度估计的精度。
[0004]本申请实施例第一方面提供了一种双目深度估计方法，该方法包括：
[0005]获取红外IR图像对应的第一关键点特征图和彩色RGB图像对应的第二关键点特征图；
[0006]获取第一关键点特征图中各第一关键点与第二关键点特征图中各第二关键点的匹配度得分；
[0007]基于匹配度得分，得到IR图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目深度估计方法，其特征在于，所述方法包括：获取红外IR图像对应的第一关键点特征图和彩色RGB图像对应的第二关键点特征图；获取所述第一关键点特征图中各第一关键点与所述第二关键点特征图中各第二关键点的匹配度得分；基于所述匹配度得分，得到所述IR图像和所述RGB图像的第一视差信息；基于所述第一视差信息，得到深度估计结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述匹配度得分，得到所述IR图像和所述RGB图像的第一视差信息，包括：将与所述各第二关键点的所述匹配度得分最高的目标第一关键点和所述各第二关键点确定为关键点对，得到多个关键点对；基于所述多个关键点对得到所述第一视差信息。3.根据权利要求1或2所述的方法，其特征在于，所述获取所述第一关键点特征图中各第一关键点与所述第二关键点特征图中各第二关键点的匹配度得分，包括：计算所述各第二关键点对应的特征与所述各第一关键点对应的特征之间的特征相似度；获取所述各第二关键点在所述RGB图像中的第一正弦位置编码；获取所述各第一关键点在所述IR图像中的第二正弦位置编码；采用所述第一正弦位置编码和所述第二正弦位置编码，计算得到所述各第二关键点与所述各第一关键点之间的位置相似度；对所述特征相似度和所述位置相似度进行加权求和，得到所述匹配度得分。4.根据权利要求3所述的方法，其特征在于，所述基于所述多个关键点对得到所述第一视差信息，包括：对于所述多个关键点对中的每个关键点对，将所述每个关键点对中的第一关键点对应的特征与所述第一关键点的所述第二正弦位置编码拼接，得到第一拼接特征；以及，将所述每个关键点对中的第二关键点对应的特征与所述第二关键点的所述第一正弦位置编码拼接，得到第二拼接特征；分别对所述多个关键点对对应的多个第一拼接特征和所述多个关键点对对应的多个第二拼接特征进行特征提取，得到第一残差特征和第二残差特征，所述多个关键点对与所述多个第一拼接特征和所述多个第二拼接特征一一对应；通过预设分类器对所述第一残差特征和所述第二残差特征进行分类预测，得到所述第一视差信息。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述基于所述第一视差信息，得到深度估计结果，包括：基于所述IR图像得到第一区域图像，基于所述RGB图像得到第二区域图像；分别提取所述第一区域图像的第一特征图和所述第二区域图像的第二特征图；根据所述第一特征图和所述第二特征图，得到所述IR图像和所述RGB图像的第二视差信息；计算所述第一视差信息和所述第二视差信息的加权平均值，得到加权平均后的视差信息；
采用所述加权平均后的视差信息计算得到所述深度估计结果。6.根据权利要求5所述的方法，其特征在于，所述IR图像和所述RGB图像是建筑工地的闸机通道处的双目相机对同一建...

【专利技术属性】
技术研发人员：王柏润，刘建博，张帅，伊帅，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：