深度信息计算方法、电子设备及存储介质技术

一种深度信息计算方法、电子设备及存储介质，该深度信息计算方法包括：获取基于深度信息算法确定的至少一个关键点的深度信息；确定至少一个关键点中至少之一所对应的深度信息满足第一预设条件，并将满足第一预设条件的深度信息对应的关键点作为待处理关键点，第一预设条件包括：深度值为负数，或者深度值为非负数且重投影误差之和大于或等于第一阈值；对待处理关键点进行处理，以修正待处理关键点及对应的深度信息，更新深度信息。该深度信息计算方法可以提高深度信息的精度，使深度信息有效且精准，使关键点的深度信息既符合预期又与真实值的偏差很小，能够提升整体的计算效率，提升后续处理环节的效果。升后续处理环节的效果。升后续处理环节的效果。

【技术实现步骤摘要】
深度信息计算方法、电子设备及存储介质


[0001]本公开的实施例涉及一种深度信息计算方法、电子设备及存储介质。

技术介绍

[0002]增强现实(Augmented Reality，AR)技术将虚拟信息与真实世界进行了融合，涉及多媒体、三维建模、实时跟踪、智能交互、传感等多种技术。AR技术将虚拟信息(例如计算机生成的文字、图像、三维模型、音乐、视频等)模拟仿真后，应用到真实世界中，使得虚拟信息与真实世界的信息互为补充，从而实现对真实世界的“增强”。在AR技术中，需要对周围环境进行立体重建，这需要使用即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)算法。SLAM算法可以实现移动过程中的定位，并在定位的基础上构建地图，从而实现复杂的定位功能及建图功能。

技术实现思路

[0003]本公开至少一个实施例提供一种深度信息计算方法，包括：获取基于深度信息算法确定的至少一个关键点的深度信息；确定所述至少一个关键点中至少之一所对应的深度信息满足第一预设条件，并将满足所述第一预设条件的深度信息对应的关键点作为待处理关键点，其中，所述第一预设条件包括：深度值为负数，或者所述深度值为非负数且重投影误差之和大于或等于第一阈值；对所述待处理关键点进行处理，以修正所述待处理关键点及对应的深度信息，更新所述深度信息。
[0004]例如，在本公开一实施例提供的方法中，所述第一预设条件包括所述深度值为非负数且所述重投影误差之和大于或等于所述第一阈值，对所述待处理关键点进行处理，以修正所述待处理关键点及对应的深度信息，更新所述深度信息，包括：计算所述待处理关键点在两帧图像中的描述子之间的汉明距离；确认所述汉明距离满足第二预设条件，其中，所述第二预设条件包括所述汉明距离小于第二阈值；采用优化算法再次计算所述待处理关键点的深度信息，更新深度信息。
[0005]例如，在本公开一实施例提供的方法中，所述重投影误差之和为所述待处理关键点在所述两帧图像的每帧图像中的重投影误差的和。
[0006]例如，在本公开一实施例提供的方法中，对所述待处理关键点进行处理，以修正所述待处理关键点及对应的深度信息，更新所述深度信息，还包括：确认所述汉明距离不满足所述第二预设条件；更新所述待处理关键点在所述两帧图像中的关联关系，并利用所述深度信息算法确定更新后的关键点的深度信息，更新所述深度信息。
[0007]例如，在本公开一实施例提供的方法中，更新所述待处理关键点在所述两帧图像中的关联关系，并利用所述深度信息算法确定更新后的关键点的深度信息，更新所述深度信息，包括：在所述两帧图像的后一帧图像中的待处理关键点的投影点的预设范围内遍历并确定新的投影点，用所述新的投影点替代所述待处理关键点的投影点；利用所述深度信息算法基于更新后的关联关系计算对应的深度信息，更新所述深度信息。
[0008]例如，在本公开一实施例提供的方法中，在所述两帧图像的后一帧图像中待处理关键点的投影点的预设范围内遍历并确定所述新的投影点，用所述新的投影点替代所述待处理关键点的投影点，包括：确定所述待处理关键点在所述两帧图像的后一帧图像中的投影点所在位置的预设范围内的像素点；基于预设规则在所述像素点中选择至少一个像素点作为备选点；计算每个备选点的基于二进制编码的特征描述子；在所计算的特征描述子中选择与所述两帧图像的前一帧图像中的投影点的特征描述子的汉明距离满足所述第二预设条件的特征描述子所对应的备选点，将选择的备选点作为所述新的投影点以替代所述待处理关键点的投影点。
[0009]例如，在本公开一实施例提供的方法中，所述预设范围包括5*5的像素范围。
[0010]例如，在本公开一实施例提供的方法中，所述预设规则包括以下规则至少之一：将所述预设范围内除所述待处理关键点的投影点以外的像素点均作为所述备选点；在所述预设范围内除所述待处理关键点的投影点以外的像素点中，按照预设步距选择所述像素点中的部分像素点；在所述预设范围内除所述待处理关键点的投影点以外的像素点中，随机选择预设数量的像素点。
[0011]例如，在本公开一实施例提供的方法中，所述第一预设条件包括所述深度值为负数，对所述待处理关键点进行处理，以修正所述待处理关键点及对应的深度信息，更新所述深度信息，包括：丢弃所述深度值为负数的所述待处理关键点。
[0012]例如，在本公开一实施例提供的方法中，所述深度信息算法包括三角化算法，所述深度信息通过所述关键点在世界坐标系下的三维坐标信息获取，所述关键点在所述世界坐标系下的三维坐标信息通过每帧图像中的投影点的二维坐标信息以及相机的实时位姿获得；所述三角化算法包括：计算在所述三角化算法中使用的两帧图像中投影点在相机坐标系下的三维坐标信息，其中，所述相机坐标系下的三维坐标信息是经过归一化处理的坐标信息；根据所述关键点分别在所述两帧图像中的位姿，计算得到所述关键点在所述世界坐标系下的三维坐标信息。
[0013]例如，在本公开一实施例提供的方法中，所述方法用于增强现实设备。
[0014]本公开至少一个实施例还提供一种电子设备，包括：处理器；存储器，包括一个或多个计算机程序模块；其中，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块用于实现本公开任一实施例提供的深度信息计算方法。
[0015]本公开至少一个实施例还提供一种非暂时性计算机可读存储介质，存储有非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时实现本公开任一实施例提供的深度信息计算方法。
附图说明
[0016]为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
[0017]图1为本公开一些实施例提供的一种深度信息计算方法的应用场景示意图；
[0018]图2为本公开至少一个实施例提供的一种深度信息计算方法的流程示意图；
[0019]图3为本公开实施例提供的一种三角化算法的示例性流程图；
[0020]图4为图2中步骤S30的示例性流程图；
[0021]图5为图4中步骤S35的示例性流程图；
[0022]图6为图5中步骤S351的示例性流程图；
[0023]图7为本公开一些实施例提供的深度信息计算方法的工作流程示意图；
[0024]图8A为一种三维点云地图的示意图；
[0025]图8B为利用本公开实施例提供的深度信息计算方法得到的深度信息所生成的三维点云地图的示意图；
[0026]图9为本公开一些实施例提供的一种电子设备的示意框图；
[0027]图10为本公开一些实施例提供的另一种电子设备的示意框图；
[0028]图11为本公开一些实施例提供的一种存储介质的示意图。
具体实施方式
[0029]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度信息计算方法，包括：获取基于深度信息算法确定的至少一个关键点的深度信息；确定所述至少一个关键点中至少之一所对应的深度信息满足第一预设条件，并将满足所述第一预设条件的深度信息对应的关键点作为待处理关键点，其中，所述第一预设条件包括：深度值为负数，或者所述深度值为非负数且重投影误差之和大于或等于第一阈值；对所述待处理关键点进行处理，以修正所述待处理关键点及对应的深度信息，更新所述深度信息。2.根据权利要求1所述的方法，其中，所述第一预设条件包括所述深度值为非负数且所述重投影误差之和大于或等于所述第一阈值，对所述待处理关键点进行处理，以修正所述待处理关键点及对应的深度信息，更新所述深度信息，包括：计算所述待处理关键点在两帧图像中的描述子之间的汉明距离；确认所述汉明距离满足第二预设条件，其中，所述第二预设条件包括所述汉明距离小于第二阈值；采用优化算法再次计算所述待处理关键点的深度信息，更新所述深度信息。3.根据权利要求2所述的方法，其中，所述重投影误差之和为所述待处理关键点在所述两帧图像的每帧图像中的重投影误差的和。4.根据权利要求2所述的方法，其中，对所述待处理关键点进行处理，以修正所述待处理关键点及对应的深度信息，更新所述深度信息，还包括：确认所述汉明距离不满足所述第二预设条件；更新所述待处理关键点在所述两帧图像中的关联关系，并利用所述深度信息算法确定更新后的关键点的深度信息，更新所述深度信息。5.根据权利要求4所述的方法，其中，更新所述待处理关键点在所述两帧图像中的关联关系，并利用所述深度信息算法确定更新后的关键点的深度信息，更新所述深度信息，包括：在所述两帧图像的后一帧图像中的待处理关键点的投影点的预设范围内遍历并确定新的投影点，用所述新的投影点替代所述待处理关键点的投影点；利用所述深度信息算法基于更新后的关联关系计算对应的深度信息，更新所述深度信息。6.根据权利要求5所述的方法，其中，在所述两帧图像的后一帧图像中待处理关键点的投影点的预设范围内遍历并确定所述新的投影点，用所述新的投影点替代所述待处理关键点的投影点，包括：确定所述待处理关键点在所述两帧图像的后一帧图像中的投影点所在位置的预设范围内的像素点...

【专利技术属性】
技术研发人员：唐凯涛，郝冬宁，
申请(专利权)人：湖北星纪魅族集团有限公司，
类型：发明
国别省市：