视觉特征点的深度恢复方法、装置、电子设备和存储介质制造方法及图纸

本公开涉及一种视觉特征点的深度恢复方法、装置、电子设备和存储介质，方法包括：获取视觉图像帧和激光点云帧，视觉图像帧包括多个视觉特征点，激光点云帧包括多个激光点；建立视觉图像帧中的视觉特征点和激光点云帧中的激光点的对应关系，对应关系包括与每个视觉特征点对应的N个激光点，对应的N个激光点构成视觉特征点的目标点云，N为大于等于3的正整数；对视觉特征点的目标点云进行筛选，以筛选得到符合平滑条件的平滑目标点云；基于符合平滑条件的平滑目标点云进行深度计算，以获取视觉特征点的激光深度。其可以过滤掉包括曲率偏大的尖锐激光点的目标点云，提高最终得到的视觉特征点的激光深度的准确率。征点的激光深度的准确率。征点的激光深度的准确率。

【技术实现步骤摘要】
视觉特征点的深度恢复方法、装置、电子设备和存储介质


[0001]本公开涉及自动驾驶
，尤其涉及一种视觉特征点的深度恢复方法、装置、电子设备和存储介质。

技术介绍

[0002]定位技术是自动驾驶技术中的核心技术，视觉即时定位与地图构建(Simultaneous Localization and Mapping，简称SLAM)是实现自动驾驶定位的主要方法之一。在视觉SLAM的定位与建图过程中，需要恢复出周围环境中各真实路标点的坐标信息，这就需要对视觉图像中的视觉特征点进行准确的深度恢复。
[0003]现有技术中视觉特征点的恢复深度方法，通常包括利用单目相机的三角测量法、利用双目相机的立体匹配算法或利用RGBD相机的红外传感方法。其中，利用单目相机的三角测量法应用较为广泛，该方法中通过采集视觉图像帧和激光点云帧，并建立视觉图像帧中的视觉特征点与激光点云帧中的激光点的关联关系，确定与每个视觉特征点关联的多个激光点，然后对上述多个激光点进行平面拟合，并可以基于平面拟合后得到的拟合平面进行深度计算，然而专利技术人在实现本专利技术的过程中发现，上述与每个视觉特征点关联的多个激光点存在曲率偏大的尖锐激光点，会影响深度计算结果的准确性。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种视觉特征点的深度恢复方法、装置、电子设备和存储介质。
[0005]第一方面，本公开提供了一种视觉特征点的深度恢复方法，所述方法包括：
[0006]获取视觉图像帧和激光点云帧，所述视觉图像帧包括多个视觉特征点，所述激光点云帧包括多个激光点；
[0007]建立所述视觉图像帧中的视觉特征点和所述激光点云帧中的激光点的对应关系，所述对应关系包括与每个视觉特征点对应的N个激光点，所述对应的N个激光点构成所述视觉特征点的目标点云，N为大于等于3的正整数；
[0008]对所述视觉特征点的目标点云进行筛选，以筛选得到符合平滑条件的平滑目标点云；
[0009]基于所述符合平滑条件的平滑目标点云进行深度计算，以获取所述视觉特征点的激光深度。
[0010]第二方面，本公开还提供了一种单目视觉初始化方法，包括：
[0011]确定进行单目视觉初始化的多个视觉图像帧中的参考视觉图像帧；
[0012]基于如上述所述的视觉特征点的深度恢复方法，确定所述多个视觉图像帧中能够进行深度恢复的第一视觉特征点的激光深度；
[0013]基于所述参考视觉图像帧的第一视觉特征点的激光深度，以及其他视觉图像帧的第一视觉特征点的激光深度，确定所述其他视觉图像帧的位姿估计结果，并基于所述其他
视觉图像帧的位姿估计结果，利用三角测量法确定其他视觉图像帧中与参考视觉图像帧中共同观测的第二视觉特征点的三角化深度，所述第二视觉特征点为不能够进行深度恢复的视觉特征点。
[0014]第三方面，本公开还提供了一种视觉特征点的深度恢复装置，包括：
[0015]第一获取模块，用于获取视觉图像帧和激光点云帧，所以视觉图像帧包括多个视觉特征点，所述激光点云帧包括多个激光点；
[0016]对应关系建立模块，用于建立所述视觉图像帧中的视觉特征点和所述激光点云帧中的激光点的对应关系，所述对应关系包括与每个视觉特征点对应的N个激光点，所述对应的N个激光点构成所述视觉特征点的目标点云，N为大于等于3的正整数；
[0017]筛选模块，用于对所述视觉特征点的目标点云进行筛选，以筛选得到符合平滑条件的平滑目标点云；
[0018]深度计算模块，用于基于所述符合平滑条件的平滑目标点云进行深度计算，以获取所述视觉特征点的激光深度。
[0019]第四方面，本公开还提供了一种单目视觉初始化装置，包括：
[0020]参考帧确定模块，用于确定进行单目视觉初始化的多个视觉图像帧中的参考视觉图像帧；
[0021]激光深度获取模块，用于如上所述的视觉特征点的深度恢复所述的装置，确定所述多个视觉图像帧中能够进行深度恢复的第一视觉特征点的激光深度；
[0022]三角化深度获取模块，用于基于所述参考视觉图像帧的第一视觉特征点的激光深度，以及其他视觉图像帧的第一视觉特征点的激光深度，确定所述其他视觉图像帧的位姿估计结果，并基于所述其他视觉图像帧的位姿估计结果，利用三角测量法确定其他视觉图像帧中与参考视觉图像帧中共同观测的第二视觉特征点的三角化深度，所述第二视觉特征点为不能够进行深度恢复的视觉特征点。
[0023]第五方面，本公开还提供了一种电子设备，所述电子设备包括：
[0024]一个或多个处理器；
[0025]存储装置，用于存储一个或多个程序；
[0026]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的视觉特征点的深度恢复方法或单目视觉初始化方法。
[0027]第六方面，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的视觉特征点的深度恢复方法或单目视觉初始化方法。
[0028]本公开实施例提供的技术方案与现有技术相比具有如下优点：
[0029]本公开实施例提供的技术方案通过设置对视觉特征点的目标点云进行筛选，以筛选得到符合平滑条件的平滑目标点云，其可以过滤掉包括曲率偏大的尖锐激光点的目标点云，在后续计算时，不会使用到包括曲率偏大的尖锐激光点的目标点云，也就不会受到尖锐激光点的影响，因此，可以提高最终得到的视觉特征点的激光深度的准确率。
附图说明
[0030]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0031]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0032]图1为本公开实施例提供的一种视觉特征点的深度恢复方法的流程图；
[0033]图2为本公开实施例提供的一种点云局部曲率的示意图；
[0034]图3为图1中S120的一种实现方法的流程图；
[0035]图4为本公开实施例提供的一种归一化平面的示意图；
[0036]图5为本公开实施例提供的一种采集设备采集激光点云帧的示意图；
[0037]图6为本公开实施例提供的一种用于实现S140的方法的流程图；
[0038]图7为本公开实施例提供的一种用于实现S210的方法的流程图；
[0039]图8和图9为本公开实施例提供的两种基于平滑目标点云拟合出的局部表面的示意图；
[0040]图10为本公开实施例提供的另一种用于实现S140的方法的流程图；
[0041]图11为本公开实施例提供的一种根据激光点平面的法向量确定视觉特征点的激光深度的原理的示意图；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉特征点的深度恢复方法，其特征在于，所述方法包括：获取视觉图像帧和激光点云帧，所述视觉图像帧包括多个视觉特征点，所述激光点云帧包括多个激光点；建立所述视觉图像帧中的视觉特征点和所述激光点云帧中的激光点的对应关系，所述对应关系包括与每个视觉特征点对应的N个激光点，所述对应的N个激光点构成所述视觉特征点的目标点云，N为大于等于3的正整数；对所述视觉特征点的目标点云进行筛选，以筛选得到符合平滑条件的平滑目标点云；基于所述符合平滑条件的平滑目标点云进行深度计算，以获取所述视觉特征点的激光深度。2.根据权利要求1所述的方法，其特征在于，对所述视觉特征点的目标点云进行筛选，以获取符合平滑条件的平滑目标点云，包括：计算所述目标点云中每个激光点对应的点云局部曲率；若至少5个激光点对应的局部点云曲率均小于第一设定阈值，则所述目标点云符合平滑条件。3.根据权利要求2所述的方法，其特征在于，所述计算所述目标点云中每个激光点对应的点云局部曲率，包括：其中，c即为当前激光点的点云局部曲率，X
r
为所述当前激光点对应的激光点集，|X
r
|表示所述激光点集中激光点的个数，r
i
表示所述当前激光点的深度，r
j
表示所述激光点集中其他激光点的深度。4.根据权利要求1所述的方法，其特征在于，获取的所述激光点云帧为不同时刻采集的多个激光点云帧，所述方法还包括：将所述不同时刻采集的激光坐标系下的多个激光点云帧转换到世界坐标系下；对所述世界坐标系下的多个激光点云帧进行累加，以得到累加后的局部点云地图；所述建立所述视觉图像帧中的视觉特征点和所述激光点云帧中的激光点的对应关系，包括：基于所述累加后的局部点云地图获取所述视觉图像帧的采集时刻的相机坐标系下的局部点云地图；将所述视觉图像帧中的视觉特征点和所述视觉图像帧的采集时刻的相机坐标系下的局部点云地图中的激光点均投影到相机归一化平面上；获得与每个视觉特征点对应的多个激光点，所述对应的多个激光点与所述视觉特征点在归一化平面上的距离小于或等于第二设定阈值。5.根据权利要求4所述的方法，其特征在于，所述获得与每个视觉特征点对应的N个激光点，包括：确定与所述视觉特征点在归一化平面上的距离小于或等于第二设定阈值的激光点，作为所述视觉特征点的邻域激光点；在所述邻域激光点中确定符合前景条件的激光点作为与所述视觉特征点对应的N个激
光点。6.一种单目视觉初始化方法，...

【专利技术属性】
技术研发人员：顾津铭，冯景怡，李昊来，张丹，
申请(专利权)人：驭势科技北京有限公司，
类型：发明
国别省市：