一种特征点的深度估计方法和装置制造方法及图纸

本发明专利技术公开了一种特征点的深度估计方法和装置，涉及计算机视觉领域。该方法的一具体实施方式包括：根据激光点和特征点的归一化坐标，确定在归一化平面中是否存在距离该特征点小于或等于阈值距离的至少三个激光点；若存在，则确定该特征点在真实世界坐标系下与该至少三个激光点共面，根据该至少三个激光点在真实世界坐标系下的三维坐标计算该特征点对应于图像的深度值；若不存在，则通过三角化处理得到该特征点对应于图像的深度值。该实施方式降低了激光建图对空间几何特征依赖性强，单目相机获得的三维图形质量低的技术问题，提高了单目相机的探测范围和特征点深度值的测量精确度，提升了建图的质量。提升了建图的质量。提升了建图的质量。

【技术实现步骤摘要】
一种特征点的深度估计方法和装置


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种特征点的深度值估计方法和装置。

技术介绍

[0002]当前三维建图在人工智能领域的应用范围越来越广泛，现有的三维建图方案主要是激光三维建图和视觉三维建图两种。激光三维建图主要依靠激光传感器生成三维点云，然后通过ICP(Iterative Close Point，迭代最近点算法)方法进行位姿估计与点云拼接，从而得到三维图形。视觉三维建图大多采用深度相机，深度相机可以通过物理测量方法直接测得像素点的空间距离，即每一帧都可以直接得到一个三维点云，通过拼接多个三维点云的数据进行三维建图。
[0003]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：
[0004]1.激光建图主要依靠激光测距，其对空间几何特征具有强依赖性，无法获得环境纹理信息，因此在长走廊等几何特征不明显的场景中无法应用。
[0005]2.深度相机对日光比较敏感，因此视觉三维建图的应用场景以室内应用为主，室外应用较少；同时由于其探测的有效范围有限，精度较低，生成的深度图中存在较多的无效点和噪点，因此得到的三维图形质量较低。

技术实现思路

[0006]有鉴于此，本专利技术实施例提供一种特征点的深度值估计方法和装置，降低了激光建图对空间几何特征依赖性强，单目相机获得的三维图形质量低的技术问题，拓展了单目相机的适用场景，同时提高了单目相机的探测范围和特征点深度值的测量精确度，从而提升了三维图形的质量。
[0007]为实现上述目的，根据本专利技术实施例的一个方面，提供了一种特征点的深度估计方法，包括：
[0008]通过激光传感器采集激光点云，将激光点云映射到单目相机的归一化平面，以得到激光点云中的激光点的归一化坐标，其中，归一化平面指的是深度值为预定义值的平面；
[0009]通过单目相机采集一帧或多帧图像，从图像中提取特征点，并将特征点的二维像素坐标映射到归一化平面，以得到特征点的归一化坐标；
[0010]根据激光点的归一化坐标和特征点的归一化坐标，确定在归一化平面中是否存在距离特征点小于或等于阈值距离的至少三个激光点；
[0011]若存在，则确定特征点在真实世界坐标系下与至少三个激光点共面，根据至少三个激光点在真实世界坐标系下的三维坐标计算特征点对应于图像的深度值；
[0012]若不存在，则通过三角化处理得到特征点对应于图像的深度值。
[0013]进一步地，将激光点的归一化坐标存储至k-dimensional树，通过查找k-dimensional树确定在归一化平面中是否存在距离特征点小于或等于阈值距离的至少三个激光点。
[0014]进一步地，将激光点云映射到归一化平面的过程包括：从激光点云中提取边缘点和平面点，将边缘点和平面点通过激光传感器和单目相机的位姿转换矩阵映射到归一化平面，得到激光点的归一化坐标。
[0015]进一步地，将特征点的二维像素坐标映射到归一化平面，以得到特征点的归一化坐标的过程包括：根据单目相机的内参数矩阵，将特征点的二维像素坐标映射为特征点的归一化坐标。
[0016]进一步地，根据至少三个激光点在真实世界坐标系下的三维坐标计算特征点对应于图像的深度值的过程包括：根据特征点在真实世界坐标系下与至少三个激光点的共面关系，通过至少三个激光点中的三个激光点在真实世界坐标系下的三维坐标，计算得到特征点在真实世界坐标系下的三维坐标，再根据特征点在真实世界坐标系下的三维坐标计算特征点对应于图像的深度值。
[0017]进一步地，三角化处理的过程包括：根据单目相机在特征点对应的两帧图像之间的位姿转换矩阵，计算特征点对应于图像的深度值。
[0018]进一步地，深度估计方法还包括：
[0019]根据特征点对应于一帧或多帧图像的二维像素坐标和真实世界坐标系下的三维坐标，通过最小二乘优化算法，计算图像的位姿转换矩阵，其中，真实世界坐标系下的三维坐标与一帧或多帧图像对应的深度值相关；
[0020]根据单目相机的内参数矩阵和图像的位姿转换矩阵，计算优化后的特征点对应于图像的真实世界坐标系下的三维坐标；
[0021]根据特征点在真实世界坐标系下的三维坐标计算特征点对应于图像的优化深度值。
[0022]根据本专利技术的另一方面，提供了一种特征点的深度估计装置，包括：激光点云采集模块，用于通过激光传感器采集激光点云；
[0023]激光点的坐标映射模块，用于将激光点云映射到单目相机的归一化平面，以得到激光点云中激光点的归一化坐标，其中，归一化平面指的是深度值为预定义值的平面；
[0024]图像采集模块，用于通过单目相机采集一帧或多帧图像；
[0025]特征点提取模块，用于从图像中提取特征点；
[0026]特征点的坐标映射模块，用于将特征点的二维像素坐标映射到归一化平面，以得到特征点的归一化坐标；
[0027]激光点确定模块，用于根据激光点的归一化坐标和特征点的归一化坐标，确定在归一化平面中是否存在距离特征点小于或等于阈值距离的至少三个激光点；
[0028]深度值求解模块，若在归一化平面中存在距离特征点小于或等于阈值距离的至少三个激光点，则确定特征点在真实世界坐标系下与至少三个激光点共面，深度值求解模块用于根据至少三个激光点在真实世界坐标系下的三维坐标计算特征点对应于图像的深度值；
[0029]三角化处理模块，若在归一化平面中不存在距离特征点小于或等于阈值距离的至少三个激光点，三角化处理模块用于将特征点进行三角化处理得到特征点对应于图像的深度值。
[0030]根据本专利技术实施例的另一方面，提供了一种终端装置，包括：一个或多个处理器；
存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述的方法。
[0031]根据本专利技术实施例的另一方面，还提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一种方法。
[0032]上述专利技术中的一个实施例具有如下优点或有益效果：因为采用激光传感器采集激光点云，将激光点云映射到归一化平面，以得到激光点云中的激光点的归一化坐标；通过单目相机采集一帧或多帧图像，从图像中提取特征点，并将特征点的二维像素坐标映射到归一化平面，以得到特征点的归一化坐标；根据激光点的归一化坐标和特征点的归一化坐标，确定在归一化平面中是否存在距离特征点小于或等于阈值距离的至少三个激光点；若存在，则确定特征点在真实世界坐标系下与至少三个激光点共面，根据至少三个激光点在真实世界的深度值计算特征点对应于图像的深度值；若不存在，则通过三角化处理得到特征点对应于图像的深度值的技术手段，所以克服了现有技术中激光建图对空间几何特征依赖性强，单目相机获得的三维图形质量低的技术问题，拓展了单目相机的适用场景，同时提高了单目相机的探测范围和特征点深度值的测量精确度，从而提升了三维图形的质量。
[0033]上述的非惯用的可选方式所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征点的深度估计方法，其特征在于，包括：通过激光传感器采集激光点云，将所述激光点云映射到单目相机的归一化平面，以得到所述激光点云中的激光点的归一化坐标，其中，所述归一化平面指的是深度值为预定义值的平面；通过所述单目相机采集一帧或多帧图像，从所述图像中提取特征点，并将所述特征点的二维像素坐标映射到所述归一化平面，以得到所述特征点的归一化坐标；根据所述激光点的归一化坐标和所述特征点的归一化坐标，确定在所述归一化平面中是否存在距离所述特征点小于或等于阈值距离的至少三个激光点；若存在，则确定所述特征点在真实世界坐标系下与所述至少三个激光点共面，根据所述至少三个激光点在真实世界坐标系下的三维坐标计算所述特征点对应于所述图像的深度值；若不存在，则通过三角化处理得到所述特征点对应于所述图像的深度值。2.根据权利要求1所述的特征点的深度估计方法，其特征在于，将所述激光点的归一化坐标存储至k-dimensional树，通过查找所述k-dimensional树确定在所述归一化平面中是否存在距离所述特征点小于或等于阈值距离的至少三个激光点。3.根据权利要求1所述的特征点的深度估计方法，其特征在于，所述将激光点云映射到所述归一化平面的过程包括：从所述激光点云中提取边缘点和平面点，将所述边缘点和所述平面点通过所述激光传感器和所述单目相机的位姿转换矩阵映射到所述归一化平面，得到所述激光点的归一化坐标。4.根据权利要求3所述的特征点的深度估计方法，其特征在于，所述将所述特征点的二维像素坐标映射到所述归一化平面，以得到所述特征点的归一化坐标的过程包括：根据所述单目相机的内参数矩阵，将所述特征点的二维像素坐标映射为所述特征点的归一化坐标。5.根据权利要求1所述的特征点的深度估计方法，其特征在于，根据所述至少三个激光点在真实世界坐标系下的三维坐标计算所述特征点对应于所述图像的深度值的过程包括：根据所述特征点在真实世界坐标系下与所述至少三个激光点的共面关系，通过所述至少三个激光点中的三个激光点在真实世界坐标系下的三维坐标，计算得到所述特征点在真实世界坐标系下的三维坐标，再根据所述特征点在真实世界坐标系下的三维坐标计算所述特征点对应于所述图像的深度值。6.根据权利要求1所述的特征点的深度估计方法，其特征在于，所述三角化处理的过程包括：根据单目相机在所述特征点对应...

【专利技术属性】
技术研发人员：张鹏，康轶非，许腾，
申请(专利权)人：北京京东乾石科技有限公司，
类型：发明
国别省市：