深度信息的确定方法、装置、终端及存储介质制造方法及图纸

本申请提供了一种深度信息的确定方法、装置、终端及存储介质，属于视觉里程计技术领域。该方法包括：获取第一图像和第二图像，第一图像和第二图像为安装在目标设备上的双目相机采集的；基于第一图像和第二图像，确定特征点对的第一坐标信息，特征点对包括第一图像中的第一特征点和第二图像中与第一特征点匹配的第二特征点；获取目标设备在世界坐标系下的姿态信息和目标设备距离参考面的高度信息；基于特征点对的第一坐标信息、高度信息和姿态信息，确定目标特征点在双目相机对应的坐标系下的深度信息。由于第一图像、第二图像、目标设备的姿态信息和高度信息不会受到外界光线的干扰，所以提高了确定的深度信息的精确性。所以提高了确定的深度信息的精确性。所以提高了确定的深度信息的精确性。

【技术实现步骤摘要】
深度信息的确定方法、装置、终端及存储介质


[0001]本申请涉及视觉里程计
，特别涉及一种深度信息的确定方法、装置、终端及存储介质。

技术介绍

[0002]目前，视觉里程计在自动驾驶、移动机器人和增强现实等领域得到了广泛的应用。例如，通过视觉里程计确定物体对应的特征点的深度信息，根据特征点的深度信息，确定物体的三维坐标。也即，在通过视觉里程计确定物体的三维坐标之前，需要确定物体对应的特征点的深度信息。
[0003]相关技术中，通过结构光法获取特征点的深度信息，该方法包括：通过结构光发射器向物体发射结构光，通过结构光接收器接收物体反射回来的结构光，根据物体造成的结构光的变化，确定物体对应的特征点的深度信息。
[0004]但是，在上述相关技术中，结构光容易受到太阳光等外界光线的干扰，这样当需要获取室外物体对应的特征点的深度信息时，结构光接收器接收物体反射回来的结构光中掺杂有部分外界光线，导致确定的特征点的深度信息的精确性低。

技术实现思路

[0005]本申请实施例提供了一种深度信息的确定方法、装置、终端及存储介质，能够提高确定目标对象的深度信息的精确性。所述技术方案如下：
[0006]根据本申请实施例的一方面，提供了一种深度信息的确定方法，所述方法包括：
[0007]获取第一图像和第二图像，所述第一图像和所述第二图像为安装在目标设备上的双目相机采集的；
[0008]基于所述第一图像和所述第二图像，确定特征点对的第一坐标信息，所述特征点对的第一坐标信息用于表示所述特征点对在归一化平面的坐标系下的坐标，所述特征点对包括所述第一图像中的第一特征点和所述第二图像中与所述第一特征点匹配的第二特征点；
[0009]获取所述目标设备在世界坐标系下的姿态信息和所述目标设备距离参考面的高度信息；
[0010]基于所述特征点对的第一坐标信息、所述高度信息和所述姿态信息，确定目标特征点在所述双目相机对应的坐标系下的深度信息，所述目标特征点为所述特征点对映射到所述参考面的特征点。
[0011]在一些实施例中，获取所述目标设备距离参考面的高度信息的过程，包括：
[0012]获取单点测距传感器采集的所述目标设备距离所述参考面的距离信息，所述单点测距传感器安装在所述目标设备上；
[0013]将所述距离信息确定为所述目标特征点在单点测距传感器坐标系下的高度值，得到第二坐标信息，所述第二坐标信息用于表示所述目标特征点在所述单点测距传感器坐标
系下的坐标；
[0014]根据所述第二坐标信息和所述姿态信息，确定所述目标设备距离参考面的高度信息。
[0015]在另一些实施例中，所述根据所述第二坐标信息和所述姿态信息，确定所述目标设备距离参考面的高度信息，包括：
[0016]获取所述单点测距传感器与所述双目相机之间的第一旋转参数和第一平移参数，基于所述第一旋转参数和所述第一平移参数，将所述第二坐标信息转换为第三坐标信息，所述第三坐标信息用于表示所述目标特征点在所述双目相机坐标系下的坐标；
[0017]根据所述第三坐标信息和所述姿态信息的乘积，确定所述目标设备在所述世界坐标系下的第四坐标信息；
[0018]基于所述第四坐标信息，确定所述目标设备距离参考面的高度信息。
[0019]在另一些实施例中，所述第四坐标信息包括所述目标设备在所述世界坐标系下的横向参数、纵向参数和第一高度参数；
[0020]所述基于所述第四坐标信息，确定所述目标设备距离参考面的高度信息，包括：
[0021]从所述第四坐标信息中确定第一高度参数，响应于所述第一高度参数的绝对值不大于第一预设高度值，确定所述第一高度参数为所述目标设备距离参考面的高度信息；
[0022]响应于所述第一高度参数的绝对值大于所述第一预设高度值，获取所述目标设备的状态信息，所述状态信息包括所述目标设备当前的第二高度参数，确定所述第二高度参数为所述目标设备距离参考面的高度信息。
[0023]在另一些实施例中，所述获取单点测距传感器采集的所述目标设备距离所述参考面的距离信息，包括：
[0024]获取所述单点测距传感器在预设时长内采集的多个历史距离，确定所述多个历史距离的距离中值；
[0025]响应于所述单点测距传感器采集的当前距离与所述距离中值之间的差值小于预设距离阈值，确定所述当前距离为所述距离信息；响应于所述当前距离与所述距离中值之间的差值大于所述预设距离阈值，确定所述距离中值为所述距离信息。
[0026]在另一些实施例中，所述基于所述特征点对的第一坐标信息、所述高度信息和所述姿态信息，确定目标特征点在所述双目相机对应的坐标系下的深度信息，包括：
[0027]从所述第一坐标信息中确定参考特征点的第一坐标，确定所述高度信息与第一目标值的比值，将所述比值作为所述参考特征点在所述双目相机对应的坐标系下的目标深度，所述参考特征点为所述第一特征点和所述第二特征点中的至少一个，所述第一目标值为基于所述第一坐标和所述姿态信息的乘积确定的；
[0028]基于所述目标深度，确定目标特征点在所述双目相机对应的坐标系下的深度信息。
[0029]在另一些实施例中，所述基于所述目标深度，确定目标特征点在所述双目相机对应的坐标系下的深度信息，包括：
[0030]所述参考特征点为所述第一特征点或者所述第二特征点时，将所述目标深度作为所述深度信息。
[0031]在另一些实施例中，从所述第一图像和所述第二图像中确定特征点对的过程，包
括：
[0032]从所述第一图像中提取第一特征点，在所述第二图像中确定与所述第一特征点匹配的第二特征点；
[0033]在所述第一图像中确定与所述第二特征点匹配的第三特征点；
[0034]若所述第一特征点和所述第三特征点之间的距离小于第一预设距离，将所述第一特征点和所述第二特征点组成特征点对。
[0035]在另一些实施例中，从所述第一图像和所述第二图像中确定特征点对的过程，包括：
[0036]从所述第一图像中提取第一特征点，在所述第二图像中确定与所述第一特征点匹配的第二特征点；
[0037]确定所述第二特征点对应的极线；
[0038]响应于所述第一特征点与所述极线之间的距离小于第二预设距离，将所述第一特征点和所述第二特征点组成特征点对。
[0039]在另一些实施例中，所述确定所述第二特征点对应的极线，包括：
[0040]获取所述双目相机中第一相机与第二相机之间的第二旋转参数和第二平移参数；
[0041]确定所述第二特征点在归一化平面的坐标系下的第二坐标；
[0042]根据所述第二坐标、所述第二旋转参数和所述第二平移参数的反对称矩阵的乘积，确定极线方程的参数，得到所述第二特征点对应的极线。
[0043]在另一些实施例中，第一特征点的数量为多个，所述从所述第一图像中提取第一特征点，包括：
[0044]确定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度信息的确定方法，其特征在于，所述方法包括：获取第一图像和第二图像，所述第一图像和所述第二图像为安装在目标设备上的双目相机采集的；基于所述第一图像和所述第二图像，确定特征点对的第一坐标信息，所述特征点对的第一坐标信息用于表示所述特征点对在归一化平面的坐标系下的坐标，所述特征点对包括所述第一图像中的第一特征点和所述第二图像中与所述第一特征点匹配的第二特征点；获取所述目标设备在世界坐标系下的姿态信息和所述目标设备距离参考面的高度信息；基于所述特征点对的第一坐标信息、所述高度信息和所述姿态信息，确定目标特征点在所述双目相机对应的坐标系下的深度信息，所述目标特征点为所述特征点对映射到所述参考面的特征点。2.根据权利要求1所述的方法，其特征在于，获取所述目标设备距离参考面的高度信息的过程，包括：获取单点测距传感器采集的所述目标设备距离所述参考面的距离信息，所述单点测距传感器安装在所述目标设备上；将所述距离信息确定为所述目标特征点在单点测距传感器坐标系下的高度值，得到第二坐标信息，所述第二坐标信息用于表示所述目标特征点在所述单点测距传感器坐标系下的坐标；根据所述第二坐标信息和所述姿态信息，确定所述目标设备距离参考面的高度信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述第二坐标信息和所述姿态信息，确定所述目标设备距离参考面的高度信息，包括：获取所述单点测距传感器与所述双目相机之间的第一旋转参数和第一平移参数，基于所述第一旋转参数和所述第一平移参数，将所述第二坐标信息转换为第三坐标信息，所述第三坐标信息用于表示所述目标特征点在所述双目相机坐标系下的坐标；根据所述第三坐标信息和所述姿态信息的乘积，确定所述目标设备在所述世界坐标系下的第四坐标信息；基于所述第四坐标信息，确定所述目标设备距离参考面的高度信息。4.根据权利要求3所述的方法，其特征在于，所述第四坐标信息包括所述目标设备在所述世界坐标系下的横向参数、纵向参数和第一高度参数；所述基于所述第四坐标信息，确定所述目标设备距离参考面的高度信息，包括：从所述第四坐标信息中确定第一高度参数，响应于所述第一高度参数的绝对值不大于第一预设高度值，确定所述第一高度参数为所述目标设备距离参考面的高度信息；响应于所述第一高度参数的绝对值大于所述第一预设高度值，获取所述目标设备的状态信息，所述状态信息包括所述目标设备当前的第二高度参数，确定所述第二高度参数为所述目标设备距离参考面的高度信息。5.根据权利要求2所述的方法，其特征在于，所述获取单点测距传感器采集的所述目标设备距离所述参考面的距离信息，包括：获取所述单点测距传感器在预设时长内采集的多个历史距离，确定所述多个历史距离的距离中值；
响应于所述单点测距传感器采集的当前距离与所述距离中值之间的差值小于预设距离阈值，确定所述当前距离为所述距离信息；响应于所述当前距离与所述距离中值之间的差值大于所述预设距离阈值，确定所述距离中值为所述距离信息。6.根据权利要求1所述的方法，其特征在于，所述基于所述特征点对的第一坐标信息、所述高度信息和所述姿态信息，确定目标特征点在所述双目相机对应的坐标系下的深度信息，包括：从所述第一坐标信息中确定参考特征点的第一坐标，确定所述高度信息与第一目标值的比值，将所述比值作为所述参考特征点在所述双目相机对应的坐标系下的目标深度，所述参考特征点为所述第一特征点和所述第二特征点中的至少一个，所述第一目标值为基于所述第一坐标和所述姿态信息的乘积确定的；基于所述目标深度，确定目标特征点在所述双目相机对应的坐标系下的深度信息。7.根据权利要求6所述的方法，其特征在于，所述基于所述目标深度，确定目标特征点在所...

【专利技术属性】
技术研发人员：胡君，臧波，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：