视觉定位方法及相关装置、设备制造方法及图纸

本申请公开了一种视觉定位方法及相关装置、设备，其中，视觉定位方法包括：获取相机的重力信息；利用重力信息，获取相机在预设运动状态下拍摄的当前图像的相机位姿参数；基于当前图像的相机位姿参数，获取当前图像之后的待处理图像的相机位姿参数。上述方案，降低视觉定位技术的使用成本、扩大视觉定位技术的使用范围。范围。范围。

【技术实现步骤摘要】
视觉定位方法及相关装置、设备


[0001]本申请涉及计算机视觉
，特别是涉及一种视觉定位方法及相关装置、设备。

技术介绍

[0002]随着电子信息技术的发展，SLAM(Simultaneous Localization And Mapping，即时定位与地图构建)等视觉定位技术已逐渐应用于自动驾驶、室内导航、AR(Augmented Reality，增强现实)、VR(Virtual Reality，虚拟现实)等领域。
[0003]SLAM等视觉定位技术通过获取移动设备的相机位姿，完成移动设备的自主定位、导航等任务，其本质上是复杂的数学问题。目前，SLAM等视觉定位技术在硬件上依赖于传感器，通常需要相机、加速度计、重力计、IMU(Inertial Measurement Unit，惯性测量单元)等传感器。然而，在实际应用中，一般只有中高端移动设备才完整地配置上述传感器。低端移动设备所配置的传感器一般较少，且一般不会配置IMU，从而导致现有的视觉定位技术的使用成本较高，且使用范围较窄。有鉴于此，如何降低视觉定位技术的使用成本、扩大视觉定位技术的使用范围成为亟待解决的问题。

技术实现思路

[0004]本申请提供一种视觉定位方法及相关装置、设备。
[0005]本申请第一方面提供了一种视觉定位方法，包括：获取相机的重力信息；利用重力信息，获取相机在预设运动状态下拍摄的当前图像的相机位姿参数；基于当前图像的相机位姿参数，获取当前图像之后的待处理图像的相机位姿参数。
[0006]因此，通过获取相机的重力信息，从而利用重力信息，获取相机在预设运动状态下拍摄的当前图像的相机位姿参数，并基于当前图像的相机位姿参数，获取当前图像之后的待处理图像的相机位姿参数，进而能够只依赖于相机和重力信息来进行视觉定位，故能够降低视觉定位技术的使用成本，扩大视觉定位技术的使用范围。
[0007]其中，重力信息包括重力方向信息，基于当前图像的相机位姿参数，获取当前图像之后的待处理图像的相机位姿参数之前，还包括：获取当前图像中的特征点的特征方向信息；利用特征点的特征方向信息和重力方向信息，得到当前图像中特征点的深度信息；基于当前图像的相机位姿参数，获取当前图像之后的待处理图像的相机位姿参数包括：基于当前图像中特征点的深度信息和当前图像的相机位姿参数，获取当前图像之后的待处理图像中特征点的深度信息和待处理图像的相机位姿参数。
[0008]因此，通过获取当前图像中特征点的特征方向信息，并利用特征点的特征方向信息和重力信息所包含的重力方向信息，得到当前图像中特征点的深度信息，故能够仅基于当前图像来初始化当前图像中特征点的深度信息和当前图像的相机位姿参数，且能够基于当前图像中特征点的深度信息和当前图像的相机位姿参数，获取当前图像之后的待处理图像中特征点的深度信息和待处理图像的相机位姿参数，而无需扫描多帧图像来进行初始化
工作，从而能够提高视觉定位的响应速度。
[0009]其中，特征方向信息包括特征点的方向向量，重力方向信息包括重力向量，深度信息包括特征点的深度值；利用特征点的特征方向信息和重力方向信息，得到当前图像中特征点的深度信息包括：对特征点的方向向量和重力向量进行第一预设运算，得到特征点的方向向量和重力向量之间的夹角；对相机的预设高度和夹角进行第二预设运算，得到特征点的深度值。
[0010]因此，特征方向信息设置为包括特征点的方向向量，重力方向信息设置为包括重力向量，深度信息设置为包括特征点的深度值，从而对特征点的方向向量和重力向量进行第一预设运算，得到特征点的方向向量和重力向量之间的夹角，从而对相机的预设高度和夹角进行第二预设运算，得到特征点的深度值，故能够有利于降低获取特征点深度值的计算复杂度。
[0011]其中，第一预设运算包括内积运算，和/或，第二预设运算包括将预设高度除以夹角的余弦值。
[0012]因此，将第一预设运算设置为包括内积运算，能够有利于降低获取方向向量和重力向量之间夹角的复杂度，将第二预设运算设置为包括将预设高度除以夹角的余弦值，能够有利于降低获取深度值的复杂度。
[0013]其中，基于当前图像中特征点的深度信息和当前图像的相机位姿参数，获取当前图像之后的待处理图像中特征点的深度信息和待处理图像的相机位姿参数包括：利用预设位姿跟踪方式对当前图像中特征点的深度信息、当前图像的相机位姿参数进行跟踪处理，得到当前图像的下一帧图像中特征点的深度信息和下一帧图像的相机位姿参数；将下一帧图像作为当前图像，并重新执行利用预设位姿跟踪方式对当前图像中特征点的深度信息、当前图像的相机位姿参数进行跟踪处理的步骤以及后续步骤。
[0014]因此，利用预设位姿跟踪方式对当前图像中特征点的深度信息、当前图像的相机位姿参数进行跟踪处理，得到当前图像的下一帧图像中特征点的深度信息和下一帧图像的相机位姿参数，从而将下一帧图像作为当前图像，并重新执行利用预设位姿跟踪方式对当前图像中特征点的深度信息、当前图像的相机位姿参数进行跟踪处理的步骤以及后续步骤，进而能够逐帧计算相机位姿参数，有利于降低相机位姿参数的累积误差。
[0015]其中，利用预设位姿跟踪方式对当前图像中特征点的深度信息、当前图像的相机位姿参数进行跟踪处理，得到当前图像的下一帧图像中特征点的深度信息和下一帧图像的相机位姿参数，包括：利用当前图像中特征点的深度信息，确定特征点在下一帧图像中的投影点，基于特征点在当前图像中局部区域的像素值和投影点在下一帧图像中局部区域的像素值之间的差异，得到当前图像与下一帧图像之间的位姿变换参数，利用位姿变换参数和当前图像的相机位姿参数，得到下一帧图像的相机位姿参数，利用已经收敛的三维点，优化下一帧图像的相机位姿参数，获取特征点的深度信息的概率分布，并利用概率分布，得到下一帧图像中特征点的深度信息。
[0016]因此，通过利用当前图像中特征点的深度信息，确定特征点在下一帧图像中的投影点，从而基于特征点在当前图像中局部区域的像素值和投影点在下一帧图像中局部区域的像素值之间的差异，得到当前图像与下一帧图像之间的位姿变换参数，并利用位姿变换参数和当前图像的相机位姿参数，得到下一帧图像的相机位姿参数，利用已经收敛的三维
点，优化下一帧图像的相机位姿参数，从而可以对相机位姿参数进行进一步的优化，有利于提高相机位姿参数的准确性；而通过获取特征点的深度信息的概率分布，并利用概率分布，得到下一帧图像中特征点的深度信息，从而能够基于深度信息的分布概率，在拍摄过程中对深度信息进行优化。
[0017]其中，相机位姿参数包括旋转参数和位移参数；基于当前图像的相机位姿参数，获取当前图像之后的待处理图像的相机位姿参数之后，方法还包括：响应于待处理图像的相机位姿参数不满足预设稳定状态条件，确定无法获取待处理图像的位移参数；以及，利用待处理图像的上一帧图像的像素值和上一帧图像的相机位姿参数，得到待处理图像的旋转参数。
[0018]因此，相机位姿参数设置为包括旋转参数和位移参数，且在获取当前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉定位方法，其特征在于，包括：获取相机的重力信息；利用所述重力信息，获取所述相机在预设运动状态下拍摄的当前图像的相机位姿参数；基于所述当前图像的相机位姿参数，获取所述当前图像之后的待处理图像的相机位姿参数。2.根据权利要求1所述的方法，其特征在于，所述重力信息包括重力方向信息，所述基于所述当前图像的相机位姿参数，获取所述当前图像之后的待处理图像的相机位姿参数之前，所述方法还包括：获取所述当前图像中的特征点的特征方向信息；利用所述特征点的特征方向信息和所述重力方向信息，得到所述当前图像中所述特征点的深度信息；所述基于所述当前图像的相机位姿参数，获取所述当前图像之后的待处理图像的相机位姿参数包括：基于所述当前图像中所述特征点的深度信息和所述当前图像的相机位姿参数，获取所述当前图像之后的待处理图像中所述特征点的深度信息和所述待处理图像的相机位姿参数。3.根据权利要求2所述的方法，其特征在于，所述特征方向信息包括所述特征点的方向向量，所述重力方向信息包括重力向量，所述深度信息包括所述特征点的深度值；所述利用所述特征点的特征方向信息和所述重力方向信息，得到所述当前图像中所述特征点的深度信息包括：对所述特征点的所述方向向量和所述重力向量进行第一预设运算，得到所述特征点的所述方向向量和所述重力向量之间的夹角；对所述相机的预设高度和所述夹角进行第二预设运算，得到所述特征点的深度值。4.根据权利要求3所述的方法，其特征在于，所述第一预设运算包括内积运算；和/或，所述第二预设运算包括将所述预设高度除以所述夹角的余弦值。5.根据权利要求2所述的方法，其特征在于，所述基于所述当前图像中所述特征点的深度信息和所述当前图像的相机位姿参数，获取所述当前图像之后的待处理图像中所述特征点的深度信息和所述待处理图像的相机位姿参数包括：利用预设位姿跟踪方式对所述当前图像中所述特征点的深度信息、所述当前图像的相机位姿参数进行跟踪处理，得到所述当前图像的下一帧图像中所述特征点的深度信息和所述下一帧图像的相机位姿参数；将所述下一帧图像作为所述当前图像，并重新执行所述利用预设位姿跟踪方式对所述当前图像中所述特征点的深度信息、所述当前图像的相机位姿参数进行跟踪处理的步骤以及后续步骤。6.根据权利要求5所述的方法，其特征在于，所述利用预设位姿跟踪方式对所述当前图像中所述特征点的深度信息、所述当前图像的相机位姿参数进行跟踪处理，得到所述当前图像的下一帧图像中所述特征点的深度信息和所述下一帧图像的相机位姿参数，包括：利用所述当前图像中所述特征点的深度信息，确定所述特征点在所述下一帧图像中的
投影点；基于所述特征点在所述当前图像中局部区域的像素值与所述投影点在所述下一帧图像中局部区域的像素值之间的差异，得到所述当前图像与所述下一帧图像之间的位姿变换参数；利用所述位姿变换参数和所述当前图像的相机位姿参数，得到所述下一帧图像的相机位姿参数；利用已经收敛的三维点，优化所述下一帧图像的相机位姿参数；获取所述特征点的深度信息的概率分布，并利用所述概率分布，得到下一帧图像中所述特征点的深度信息。7.根据权利要求1所述的方法，其特征在于，所述相机位姿参数包括旋转参数和位移参数；所述基于所述当前图像的相机位姿参数，获取所述当前图像之后的待处理图像的相机位姿参数之后，所述方法还包括：响应于所述待处理图像的相机位姿参数不满足预设稳定状态条件，确定无法获取所述待处理图像的位移参数；以及，利用所述待处理图像的上一帧图像...

【专利技术属性】
技术研发人员：黄凯，章国锋，鲍虎军，王楠，舒向前，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：