位姿优化方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种位姿优化方法、装置、电子设备及存储介质，该位姿优化方法包括：基于移动设备拍摄的第一图像，确定移动设备的当前预测位姿；第一图像包括移动设备处于当前位置时拍摄的当前帧图像以及移动设备处于当前位置之前的起始位置时拍摄的起始帧图像；确定移动设备在移动到当前位置时，所经历的目标移动过程对应的移动参数信息；获取移动设备的多个估计位姿信息，多个估计位姿信息包括起始帧图像及当前帧图像分别对应的估计位姿信息以及起始帧图像和当前帧图像之间的多帧图像分别对应的估计位姿信息；基于移动参数信息以及多个估计位姿信息对当前预测位姿进行优化，得到当前优化位姿。本公开实施例，可以提高视觉定位的精度。位的精度。位的精度。

【技术实现步骤摘要】
位姿优化方法、装置、电子设备及存储介质


[0001]本公开涉及计算机视觉
，具体而言，涉及一种位姿优化方法、装置、电子设备和存储介质。

技术介绍

[0002]目前，通过视觉来进行无人设备的定位，是机器人、无人机、自动导航及增强现实领域应用的重要组成部分，由于单目相机具有低成本、轻量化和易于安装的特点，在视觉定位中得到了广泛应用。但是，通过单目相机采集的图像数据不能提供这些物体真实的三维大小信息，因此无法确定单目视觉里程计的尺度，进而使得位姿计算存在一定的误差。

技术实现思路

[0003]本公开实施例至少提供一种位姿优化方法、装置、电子设备及存储介质。
[0004]第一方面，本公开实施例提供了一种位姿优化方法，包括：
[0005]基于移动设备拍摄的第一图像，确定所述移动设备的当前预测位姿；所述第一图像包括所述移动设备处于当前位置时拍摄的当前帧图像以及所述移动设备处于所述当前位置之前的起始位置时拍摄的起始帧图像；
[0006]确定所述移动设备在移动到所述当前位置时，所经历的目标移动过程对应的移动参数信息；所述目标移动过程位于所述起始位置与所述当前位置之间；
[0007]获取所述移动设备的多个估计位姿信息，所述多个估计位姿信息包括所述起始帧图像对应的估计位姿信息、所述当前帧图像对应的估计位姿信息以及所述起始帧图像和所述当前帧图像之间的多帧图像分别对应的估计位姿信息；
[0008]基于所述移动参数信息以及所述多个估计位姿信息对所述当前预测位姿进行优化，得到当前优化位姿。
[0009]本公开实施例中，通过获取移动设备在移动到当前位置时，所经历的目标移动过程对应的移动参数信息，来恢复视觉里程计的尺度信息，并基于该尺度信息对当前预测位姿进行优化，进而可以提高位姿的计算精度。另外，该方法将获取的移动参数信息作为尺度约束，进而来得到一个优化位姿信息，计算的复杂度较低，降低了对设备的性能的要求(比如应用在一些低端手机上)，从而提高了该方法的适应性。
[0010]根据第一方面，在一种可能的实施方式中，所述移动参数信息包括移动距离；
[0011]所述确定所述移动设备在移动到当前位置时，所经历的目标移动过程对应的移动参数信息，包括：
[0012]基于行人航位推算法，确定所述移动设备在移动到所述当前位置时，所经历的所述目标移动过程对应的所述移动距离；
[0013]所述基于所述移动参数信息以及所述多个估计位姿信息对所述当前预测位姿进行优化，得到当前优化位姿，包括：
[0014]基于所述移动距离，以及所述多个估计位姿信息对所述当前预测位姿进行优化，
得到所述当前优化位姿。
[0015]本公开实施例中，基于行人航位推算法来确定所述目标移动过程对应的所述移动距离，可以简化移动距离的确定过程，提高了移动距离的确定效率，进而提高了位姿优化方法的运算效率。
[0016]根据第一方面，在一种可能的实施方式中，所述基于所述移动距离，以及所述多个估计位姿信息对所述当前预测位姿进行优化，得到所述当前优化位姿，包括：
[0017]确定所述目标移动过程对应的移动起始时间和移动结束时间；
[0018]根据图像拍摄时间，确定所述移动起始时间对应的移动初始帧图像和所述移动结束时间对应的移动结束帧图像，并分别确定与所述移动初始帧图像和移动结束帧图像对应的移动初始估计位姿以及移动结束估计位姿；
[0019]将所述移动距离确定为所述移动初始估计位姿以及移动结束估计位姿之间的距离，并结合所述多个估计位姿信息，对所述当前预测位姿进行优化，得到所述当前优化位姿。
[0020]本公开实施例中，根据图像拍摄时间以及目标移动过程对应的移动起始时间和移动结束时间，确定与所述移动初始帧图像和移动结束帧图像对应的移动初始估计位姿以及移动结束估计位姿，并将所述移动距离确定为所述移动初始估计位姿以及移动结束估计位姿之间的距离，如此使得移动初始估计位姿以及移动结束估计位姿之间得到了距离的约束，进而可以实现对当前预测位姿的优化，提高了视觉定位的精度。
[0021]根据第一方面，在一种可能的实施方式中，所述基于行人航位推算法，确定所述移动设备在移动到所述当前位置时，所经历的所述目标移动过程对应的移动距离，包括：
[0022]获取所述移动设备的用户在所述目标移动过程中的行走步数；
[0023]基于所述行走步数以及所述用户的步长，确定所述移动距离。
[0024]本公开实施例中，由于利用用户的行走步数以及步长来确定移动距离，因此只需要精度较低的IMU(Inertial Measurement Unit，惯性测量单元)即可实现，进而可以在提高定位精度的同时降低对IMU精度的要求，使得该方法可以在算力受限场景下(例如，低端手机的小程序上)进行室内定位。
[0025]根据第一方面，在一种可能的实施方式中，所述移动参数信息还包括移动速度；
[0026]所述确定所述移动设备在移动到当前位置时，所经历的目标移动过程对应的移动参数信息，还包括：
[0027]确定所述移动设备在移动到所述当前位置时，所经历的所述目标移动过程对应的所述移动速度；
[0028]所述基于所述移动距离，以及所述多个估计位姿信息对所述当前预测位姿进行优化，得到所述当前优化位姿，包括：
[0029]基于所述移动距离、所述移动速度，以及所述多个估计位姿信息对所述当前预测位姿进行优化，得到所述当前优化位姿。
[0030]本公开实施例中，在确定移动距离之后还确定移动速度，使得用户行走一步的距离所对应多帧图像的对应估计位姿信息也得到了距离的约束，进而进一步提高了当前预测位姿的优化精度。
[0031]根据第一方面，在一种可能的实施方式中，所述确定所述移动设备在移动到所述
当前位置时，所经历的所述目标移动过程对应的所述移动速度，包括：
[0032]获取所述移动设备的用户的历史运动速度；
[0033]基于运动模型和所述历史运动速度预测所述移动速度。
[0034]本公开实施例中，通过运动模型和历史运动速度来预测该目标过程的移动速度，相较于直接基于IMU测量的用户行走的速度，可以提高参数获取的精度。
[0035]根据第一方面，在一种可能的实施方式中，在得到所述当前优化位姿之后，所述方法还包括：
[0036]判断所述当前优化位姿的误差是否小于预设阈值；
[0037]在所述当前优化位姿的误差超过所述预设阈值的情况下，获取所述移动设备的当前预测速度以及当前朝向；
[0038]基于所述当前优化位姿、所述当前预测速度以及所述当前朝向，确定所述移动设备的实时位姿信息。
[0039]本公开实施例中，在当前优化位姿的误差超过所述预设阈值的情况下，也即视觉跟踪结果比较差的情况，可以直接采用当前预测速度和当前朝向进行继续跟踪一段时间，直到视觉跟踪恢复。如此，即使在视觉里程计难以定位的场景下，通过行人航位信息仍本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种位姿优化方法，其特征在于，包括：基于移动设备拍摄的第一图像，确定所述移动设备的当前预测位姿；所述第一图像包括所述移动设备处于当前位置时拍摄的当前帧图像以及所述移动设备处于所述当前位置之前的起始位置时拍摄的起始帧图像；确定所述移动设备在移动到所述当前位置时，所经历的目标移动过程对应的移动参数信息；所述目标移动过程位于所述起始位置与所述当前位置之间；获取所述移动设备的多个估计位姿信息，所述多个估计位姿信息包括所述起始帧图像对应的估计位姿信息、所述当前帧图像对应的估计位姿信息以及所述起始帧图像和所述当前帧图像之间的多帧图像分别对应的估计位姿信息；基于所述移动参数信息以及所述多个估计位姿信息对所述当前预测位姿进行优化，得到当前优化位姿。2.根据权利要求1所述的方法，其特征在于，所述移动参数信息包括移动距离；所述确定所述移动设备在移动到当前位置时，所经历的目标移动过程对应的移动参数信息，包括：基于行人航位推算法，确定所述移动设备在移动到所述当前位置时，所经历的所述目标移动过程对应的所述移动距离；所述基于所述移动参数信息以及所述多个估计位姿信息对所述当前预测位姿进行优化，得到当前优化位姿，包括：基于所述移动距离，以及所述多个估计位姿信息对所述当前预测位姿进行优化，得到所述当前优化位姿。3.根据权利要求2所述的方法，其特征在于，所述基于所述移动距离，以及所述多个估计位姿信息对所述当前预测位姿进行优化，得到所述当前优化位姿，包括：确定所述目标移动过程对应的移动起始时间和移动结束时间；根据图像拍摄时间，确定所述移动起始时间对应的移动初始帧图像和所述移动结束时间对应的移动结束帧图像，并分别确定与所述移动初始帧图像和移动结束帧图像对应的移动初始估计位姿以及移动结束估计位姿；将所述移动距离确定为所述移动初始估计位姿以及移动结束估计位姿之间的距离，并结合所述多个估计位姿信息，对所述当前预测位姿进行优化，得到所述当前优化位姿。4.根据权利要求2或3所述的方法，其特征在于，所述基于行人航位推算法，确定所述移动设备在移动到所述当前位置时，所经历的所述目标移动过程对应的移动距离，包括：获取所述移动设备的用户在所述目标移动过程中的行走步数；基于所述行走步数以及所述用户的步长，确定所述移动距离。5.根据权利要求2
‑
4任一所述的方法，其特征在于，所述移动参数信息还包括移动速度；所述确定所述移动设备在移动到当前位置时，所经历的目标移动过程对应的移动参数信息，还包括：确定所述移动设备在移动到所述当前位置时，所经历的所述目标移动过程对应的所述移动速度；所述基于所述移动距离，以及所述多个估计位姿信息对所述当前预测位姿进行优化，
得到所述当前优化位姿，包括：基于所述移动距离、所述移动速度，以及所述多个估计位姿信息对所述当前预测位姿进行优化，...

【专利技术属性】
技术研发人员：章国锋，鲍虎军，叶智超，刘浩敏，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：