位姿确定方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种位姿确定方法及装置、电子设备和存储介质。所述方法包括：获取目标场景中的第一终端采集的采集数据；获取包含所述目标场景的全局地图，其中，所述全局地图基于第二终端对包含所述目标场景的全局场景进行数据采集所获得的地图数据生成，且所述全局地图满足精度条件；根据所述采集数据以及所述全局地图之间的特征对应关系，确定所述第一终端在采集过程中的至少一个第一位姿。通过上述过程，可以规模化采集大量的第一位姿数据，减小对目标场景的额外设备设置或是多个设备之间的额外标定同步等，且第一位姿的数据也具有较高精度。高精度。高精度。

Pose determination method and device, electronic equipment and storage medium

【技术实现步骤摘要】
位姿确定方法及装置、电子设备和存储介质
[0001]本申请是在2020年08月17日提交中国专利局、申请号为202010826704.X、专利技术名称为“位姿确定方法及装置、电子设备和存储介质”的中国专利申请的分案申请。


[0002]本公开涉及计算机视觉
，尤其涉及一种位姿确定方法及装置、电子设备和存储介质。

技术介绍

[0003]随着移动传感器、网络基础设施和云计算的快速发展，增强现实应用场景的规模正在从中小型扩展到大型环境。大规模环境下的定位是增强现实应用的关键需求。大多数常用的定位技术都需要大量的运动真值数据(比如设备在移动过程中的位姿数据等)和背景信息进行定位，以便进行算法基准测试或模型训练。因此，如何以较低的成本获取大量的运动真值数据，成为目前一个亟待解决的问题。

技术实现思路

[0004]本公开提出了一种位姿确定技术方案。
[0005]根据本公开的一方面，提供了一种位姿确定方法，包括：
[0006]获取目标场景中的第一终端采集的采集数据；获取包含所述目标场景的全局地图，其中，所述全局地图基于第二终端对包含所述目标场景的全局场景进行数据采集所获得的地图数据生成，且所述全局地图满足精度条件；根据所述采集数据以及所述全局地图之间的特征对应关系，确定所述第一终端在采集过程中的至少一个第一位姿。
[0007]在一种可能的实现方式中，所述全局地图包括至少一帧视觉点云，所述视觉点云包括所述全局场景中的至少一个三维特征点；所述采集数据包括第一采集图像；所述根据所述采集数据以及所述全局地图之间的特征对应关系，确定所述第一终端在采集过程中的至少一个第一位姿，包括：将所述第一采集图像与所述至少一帧视觉点云进行特征匹配，得到全局特征匹配结果；根据所述全局特征匹配结果，确定所述第一终端在采集过程中的至少一个第一位姿。
[0008]在一种可能的实现方式中，所述全局地图包括所述目标场景中的至少一帧视觉点云；所述采集数据包括至少两帧第一采集图像；所述根据所述采集数据以及所述全局地图之间的特征对应关系，确定所述第一终端在采集过程中的至少一个第一位姿，包括：将所述第一采集图像与所述至少一帧视觉点云进行特征匹配，得到全局特征匹配结果；根据所述至少两帧第一采集图像，进行特征匹配，得到本地特征匹配结果；根据所述全局特征匹配结果和所述本地特征匹配结果，确定所述第一终端在采集过程中的至少一个第一位姿。
[0009]在一种可能的实现方式中，所述采集数据还包括第一惯性测量IMU数据；所述根据所述全局特征匹配结果和所述本地特征匹配结果，确定所述第一终端在采集过程中的至少一个第一位姿，包括：根据所述全局特征匹配结果和/或所述本地特征匹配结果，获取第一
约束信息；根据所述第一IMU数据，获取第二约束信息；根据所述第一约束信息和所述第二约束信息中的至少一种，对所述全局特征匹配结果和所述本地特征匹配结果进行处理，得到所述第一终端在采集过程中的至少一个第一位姿。
[0010]在一种可能的实现方式中，所述对所述全局特征匹配结果和所述本地特征匹配结果进行处理，包括：通过光束法平差对所述全局特征匹配结果和所述本地特征匹配结果进行处理。
[0011]在一种可能的实现方式中，所述将所述第一采集图像与所述至少一帧视觉点云进行特征匹配，得到全局特征匹配结果，包括：将所述第一采集图像中的二维特征点，与所述至少一帧视觉点云包括的三维特征点进行匹配，得到全局特征匹配结果。
[0012]在一种可能的实现方式中，所述方法还包括：根据所述第一终端在采集过程中的至少一个第一位姿，确定运动真值数据。
[0013]在一种可能的实现方式中，所述根据所述第一终端在采集过程中的至少一个第一位姿，确定运动真值数据，包括：将所述第一终端在采集过程中的至少一个第一位姿作为所述运动真值数据；和/或，将所述采集数据中的至少一种，以及所述第一终端在采集过程中的至少一个第一位姿，作为所述运动真值数据，其中，所述采集数据包括：无线网络WiFi数据、蓝牙数据、地磁数据、超宽带UWB数据、第一采集图像以及第一IMU数据中的一种或多种。
[0014]在一种可能的实现方式中，所述运动真值数据用于以下操作中的至少一种：判断定位结果的精度、对神经网络进行训练以及与所述全局地图进行信息融合。
[0015]在一种可能的实现方式中，所述地图数据包括：所述全局场景中的激光点云、第二采集图像以及第二IMU数据；所述方法还包括：获取通过第二终端采集的所述全局场景的地图数据；根据所述地图数据，对所述全局场景进行离线重建，生成所述全局场景的全局地图。
[0016]在一种可能的实现方式中，所述根据所述地图数据，对所述全局场景进行离线重建，生成所述全局场景的全局地图，包括：根据所述第二IMU数据和所述激光点云，确定所述第二终端在数据采集过程中的至少一个第二位姿；根据所述至少一个第二位姿，结合所述第二采集图像，对所述全局场景进行视觉地图重建，得到至少一帧视觉点云，其中，所述视觉点云包括所述全局场景中的至少一个三维特征点；根据所述至少一帧视觉点云，得到所述全局场景的全局地图。
[0017]在一种可能的实现方式中，所述根据所述至少一个第二位姿，结合所述第二采集图像，对所述全局场景进行视觉地图重建，得到至少一帧视觉点云，包括：根据所述至少一个第二位姿，结合所述第二采集图像，对所述全局场景进行视觉地图重建，得到至少一帧初始视觉点云；根据所述激光点云和/或所述第二采集图像，获取视觉地图重建过程中的第三约束信息；根据所述第三约束信息，对所述至少一帧初始视觉点云进行优化，得到至少一帧视觉点云。
[0018]在一种可能的实现方式中，所述第二终端包括：雷达，用于获取所述全局场景中的激光点云；视觉传感器，用于获取所述全局场景中的第二采集图像；IMU传感器，用于获取所述全局场景中的第二IMU数据。
[0019]在一种可能的实现方式中，所述根据所述地图数据，对所述全局场景进行离线重建，生成所述全局场景的全局地图之前，还包括：对所述视觉传感器与所述IMU传感器之间
的坐标变换关系进行标定，得到第一标定结果；对所述雷达与所述视觉传感器之间的坐标变换关系进行标定，得到第二标定结果；根据所述第一标定结果和所述第二标定结果，对所述视觉传感器、IMU传感器以及雷达之间的坐标变换关系进行联合标定。
[0020]在一种可能的实现方式中，所述方法还包括：在第二终端采集地图数据的过程中，根据所述地图数据对所述全局场景进行实时重建，生成所述全局场景的实时地图；向目标设备发送所述地图数据和/或所述实时地图，其中，所述目标设备用于显示对所述全局场景完成数据采集的地理范围。
[0021]根据本公开的一方面，提供了一种位姿确定装置，包括：
[0022]采集数据获取模块，用于获取目标场景中的第一终端采集的采集数据；全局地图获取模块，用于获取包含所述目标场景的全局地图，其中，所述全局地图基于第二终端对包含所述目标场景的全局场景进行数据采集所获得的地图数据生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种位姿确定方法，其特征在于，所述方法包括：获取目标场景中的第一终端采集的采集数据；获取包含所述目标场景的全局地图，其中，所述全局地图基于第二终端对包含所述目标场景的全局场景进行数据采集所获得的地图数据生成，且所述全局地图满足精度条件；根据所述采集数据以及所述全局地图之间的特征对应关系，确定所述第一终端在采集过程中的至少一个第一位姿；所述方法还包括：根据所述第一终端在采集过程中的至少一个第一位姿，确定运动真值数据；所述根据所述第一终端在采集过程中的至少一个第一位姿，确定运动真值数据，包括：将所述第一终端在采集过程中的至少一个第一位姿作为所述运动真值数据；和/或，将所述采集数据中的至少一种，以及所述第一终端在采集过程中的至少一个第一位姿，作为所述运动真值数据，其中，所述采集数据包括：无线网络WiFi数据、蓝牙数据、地磁数据、超宽带UWB数据、第一采集图像以及第一IMU数据中的一种或多种。2.根据权利要求1所述的方法，其特征在于，所述全局地图包括至少一帧视觉点云，所述视觉点云包括所述全局场景中的至少一个三维特征点；所述采集数据包括第一采集图像；所述根据所述采集数据以及所述全局地图之间的特征对应关系，确定所述第一终端在采集过程中的至少一个第一位姿，包括：将所述第一采集图像与所述至少一帧视觉点云进行特征匹配，得到全局特征匹配结果；根据所述全局特征匹配结果，确定所述第一终端在采集过程中的至少一个第一位姿。3.根据权利要求1或2所述的方法，其特征在于，所述全局地图包括所述目标场景中的至少一帧视觉点云；所述采集数据包括至少两帧第一采集图像；所述根据所述采集数据以及所述全局地图之间的特征对应关系，确定所述第一终端在采集过程中的至少一个第一位姿，包括：将所述第一采集图像与所述至少一帧视觉点云进行特征匹配，得到全局特征匹配结果；根据所述至少两帧第一采集图像，进行特征匹配，得到本地特征匹配结果；根据所述全局特征匹配结果和所述本地特征匹配结果，确定所述第一终端在采集过程中的至少一个第一位姿。4.根据权利要求3所述的方法，其特征在于，所述采集数据还包括第一惯性测量IMU数据；所述根据所述全局特征匹配结果和所述本地特征匹配结果，确定所述第一终端在采集过程中的至少一个第一位姿，包括：根据所述全局特征匹配结果和/或所述本地特征匹配结果，获取第一约束信息；根据所述第一IMU数据，获取第二约束信息；根据所述第一约束信息和所述第二约束信息中的至少一种，对所述全局特征匹配结果和所述本地特征匹配结果进行处理，得到所述第一终端在采集过程中的至少一个第一位
姿；其中，所述第一约束信息为视觉约束，所述第二约束信息为IMU约束。5.根据权利要求4所述的方法，其特征在于，所述对所述全局特征匹配结果和所述本地特征匹配结果进行处理，包括：通过光束法平差对所述全局特征匹配结果和所述本地特征匹配结果进行处理。6.根据权利要求2所述的方法，其特征在于，所述将所述第一采集图像与所述至少一帧视觉点云进行特征匹配，得到全局特征匹配结果，包括：将所述第一采集图像中的二维特征点，与所述至少一帧视觉点云包括的三维特征点进行匹配，得到全局特征匹配结果。7.根据权利要求1所述的方法，其特征在于，所述运动真值数据用于以下操作中的至少一种：判断定位结果的精度、对神经网络进行训练以及与所述全局地图进行信息融合。8.根据权利要求1或2所述的方法，其特征在于，所述地图数据包括：所述全局场景中的激光点云、第二采集图像以及第二IMU数据；所述方法还包括：获取通过第二终端采集的所述全局场景的地图数据；根据所述地图数据，对所述全局场景进行离线重建，生...

【专利技术属性】
技术研发人员：刘浩敏，杭蒙，张壮，章国锋，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：