场景地图生成方法和设备技术

本申请提供一种场景地图生成方法和设备，包括：根据惯性测量单元对应的加速度和角速度确定目标时刻惯性测量单元的位姿，根据激光传感器采集的点云数据确定目标时刻激光传感器的位姿，根据相机采集的图像数据确定目标时刻相机的位姿。根据目标时刻惯性测量单元的位姿和激光传感器的位姿，确定目标时刻终端设备的第一位姿。根据目标时刻惯性测量单元的位姿、相机的位姿和第一位姿，确定目标时刻终端设备的第二位姿。根据目标时刻的第一位姿和第二位姿，确定目标时刻所述终端设备的目标位姿。根据不同目标时刻终端设备的目标位姿，以及不同目标时刻相机采集的图像数据、不同目标时刻激光传感器采集的点云数据，生成目标场景的场景地图。地图。地图。

【技术实现步骤摘要】
场景地图生成方法和设备


[0001]本专利技术涉及互联网
，尤其涉及一种场景地图生成方法和设备。

技术介绍

[0002]扩展现实(Extended Reality，简称XR)，是虚拟现实(Virtual Reality，简称VR)、增强现实(Augmented Reality，简称AR)等多种形式的统称。在XR应用，尤其是AR应用中，为了在真实场景中精准的叠加虚拟内容，首先需要对真实场景进行精确的建模(即建图)。
[0003]通常采用即时定位与地图构建(Simultaneous Localization and Mapping，简称SLAM)的方式进行场景建图。在建图的过程中，需要采用感知设备来感知周围环境，准确地获知不同时刻感知设备的位姿以及相应的感知结果，是建图的关键。举例来说，假设使用激光传感器来感知周围环境，则激光传感器可以被配置为以设定的采集频率采集点云数据，通过对不同采集时刻激光传感器的位姿的确定，便可以得知不同采集时刻激光传感器的位姿以及以该位姿采集到的点云数据情况，最终，可以根据确定出的位姿对不同采集时刻采集的点云本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种场景地图生成方法，其特征在于，应用于设有惯性测量单元、相机和激光传感器的终端设备，所述方法包括：根据所述惯性测量单元对应的加速度和角速度确定目标时刻所述惯性测量单元的位姿，根据所述激光传感器采集的点云数据确定所述目标时刻所述激光传感器的位姿，以及根据所述相机采集的图像数据确定所述目标时刻所述相机的位姿，所述目标时刻是设定的多个终端设备位姿估计时刻中的一个；根据所述目标时刻所述惯性测量单元的位姿和所述激光传感器的位姿，确定所述目标时刻所述终端设备的第一位姿；根据所述目标时刻所述惯性测量单元的位姿、所述相机的位姿和所述终端设备的第一位姿，确定所述目标时刻所述终端设备的第二位姿；根据所述目标时刻所述终端设备的第一位姿和第二位姿，确定所述目标时刻所述终端设备的目标位姿；根据所述不同目标时刻所述终端设备的目标位姿，以及所述不同目标时刻所述相机采集的图像数据、所述不同目标时刻所述激光传感器采集的点云数据，生成目标场景的场景地图。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标时刻所述惯性测量单元的位姿和所述激光传感器的位姿，确定所述目标时刻所述终端设备的第一位姿，包括：以所述目标时刻所述终端设备的第一位姿为待优化量，生成第一优化函数，其中，所述第一优化函数以优化所述第一位姿与所述惯性测量单元的位姿的偏差以及所述第一位姿与所述激光传感器的位姿的偏差为优化目标；确定满足所述优化目标的所述目标时刻所述终端设备的第一位姿。3.根据权利要求2所述的方法，其特征在于，所述第一优化函数中的待优化量还包括所述目标时刻所述惯性测量单元的状态信息，所述状态信息包括速度变化量、角度变化量、加速度偏置和角速度偏置。4.根据权利要求1所述的方法，其特征在于，所述根据所述相机采集的图像数据确定所述目标时刻所述相机的位姿之前，还包括：获取所述相机在所述目标时刻之前的多个相机采集时刻采集的多帧图像数据；根据所述多个相机采集时刻对应的所述终端设备的第一位姿，确定所述多个相机采集时刻所述相机的位姿；根据所述多个相机采集时刻所述相机的位姿，以及所述多帧图像数据之间匹配的特征点对，确定所述目标场景对应的初始三维模型，所述初始三维模型中包括所述特征点对所对应的三维坐标。5.根据权利要求4所述的方法，其特征在于，所述根据所述相机采集的图像数据确定所述目标时刻所述相机的位姿，包括：对所述目标时刻所述相机采集的第一图像与所述目标时刻的前一相机采集时刻所述相机采集的第二图像进行特征匹配处理，以确定所述第一图像中的第一特征点与所述第二图像中的第二特征点匹配，所述第一特征点与所述第二特征点是匹配得到的多个特征点对中的任一个；在所述初始三维模型中确定与所述第二特征点对应的第一三维坐标；
根据所述第一三维坐标以及所述第一特征点在所述第一图像中对应的二维像素坐标，确定所述目标时刻所述相机的位姿。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：获取所述目标时刻所述相机的位姿，以及所述前一相机采集时刻所述相机的位姿；根据所述目标时刻所述相机的位姿、所述前一相机采集时刻所述相机的位姿，以及所述第一特征点和所述第二特征点各自对应的二维像素坐标，确定所述第一特征点和所述第二特征点对应的第二三维坐标；将所述第二三维坐标映射到所述第一图像中，得到映射的第三特征点；根据所述第三特征点与所述第一特征点各自对应的二维像素坐标，确定重投影误差。7.根据权利要求6所述的方法，其特征在于，所述根据所述目标时刻所述惯性测量单元的位姿、所述相机的位姿和所述终端设备的第一位姿，确定所述目标时刻所述终端设备的第二位姿，包括：以所述目标时刻所述终端设备的第二位姿为待优化量，生成第二优化函数，其中，所述第二优化函数以优化所述第二位...

【专利技术属性】
技术研发人员：李振宁，刘卓昊，崔乐，董子龙，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：