【技术实现步骤摘要】
本申请涉及slam(simultaneous localization and mapping，即时定位与地图构建)，尤其涉及一种里程计算法的重投影残差块构建方法、装置、设备及介质。
技术介绍
1、目前，传统的视觉惯性slam算法，例如，视觉惯性里程计算法，此类算法应用在地面移动机器人、四足机器人以及自动驾驶等领域时，承担图像采集任务的相机往往是固定在上述可移动设备上的，而在此情形下，由于相机是固定的，故可能会受到视场角范围、机械阻挡、安装位置等因素的限制，造成最终slam算法的性能降低，即当前传统的slam算法存在性能受限的技术问题。
技术实现思路
1、本申请的主要目的在于提供一种里程计算法的重投影残差块构建方法，旨在解决当前传统的slam算法存在性能受限的技术问题。
2、为实现上述目的，本申请提供一种里程计算法的重投影残差块构建方法，所述方法应用于视觉雷达，所述视觉雷达设置于移动设备且所述视觉雷达的视觉采集方向存在至少存在一个自由度，所述里程计算法为视觉惯性编码器里程计算法；
3、所述里程计算法的重投影残差块构建方法包括：
4、获取所述视觉采集方向相对于所述移动设备的视角信息，以及所述移动设备的位姿信息；
5、基于所述视角信息、所述位姿信息、所述视觉雷达获取到的图像数据以及所述图像数据中的深度信息构建重投影残差块。
6、可选地，所述图像数据包括存在匹配特征点的两图像帧，所述两图像帧为第一图像帧和第二图像帧，所述匹配特征
7、所述基于所述视角信息、所述位姿信息、所述视觉雷达获取到的图像数据以及所述图像数据中的深度信息构建重投影残差块的步骤包括：
8、对于所述两图像帧上的任意匹配特征点，基于所述匹配特征点中第一特征点相对于所述第一图像帧的第一坐标数据、所述视角信息以及所述位姿信息，生成所述第一特征点相对于所述第二图像帧的估计坐标数据，其中，所述第一坐标数据基于所述第一特征点在所述第一图像帧上位置和所述位置的深度信息生成；
9、基于所述估计坐标数据与所述第二特征点相对于所述第二图像帧的第二坐标数据之间的偏差，构建所述重投影残差块。
10、可选地，所述视觉雷达包括相机、控制所述相机转动的电机以及基座，所述基座固定在所述移动设备，所述相机通过所述电机与所述基座可转动连接；
11、所述获取所述视觉采集方向相对于所述移动设备的视角信息，以及所述移动设备的位姿信息的步骤包括：
12、基于所述基座内置的编码器获取所述电机转动机构的位置状态，并将所述位置状态换算为所述视角信息；
13、基于所述基座内置的imu获取所述移动设备的角速度和加速度，其中，所述角速度和加速度用于所述位姿信息的估计。
14、可选地，所述第一图像帧的生成时刻为第一时刻，所述第二图像帧的生成时刻为第二时刻，所述视角信息包括所述第一时刻的第一视角角度和所述第二时刻的第二视角角度，所述位姿信息包括所述第一时刻的第一位姿和所述第二时刻的第二位姿，所述相机配置有相机坐标系；
15、所述基于所述匹配特征点中第一特征点相对于所述第一图像帧的第一坐标数据、所述视角信息以及所述位姿信息，生成所述第一特征点相对于所述第二图像帧的估计坐标数据的步骤包括：
16、基于所述第一视角角度和所述第一位姿，将所述第一时刻下所述第一特征点在相机坐标系的所述第一坐标数据，转换为世界坐标系下的世界坐标数据；
17、基于所述第二视角角度和所述第二位姿，将所述世界坐标数据转换为，在所述第二时刻所述第一特征点在所述相机坐标系下的估计坐标数据。
18、可选地，所述编码器配置有编码器坐标系，所述imu配置有imu坐标系；
19、所述基于所述第一视角角度和所述第一位姿，将所述第一时刻下所述第一特征点在相机坐标系的所述第一坐标数据，转换为世界坐标系下的世界坐标数据的步骤包括：
20、基于所述第一视角角度，将所述第一坐标数据转换为，在所述第一时刻所述第一特征点在所述编码器坐标系下的第一中间坐标数据；
21、基于所述编码器与所述imu之间的相对位姿，将所述第一中间坐标数据转换为，在所述第一时刻所述第一特征点在所述imu坐标系下的第二中间坐标数据；
22、基于所述第一位姿，将所述第二中间坐标数据转换为，在所述第一时刻所述第一特征点在所述世界坐标系下的所述世界坐标数据。
23、可选地，所述编码器配置有编码器坐标系，所述imu配置有imu坐标系；
24、所述基于所述第二视角角度和所述第二位姿，将所述世界坐标数据转换为，在所述第二时刻所述第一特征点在所述相机坐标系下的估计坐标数据的步骤包括：
25、基于所述第二位姿，将所述世界坐标数据转换为，在所述第二时刻所述第二特征点在所述imu坐标系的第三中间坐标数据；
26、基于所述编码器与所述imu之间的相对位姿，将所述第三中间坐标数据转化为，在所述第二时刻所述第一特征点在所述编码器坐标系下的第四中间坐标数据；
27、根据所述第二视角角度，将所述第四中间坐标数据转换为，在所述第二时刻所述第一特征点在所述相机坐标系下的所述估计坐标数据。
28、可选地，其特征在于，所述里程计算法还包括边缘化残差块和imu残差块，所述边缘化残差块和所述imu残差块用于与所述重投影残差块共同参与所述里程计算法的最小二乘优化。
29、为实现上述目的，本申请还提供一种里程计算法的重投影残差块构建装置，所述里程计算法的重投影残差块构建装置应用于视觉雷达，所述视觉雷达设置于移动设备且所述视觉雷达的视觉采集方向至少存在一个自由度，所述里程计算法为视觉惯性编码器里程计算法；
30、所述里程计算法的重投影残差块构建装置包括：
31、获取模块，用于获取所述视觉采集方向相对于所述移动设备的视角信息，以及所述移动设备的位姿信息；
32、构建模块，用于基于所述视角信息、所述位姿信息、所述视觉雷达获取到的图像数据以及所述图像数据中的深度信息构建重投影残差块。
33、为实现上述目的，本申请还提供一种里程计算法的重投影残差块构建设备，所述里程计算法的重投影残差块构建设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的里程计算法的重投影残差块构建程序，所述里程计算法的重投影残差块构建程序被所述处理器执行时实现如上述的里程计算法的重投影残差块构建方法的步骤。
34、为实现上述目的，本申请还提供一种介质，所述介质为计算机可读存储介，所述介质上存储有里程计算法的重投影残差块构建程序，所述里程计算法的重投影残差块构建程序被处理器执行时实现如上述的里程计算法的重投影残差块构建方法的步骤。
35、本本文档来自技高网...
【技术保护点】
1.一种里程计算法的重投影残差块构建方法，其特征在于，所述方法应用于视觉雷达，所述视觉雷达设置于移动设备且所述视觉雷达的视觉采集方向至少存在一个自由度，所述里程计算法为视觉惯性编码器里程计算法；
2.如权利要求1所述的里程计算法的重投影残差块构建方法，其特征在于，所述图像数据包括存在匹配特征点的两图像帧，所述两图像帧为第一图像帧和第二图像帧，所述匹配特征点包括在所述第一图像帧上的第一特征点以及在所述第二图像帧上的第二特征点，所述第一特征点和所述第二特征点表征实际场景中的同一特征；
3.如权利要求2所述的里程计算法的重投影残差块构建方法，其特征在于，所述视觉雷达包括相机、控制所述相机转动的电机以及基座，所述基座固定在所述移动设备，所述相机通过所述电机与所述基座可转动连接；
4.如权利要求3所述的里程计算法的重投影残差块构建方法，其特征在于，所述第一图像帧的生成时刻为第一时刻，所述第二图像帧的生成时刻为第二时刻，所述视角信息包括所述第一时刻的第一视角角度和所述第二时刻的第二视角角度，所述位姿信息包括所述第一时刻的第一位姿和所述第二时刻的第二位姿，所
5.如权利要求4所述的里程计算法的重投影残差块构建方法，其特征在于，所述编码器配置有编码器坐标系，所述IMU配置有IMU坐标系；
6.如权利要求4所述的里程计算法的重投影残差块构建方法，其特征在于，所述编码器配置有编码器坐标系，所述IMU配置有IMU坐标系；
7.如权利要求1至6任意一项所述的里程计算法的重投影残差块构建方法，其特征在于，所述里程计算法还包括边缘化残差块和IMU残差块，所述边缘化残差块和所述IMU残差块用于与所述重投影残差块共同参与所述里程计算法的最小二乘优化。
8.一种里程计算法的重投影残差块构建装置，其特征在于，所述装置应用于视觉雷达，所述视觉雷达设置于移动设备且所述视觉雷达的视觉采集方向至少存在一个自由度，所述里程计算法为视觉惯性编码器里程计算法；
9.一种里程计算法的重投影残差块构建设备，其特征在于，所述里程计算法的重投影残差块构建设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的里程计算法的重投影残差块构建程序，所述里程计算法的重投影残差块构建程序被所述处理器执行时实现如权利要求1至7中任一项所述的里程计算法的重投影残差块构建方法的步骤。
10.一种介质，其特征在于，所述介质为计算机可读存储介，所述介质上存储有里程计算法的重投影残差块构建程序，所述里程计算法的重投影残差块构建程序被处理器执行时实现如权利要求1至7中任一项所述的里程计算法的重投影残差块构建方法的步骤。
...【技术特征摘要】
1.一种里程计算法的重投影残差块构建方法，其特征在于，所述方法应用于视觉雷达，所述视觉雷达设置于移动设备且所述视觉雷达的视觉采集方向至少存在一个自由度，所述里程计算法为视觉惯性编码器里程计算法；
2.如权利要求1所述的里程计算法的重投影残差块构建方法，其特征在于，所述图像数据包括存在匹配特征点的两图像帧，所述两图像帧为第一图像帧和第二图像帧，所述匹配特征点包括在所述第一图像帧上的第一特征点以及在所述第二图像帧上的第二特征点，所述第一特征点和所述第二特征点表征实际场景中的同一特征；
3.如权利要求2所述的里程计算法的重投影残差块构建方法，其特征在于，所述视觉雷达包括相机、控制所述相机转动的电机以及基座，所述基座固定在所述移动设备，所述相机通过所述电机与所述基座可转动连接；
4.如权利要求3所述的里程计算法的重投影残差块构建方法，其特征在于，所述第一图像帧的生成时刻为第一时刻，所述第二图像帧的生成时刻为第二时刻，所述视角信息包括所述第一时刻的第一视角角度和所述第二时刻的第二视角角度，所述位姿信息包括所述第一时刻的第一位姿和所述第二时刻的第二位姿，所述相机配置有相机坐标系；
5.如权利要求4所述的里程计算法的重投影残差块构建方法，其特征在于，所述编码器配置有编码器坐标系，所述imu配置有imu坐标系；...
【专利技术属性】
技术研发人员：喻俊志，莘展骅，孔诗涵，孟岩，胡耀清，王绍安，
申请(专利权)人：北京大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。