单目视觉建图和定位方法、装置、存储介质及移动设备制造方法及图纸

本公开涉及一种单目视觉建图和定位方法、装置、存储介质及移动设备。该方法包括：分别获取当前帧单目图像对应的第一深度图和第一光流特征，以及当前帧的前一帧单目图像对应的第二深度图；根据第一深度图和当前帧单目图像对应的第一RGB图，确定第一帧点云；根据第二深度图和前一帧单目图像对应的第二RGB图，确定第二帧点云；获取惯性测量器件在前一帧单目图像对应的第一时刻和当前帧单目图像对应的第二时刻的时间段内测量的数据，以及预估的惯性测量器件在第一时刻下的状态；根据该数据、状态、第一光流特征，确定移动设备在时间段内的第一运动轨迹；根据第一运动轨迹、第一帧点云和第二帧点云，生成稠密地图。如此，提高了移动设备的定位精度。

Monocular vision mapping and location methods, devices, storage media and mobile devices

【技术实现步骤摘要】
单目视觉建图和定位方法、装置、存储介质及移动设备
本公开涉及计算机视觉领域，具体地，涉及一种单目视觉建图和定位方法、装置、存储介质及移动设备。
技术介绍
在机器人导盲、无人驾驶、增强现实(AugmentedReality，AR)等很多领域，都需要用到环境地图，在相关技术中，该环境地图多是使用单目相机和低成本惯性器件(Inertialmeasurementunit，IMU)的同步定位与建图技术((SimultaneousLocalizationandMapping，SLAM)技术)建立的。具体地，通过标定单目相机和IMU的内参、外参、以及单目相机和IMU的时间同步性，构建一个精密的里程计系统。在该系统中，首先，在单目相机采集的一系列图像中匹配相邻图像，接着，对IMU在相邻图像对应时间段内测量的IMU数据(例如，移动设备在该时间段内测量的加速度数据、角速度数据)进行积分，最后，根据图像匹配结果和IMU数据的积分结果共同构建损失函数，迭代计算出最优参数，从而实现移动设备建图、定位以及IMU状态的优化。然而，在该方法中，由于单目相机参数和IMU参数的精确标定，以及单目相机和IMU的时间同步性在建图、定位中有着至关重要的作用，所以，需要专业且复杂的标定过程，SLAM技术精度严重依赖标定参数的准确性。此外，由于单目相机、IMU两者之间的时间差大多数是一个动态范围，且随时间、外界环境不断变化，因此，需要每隔一段时间对单目相机、IMU的时间同步性进行一次标定，才能使上述方法获得最优结果。另外，若单目相机采集的图像丢失或IMU数据出现噪声，上述方法中的定位精度也会下降。专利
技术实现思路
本公开的目的是提供一种单目视觉建图和定位方法、装置、存储介质及移动设备，以实现提高定位的精准度。为了实现上述目的，本公开提供一种单目视觉建图和定位方法，包括：分别获取当前帧单目图像对应的第一深度图和第一光流特征，以及所述当前帧的前一帧单目图像对应的第二深度图；根据所述第一深度图和所述当前帧单目图像对应的第一RGB图，确定与所述当前帧单目图像对应的第一帧点云；根据所述第二深度图和所述前一帧单目图像对应的第二RGB图，确定与所述前一帧单目图像对应的第二帧点云；获取惯性测量器件在所述前一帧单目图像对应的第一时刻和所述当前帧单目图像对应的第二时刻的时间段内测量的数据，以及预估的所述惯性测量器件在所述第一时刻下的状态；根据所述数据、所述惯性测量器件的状态、所述第一光流特征，确定移动设备在所述时间段内的第一运动轨迹；根据所述第一运动轨迹、所述第一帧点云和所述第二帧点云，生成稠密地图。可选地，所述分别获取当前帧单目图像对应的第一深度图和第一光流特征，以及所述当前帧的前一帧单目图像对应的第二深度图，包括：将当前帧单目图像和所述当前帧的前一帧单目图像输入至第一网络模型，以获得所述当前帧单目图像对应的第一深度图，所述第一网络模型是根据第一训练样本训练得到的，所述第一训练样本包括：连续两帧历史单目图像、所述连续两帧中的最后一帧单目图像对应的深度图以及双目相机在所述最后一帧单目图像对应时刻下采集的左目图像对应的深度图；获得所述当前帧的前一帧单目图像对应的第二深度图；将当前帧单目图像和所述前一帧单目图像输入至第二网络模型，以获得所述当前帧单目图像和所述前一帧单目图像对应的第一光流特征，所述第二网络模型是根据第二训练样本训练得到，所述第二训练样本包括：连续两帧历史单目图像、所述连续两帧历史单目图像对应的二维光流以及所述双目相机在所述连续两帧历史单目图像分别对应时刻下采集的连续两帧历史左目图像对应的三维光流在连续两帧中最后一帧左目图像投影的二维光流。可选地，所述根据所述数据、所述惯性测量器件的状态、所述第一光流特征，确定移动设备在所述时间段内的第一运动轨迹，包括：将所述数据、所述惯性测量器件的状态输入至第三网络模型，以获得所述移动设备在所述时间段内的第二运动轨迹，所述第三网络模型是根据第三训练样本训练得到的，所述第三训练样本包括：所述惯性测量器件在连续两帧历史单目图像对应的历史时间段内测量的数据、预估的所述惯性测量器件在所述连续两帧中的第一帧单目图像对应时刻下的状态、所述移动设备在所述历史时间段内的第二运动轨迹以及所述双目相机在所述历史时间段内的第三运动轨迹；将所述第二运动轨迹和所述第一光流特征输入至第四网络模型，以获得所述移动设备在所述时间段内的第一运动轨迹，所述第四网络模型是根据第四训练样本训练得到的，所述第四训练样本包括：所述移动设备在所述历史时间段内的第二运动轨迹、所述连续两帧历史单目图像中最后一帧单目图像对应的第一光流特征、所述移动设备在所述历史时间段内的第一运动轨迹、以及所述双目相机在所述历史时间段内的第三运动轨迹。可选地，所述根据所述第一运动轨迹、所述第一帧点云和所述第二帧点云，生成稠密地图，包括：通过以下公式生成稠密地图：其中，M表征所述稠密地图，表征使取最小值时的第一运动轨迹T，At-1表征所述第二帧点云，Bt表征所述第一帧点云，T表征所述第一运动轨迹。可选地，所述方法还包括：根据所述第一运动轨迹、所述第二运动轨迹以及以下公式，预估所述惯性测量器件在所述第二时刻下的状态：其中，St表征预估的所述惯性测量器件在所述第二时刻下的状态，ρ表征Huber损失函数，ΣI表征预积分信息矩阵，eR、eP分别表征所述第一运动轨迹和所述第二运动轨迹之间的旋转误差、平移误差，ΔRLSTM、ΔRVIO分别表征所述第一时刻和所述第二时刻的时间段内通过所述第三网络模型、所述第四网络模型确定的旋转量，表征预估的所述惯性测量器件在所述第一时刻下的状态，ΔpVIO、ΔpLSTM分别表征所述第一时刻和所述第二时刻的时间段内通过所述第三网络模型、所述第四网络模型确定的平移量。本公开还提供一种单目视觉建图和定位装置，包括：第一获取模块，用于分别获取当前帧单目图像对应的第一深度图和第一光流特征，以及所述当前帧的前一帧单目图像对应的第二深度图；第一确定模块，用于根据所述第一深度图和所述当前帧单目图像对应的第一RGB图，确定与所述当前帧单目图像对应的第一帧点云；第二确定模块，用于根据所述第二深度图和所述前一帧单目图像对应的第二RGB图，确定与所述前一帧单目图像对应的第二帧点云；第二获取模块，用于获取惯性测量器件在所述前一帧单目图像对应的第一时刻和所述当前帧单目图像对应的第二时刻的时间段内测量的数据，以及预估的所述惯性测量器件在所述第一时刻下的状态；第三确定模块，用于根据所述数据、所述惯性测量器件的状态、所述第一光流特征，确定移动设备在所述时间段内的第一运动轨迹；生成模块，用于根据所述第一运动轨迹、所述第一帧点云和所述第二帧点云，生成稠密地图。可选地，所述第一获取模块包括：第一输入子模块，用于将当前帧单目图像和所述当前帧的前一帧单目图像输入至第一网络模型，以获得所述当前帧单目图像对应的第一深度图，所述第一网络模型是根据第一训练样本训练得到的，所述第一训练样本包括：连续两帧历史单目图像、所述连续两帧中的最后一帧单目图像对应的深度图以及双目相机在所述最后一帧单目图像对应时刻下采集的左目图像对应的深度图；第一获取子模块，用于获得所述当前帧的前一帧单目图像对应的第二深度图；第二输入子模块，用于本文档来自技高网...

【技术保护点】
1.一种单目视觉建图和定位方法，其特征在于，包括：分别获取当前帧单目图像对应的第一深度图和第一光流特征，以及所述当前帧的前一帧单目图像对应的第二深度图；根据所述第一深度图和所述当前帧单目图像对应的第一RGB图，确定与所述当前帧单目图像对应的第一帧点云；根据所述第二深度图和所述前一帧单目图像对应的第二RGB图，确定与所述前一帧单目图像对应的第二帧点云；获取惯性测量器件在所述前一帧单目图像对应的第一时刻和所述当前帧单目图像对应的第二时刻的时间段内测量的数据，以及预估的所述惯性测量器件在所述第一时刻下的状态；根据所述数据、所述惯性测量器件的状态、所述第一光流特征，确定移动设备在所述时间段内的第一运动轨迹；根据所述第一运动轨迹、所述第一帧点云和所述第二帧点云，生成稠密地图。

【技术特征摘要】
1.一种单目视觉建图和定位方法，其特征在于，包括：分别获取当前帧单目图像对应的第一深度图和第一光流特征，以及所述当前帧的前一帧单目图像对应的第二深度图；根据所述第一深度图和所述当前帧单目图像对应的第一RGB图，确定与所述当前帧单目图像对应的第一帧点云；根据所述第二深度图和所述前一帧单目图像对应的第二RGB图，确定与所述前一帧单目图像对应的第二帧点云；获取惯性测量器件在所述前一帧单目图像对应的第一时刻和所述当前帧单目图像对应的第二时刻的时间段内测量的数据，以及预估的所述惯性测量器件在所述第一时刻下的状态；根据所述数据、所述惯性测量器件的状态、所述第一光流特征，确定移动设备在所述时间段内的第一运动轨迹；根据所述第一运动轨迹、所述第一帧点云和所述第二帧点云，生成稠密地图。2.根据权利要求1所述的方法，其特征在于，所述分别获取当前帧单目图像对应的第一深度图和第一光流特征，以及所述当前帧的前一帧单目图像对应的第二深度图，包括：将当前帧单目图像和所述当前帧的前一帧单目图像输入至第一网络模型，以获得所述当前帧单目图像对应的第一深度图，所述第一网络模型是根据第一训练样本训练得到的，所述第一训练样本包括：连续两帧历史单目图像、所述连续两帧中的最后一帧单目图像对应的深度图以及双目相机在所述最后一帧单目图像对应时刻下采集的左目图像对应的深度图；获得所述当前帧的前一帧单目图像对应的第二深度图；将当前帧单目图像和所述前一帧单目图像输入至第二网络模型，以获得所述当前帧单目图像和所述前一帧单目图像对应的第一光流特征，所述第二网络模型是根据第二训练样本训练得到，所述第二训练样本包括：连续两帧历史单目图像、所述连续两帧历史单目图像对应的二维光流以及所述双目相机在所述连续两帧历史单目图像分别对应时刻下采集的连续两帧历史左目图像对应的三维光流在连续两帧中最后一帧左目图像投影的二维光流。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述数据、所述惯性测量器件的状态、所述第一光流特征，确定移动设备在所述时间段内的第一运动轨迹，包括：将所述数据、所述惯性测量器件的状态输入至第三网络模型，以获得所述移动设备在所述时间段内的第二运动轨迹，所述第三网络模型是根据第三训练样本训练得到的，所述第三训练样本包括：所述惯性测量器件在连续两帧历史单目图像对应的历史时间段内测量的数据、预估的所述惯性测量器件在所述连续两帧中的第一帧单目图像对应时刻下的状态、所述移动设备在所述历史时间段内的第二运动轨迹以及所述双目相机在所述历史时间段内的第三运动轨迹；将所述第二运动轨迹和所述第一光流特征输入至第四网络模型，以获得所述移动设备在所述时间段内的第一运动轨迹，所述第四网络模型是根据第四训练样本训练得到的，所述第四训练样本包括：所述移动设备在所述历史时间段内的第二运动轨迹、所述连续两帧历史单目图像中最后一帧单目图像对应的第一光流特征、所述移动设备在所述历史时间段内的第一运动轨迹、以及所述双目相机在所述历史时间段内的第三运动轨迹。4.根据权利要求1所述的方法，其特征在于，所述根据所述第一运动轨迹、所述第一帧点云和所述第二帧点云，生成稠密地图，包括：通过以下公式生成稠密地图：其中，M表征所述稠密地图，用于确定使取最小值时的第一运动轨迹T，At-1表征所述第二帧点云，Bt表征所述第一帧点云，T表征所述第一运动轨迹。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：根据所述第一运动轨迹、所述第二运动轨迹以及以下公式，预估所述惯性测量器件在所述第二时刻下的状态：其中，St表征预估的所述惯性测量器件在所述第二时刻下的状态，ρ表征Huber损失函数，ΣI表征预积分信息矩阵，eR、eP分别表征所述第一运动轨迹和所述第二运动轨迹之间的旋转误差、平移误差，ΔRLSTM、ΔRVIO分别表征所述第一时刻和所述第二时刻的时间段内通过所述第...

【专利技术属性】
技术研发人员：韩立明，林义闽，廉士国，
申请(专利权)人：深圳前海达闼云端智能科技有限公司，
类型：发明
国别省市：广东,44