深度补全视觉惯性定位方法、深度补全模型及视觉装置制造方法及图纸

本发明专利技术公开了一种深度补全视觉惯性定位方法、深度补全模型及视觉装置。本方法包括：将预处理的RGB图像、深度图像输入经训练的深度补全模型，得到补全深度图像；根据预处理的IMU数据、预处理的RGB图像的特征点及特征点在补全深度图像中对应的深度值，计算视觉模块的初始位姿；根据特征点在补全深度图像中对应的深度值，对超出相机深度阈值的深度值进行校正；根据初始位姿、预处理的RGB图像的特征点及特征点对应的校正后的深度值，计算视觉模块的位姿。深度补全模型包括深度图像特征提取网络、RGB图像特征提取网络以及上采样特征融合网络。视觉装置部署有深度补全模型。本发明专利技术能够提高无人机和机器人定位的精确度和鲁棒性。

【技术实现步骤摘要】

本专利技术涉及无人机和机器人自主定位，尤其涉及一种深度补全视觉惯性定位方法、深度补全模型及视觉装置。

技术介绍

1、越来越多的无人机被广泛用于民用和军用领域，这是因为无人机具有高度灵活性、飞行稳定性和较低成本等诸多优点，能够帮助用户高效完成危险系数高、成本代价大的任务。无人机借助外部信号进行定位的方法存在不稳定性，例如全球导航卫星系统(globalnavigation satellite system,gnss)信号可能会受到干扰与遮挡，因此通过机载资源实现无人机的自身位姿估计十分必要。

2、目前，无人机自主定位的常用的传感器有相机传感器、激光雷达传感器、惯性测量单元(inertial measurement unit,imu)等。其中，基于视觉传感器和imu传感器紧耦合的定位方法较为常用，原因是这两种传感器具备体积小、重量低的特点，适合小型无人机搭载。

3、现有的视觉传感器能够提供深度信息，但是受传感器硬件限制，其得到的深度图像存在空洞缺失现象，这种深度信息的缺失对于后续的深度数据应用和分析构成了重大挑战，会直接影响无人机自主定位本文档来自技高网...

【技术保护点】

1.一种深度补全视觉惯性定位方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种深度补全视觉惯性定位方法，其特征在于，对所述RGB图像、深度图像和IMU数据进行预处理，包括如下步骤：

3.根据权利要求1所述的一种深度补全视觉惯性定位方法，其特征在于，所述对超出相机深度阈值的深度值进行校正，包括如下步骤：

4.根据权利要求1所述的一种深度补全视觉惯性定位方法，其特征在于，在对所述深度补全模型进行训练时，采用如下联合损失函数作为损失函数：

5.根据权利要求4所述的一种深度补全视觉惯性定位方法，其特征在于，所述法向量损失函数的计算步骤如...

【技术特征摘要】

1.一种深度补全视觉惯性定位方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种深度补全视觉惯性定位方法，其特征在于，对所述rgb图像、深度图像和imu数据进行预处理，包括如下步骤：

3.根据权利要求1所述的一种深度补全视觉惯性定位方法，其特征在于，所述对超出相机深度阈值的深度值进行校正，包括如下步骤：

4.根据权利要求1所述的一种深度补全视觉惯性定位方法，其特征在于，在对所述深度补全模型进行训练时，采用如下联合损失函数作为损失函数：

5.根据权利要求4所述的一种深度补全视觉惯性定位方法，其特征在于，所述法向量损失函数的计算步骤如下：

6.根据权利要求5所述的一种深度补全视觉惯性定位方法，其特征在于，所述表面法向量损失函数ln定义为：

7.一种深度补全模型，其特征在于，用于对...

【专利技术属性】
技术研发人员：凡时财，邹见效，廖意铭，
申请(专利权)人：电子科技大学深圳高等研究院，
类型：发明
国别省市：