具有深度恢复能力的无人机单目SLAM可扩展框架制造技术

仅使用单目传感器，就为DJI自主无人机设计了具有深度恢复功能的可扩展的同时定位与建图(SLAM)框架，该无人机利用机器人操作系统(ROS)集成在机载计算机中。具体地，基于知识库ORB‑SLAM2，获得了车载单目视觉的具有比例的姿态信息，并且利用AprilTag2进行融合操作以恢复场景深度信息。另外，基于单目传感器，姿态转换模块和姿态释放模块被设计为允许无人机直接使用的相应的姿态信息。利用所提供的姿态信息，用于无人机的外环几何跟踪控制器被设计出来，通过计算期望的推力和姿态来完成从轨迹规划模块生成的飞行任务。由于在ROS中明确定义了通信接口，因此可以轻松实现所提出的框架，从而使无人飞行器仅凭单目视觉即可稳定，准确地自主执行轨迹跟踪和着陆任务。进行实际实验以验证所提出框架的有效性。

【技术实现步骤摘要】
具有深度恢复能力的无人机单目SLAM可扩展框架
本专利技术属于计算机视觉与无人机的
，特别是涉及一种GPS导航信号不可用的场景中无人机的自主恢复深度及轨迹跟踪控制方法。
技术介绍
近年来，无人驾驶飞机在视觉伺服，非线性控制，SLAM等许多研究领域受到了广泛的关注。DJIMatrice100由于其出色的稳定性，对开发的再次支持和强大的耐力而被广泛用于无人机研究领域。例如轨迹跟踪控制，目标检测和跟踪，路径规划，基于视觉的导航等。在室外环境中，DJI自动驾驶仪可以稳定多旋翼的位置，并通过全球定位系统(GPS)提供正确的姿态和速度信号估计。但是，在室内环境下使用DJIGuidance时，它无法直接融合来自外部传感器的任何数据，因为缺少GPS信号。因此，设计无人机的框架以提供状态和控制信息非常重要，该信息可以获取无法访问GPS的速度和姿态。单目相机具有结构简单，成本低廉，采样数据充足等优点，在SLAM研究领域引起了广泛的关注。利用单目视觉，已经有许多关于状态估计，里程计和SLAM的完整著作，包括PTAM，SVO，LSD-SLAM和VINS-本文档来自技高网...

【技术保护点】
1.一种具有深度恢复能力的无人机单目SLAM可扩展框架，其特征包括以下步骤：/n第1，框架的概述/n框架中五个模块的关系如图1所示。深度求解模块首先被设计为利用AprilTag2算法来计算比例尺信息。初始化单目模式的ORB-SLAM2，然后将其与相机深度融合以提供状态估计结果。引入了轨迹设计模块以生成所需轨迹，并且控制器模块通过合并实时姿态信息来计算用于安全，准确的无人机运动的输入命令。最后，DJI自动驾驶仪通过硬件接口接收控制器发送的输入命令。框架中所有模块之间的通信都是通过ROS接口进行的。/n第2，坐标系转换和深度求解/n该框架的第一个模块是通过合并AprilTag2和ORB-SLAM2...

【技术特征摘要】
1.一种具有深度恢复能力的无人机单目SLAM可扩展框架，其特征包括以下步骤：
第1，框架的概述
框架中五个模块的关系如图1所示。深度求解模块首先被设计为利用AprilTag2算法来计算比例尺信息。初始化单目模式的ORB-SLAM2，然后将其与相机深度融合以提供状态估计结果。引入了轨迹设计模块以生成所需轨迹，并且控制器模块通过合并实时姿态信息来计算用于安全，准确的无人机运动的输入命令。最后，DJI自动驾驶仪通过硬件接口接收控制器发送的输入命令。框架中所有模块之间的通信都是通过ROS接口进行的。
第2，坐标系转换和深度求解
该框架的第一个模块是通过合并AprilTag2和ORB-SLAM2获得有关单目相机的深度信息。位姿发布和转换模块是在ROS环境下设计的。无人机上安装了英特尔实感D435i传感器，并且所提的框架中仅使用单目相机，相机坐标系表示为在初始时刻t＝0时表示为表示无人机机体坐标系，在初始时刻t＝0时表示为
参考坐标系定义在AprilTag2的标签上，用表示。利用标签检测算法，在下表示的坐标系的旋转矩阵和平移向量都是通过AprilTag2姿态计算算法获得的。表示坐标系在下的转换关系，同样的表示坐标系在下的转换关系，表示预校准的相机和无人机之间的转换关系。根据坐标系转换原理，可以通过计算和得到计算过程如下所示：



然后，旋转矩阵和平移向量可以通过以下获得：



系统启动时，AprilTag2和ORB-SLAM2都会启动，t′表示ORB-SLAM2初始化完成的瞬间。我们假设启动系统时标签位于相机视场中。通过对AprilTag2进行的姿态测量，可以得到从时间ti到的摄像机坐标系的变化量如下所示：




的平移向量已经获得。
此外，在时间t′处，可以在ORB-SLAM2的输出下获得从到时间t′的摄像机坐标系的缩放平移矢量因此，通过计算相同相机平移矢量的上述两个不同表达式之间的比率，可以恢复复杂的ORB-SLAM2的比例因子s：



第3，状态估计模块
结合已建立的单目SLAM(例如ORB-SLAM2)，将其用于无人机平台，它可以提供可靠、准确的无人机状态估计和工作区映射结果。
在ORB-SLAM2中，仅运动包调整(BA)可以将摄像机坐标系的方向和位置从最佳化为当前时间t，从而使匹配的3-D点在以下和图像关键点与i∈χ之间的重投影误差最小。所有匹配项的集合：



其中ρ(·)是鲁棒的Huber成本函数，而∑是与关键点规模相关的协方差矩阵。πm(·)的定义如下：



其中校准的相机参数(fx，fy)是缩放的焦距，而(cx，cy)是图像上的主要特征点。
原始的ORB-SLAM2主要具有三个并行线程：跟踪，局部映射和循环关闭，但是，生成的姿态信息不会实时发布。为了解决无人机无法直接获得深度融合ORB-SLAM2提供的状态估计的问题，设计了一种姿态发布转换模块，如图2所示。
在图2中，姿态信息是通过利用ROS发布者/订阅者工具进行传输的。利用转换节点，可以根据摄像机/无人机坐标系的关系从深度融合摄像机的姿态中获得无人机姿态，如图3所示。
如坐标系转换和深度求解章节所述，无人机和摄像机坐标系的变换是已知的且恒定不变，而如状态估计模块所述，通过融合的ORB-SLAM2姿态计算可获得下的变换在此基础上，根据坐标系变换原理，可以通过以下关系得到坐标系在下的变换

【专利技术属性】
技术研发人员：李宝全，安晨亮，高喜天，师五喜，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津;12