一种无人飞行器室内同时定位与环境建模方法技术

本发明专利技术公开了一种无人飞行器室内同时定位与环境建模方法，可以对无人飞行器进行飞行轨迹与定位，并快速绘制室内三维环境模型。构建无人飞行器的操作平台和操作方法，利用其上搭载的RGB-D传感器对数据进行收集，并采用视觉测程法对无人飞行器在室内飞行的飞行轨迹及位置进行估计，采用扩展的卡尔曼滤波算法得到更为准确的飞行器飞行轨迹及位置。进一步，利用无人飞行器与地面通信装置的数据传输功能使其将机上传感器收集信息实时反馈给地面操作人员，并利用计算机三维数据显示方法对收集数据进行计算、处理与室内三维环境建模与显示。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了，可以对无人飞行器进行飞行轨迹与定位，并快速绘制室内三维环境模型。构建无人飞行器的操作平台和操作方法，利用其上搭载的RGB-D传感器对数据进行收集，并采用视觉测程法对无人飞行器在室内飞行的飞行轨迹及位置进行估计，采用扩展的卡尔曼滤波算法得到更为准确的飞行器飞行轨迹及位置。进一步，利用无人飞行器与地面通信装置的数据传输功能使其将机上传感器收集信息实时反馈给地面操作人员，并利用计算机三维数据显示方法对收集数据进行计算、处理与室内三维环境建模与显示。【专利说明】
本专利技术属于人工智能以及计算机视觉领域，特别涉及机器人室内定位以及三维环境建模方法。
技术介绍
随着智能机器人的研究不断发展，利用机器人代替人对环境进行探索和建模已经逐渐成为可能。需要解决的关键问题是机器人的室内定位和环境建模方法。目前研究人员所研究和实验的机器人平台，大多数是地面机器人，例如智能车，人形机器人以及其他一些功能性的机器人，这些研究取得了一定的成果，覆盖了人工智能以及图像识别等很多领域。然而对于一些特定的环境，仅依靠地面机器人难以完成对环境探索的任务。机器人所处的环境一般分为室外环境和室内环境。相对于室外开阔的环境，室内环境中的智能体探索更具挑战性，首先机器人所处的环境更为杂乱和狭小，这为机器人避障增加了难度；其次在室内环境下一般没有GPS等外部导航系统的支持，所以无法直接获取自身的位置信息，通常这种问题采用同时定位与构图(SLAM)算法来解决。SLAM(simultaneous localization and mapping),也称为 CML(ConcurrentMapping and Localization),即时定位与地图构建。SLAM最早于1988年提出。由于其重要的理论与应用价值，被很多学者认为是实现真正全自主移动机器人的关键。同时定位与构图问题可以描述为:移动机器人在自身位置不确定和未知环境中运动时逐步构建周围环境的地图，同时运用此地图对机器人位置和姿态进行估计，进行自主定位和导航。无人飞行器在室内飞行，首先利用外部传感器来估计相对位置变化。由于传感器自身是有误差的，特别是大规模环境中，这种测量错误会逐渐累加。一旦飞行器两次或多次通过同一个地点，就可能会算出来不一致的坐标。为了解决这一问题，首先会选用某种滤波器来融合各种可用的数据，减弱噪声的影响，获取更准确的相对位置变化估计值。另外，SLAM算法还会定期地用当前环境特征与历史环境特征进行匹配，来检测飞行轨迹是否存在一个环。如果存在，就根据环的信息来矫正之前的飞行轨迹。经过这样的定期优化过程，飞行器就能够在大规模环境中绘制出更准确且全局一致的地图。对于外部RGB-D (即颜色、深度信息)传感器的选择,使用PrimeSense或与其相似的三维感知与扫描传感器设备。它包含有普通摄像头与红外感知设备。其距离感知原理是一种光编码技术，用光源照明给需要测量的空间编上码，这种光源叫做激光散斑，是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点。这些散斑具有高度的随机性，而且会随着距离的不同变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看到物体上面的散斑图案，即可知道这个物体所在位置。对于一些室内环境，例如地震后的倒塌的房屋，坍塌的地下矿井，甚至对于一个高层大楼，对于没有自主爬楼梯能力的地面机器人，要完成室内搜索和建模都是不可能的，面对这样的需求近年来科研人员提出将无人飞行器作为在室内复杂环境中执行探测任务的平台。因此实现无人飞行器的自主室内定位和三维环境建模，成为了一个亟待解决的问题。然而，相比于地面机器人，在无人飞行器上实现一个完整的环境探测与建模系统存在着很多挑战，主要有以下几个:I)有限的载重:作为一种飞行器，需要不间断地提供升力才能维持自身的平衡，因此载重是有限的，难以像地面机器人那样，可以携带各种各样的重型传感器。对于外界环境信息的获取势必存在一定的局限性。2)有限的计算能力:有限的载重决定了无人飞行器智能携带一个轻量级的嵌入式计算机系统，而基于无人飞行器的SLAM算法以及联机搜索策略时间复杂度较高，同时还要保证实时性，无人飞行器的计算能力是有限的，所以必须对相关算法进行特殊的优化或重新设计。3)动作变化快:无人飞行器运动速度很快，任何延迟都可能会被这种特性放大，导致更大的错误，因此系统的各个模块都要保证一定的实时性。4)频繁的震动:无人飞行器不能像地面机器人一样停止不动，在空中会轻微震动，这给规划工作带来了很大的困难。5)三维空间:无人飞行器运行在三维空间中，以前的一些针对地面机器人的联机搜索策略往往面对二维空间，三维空间会使智能体的状态空间复杂度提升。另外，改变高度时，可能会有障碍物突然出现或消失。这要求它具备良好的鲁棒性和实时性。6)需要对速度进行估计:四旋翼飞行器属于欠驱动系统，为了更好的控制，需要准确的估计速度。7)相对位置估计:为了实现无人飞行器的室内搜索策略，需要准确的进行室内定位，基于地面机器人的测程法可以直接获取相对位置估计进行定位，但无人飞行器上的惯性测量单元是轻量级的，动作计算误差较大，没法直接使用。因此，必须借助外部传感器来间接地进行位置估计。从以上可以看出，目前无人机上的室内探索和建模仍存在着很大的挑战和研究前景，具有很大的科学意义。
技术实现思路
为了克服上述缺陷，本专利技术提出，可以利用本专利技术中所涉及的方法实现无人飞行器的室内飞行快速定位并绘制室内三维模型。为实现上述专利技术目的，提出，其特征在于:步骤I):构建无人飞行器硬件结构，机上搭载嵌入式主控CPU、飞行控制板、RGB-D传感器，以及供电设备和无线传输设备；步骤2):控制无人飞行器在室内飞行，并利用RGB-D传感器收集数据；步骤3):假设飞行器在室内空间飞行的某时刻为t，采用视觉测程法估计t时刻飞行器动作与t-Ι时刻相比的变化情况。该方法具体包括平移与旋转两种变化，实现如下:首先基于满足实时要求的特征检测技术与特征匹配技术来得到前后两帧的对应特征对，并利用一些限制，如长度和角度来去掉一些异常的特征匹配，然后基于最小误差原则计算飞行位置的改变量；更优选的，我们可以使用仅基于RGB-D传感器来自其自身集成红外传感器获取的深度信息来完成视觉测程算法，实现在黑暗无光照等环境中的定位与建模；更优选的，在上述方法中采用计算机多线程处理机制，用来保证各模块的独立运行和模型的实时计算、生成与展示效果；步骤4):由于无人飞行器的运动模型是非线性系统，所以在数据融合阶段，我们需要平滑在视觉测程法中估计的飞行位置和真实位置之间的差距。显然，在非线性系统中，被普遍采用的处理方法卡尔曼滤波器有一定缺陷，因此采用扩展卡尔曼滤波器算法，来完成对飞行轨迹曲线的降噪和平滑；步骤5):在机上完成视觉测程法与滤波算法后，即可得到初步的位置估计。地面站必须与飞行器进行数据通信来获取室内环境的RGB-D数据与估计的位置，供路径规划和室内环境建模使用；步骤6):通常，飞行器上算法得到的位置估计的误差会随着时间而累积。当环境很大时，这种误差的累积现象会导致整个环境地图的紊乱。为了解决这一问题，采用闭环检本文档来自技高网...

【技术保护点】
一种无人飞行器室内同时定位与环境建模方法，其特征在于，步骤1）：构建无人飞行器硬件结构，机上搭载嵌入式主控CPU、飞行控制板、RGB‑D传感器，以及供电设备和无线传输设备；步骤2）：控制无人飞行器在室内飞行，并利用RGB‑D传感器收集数据；步骤3）：假设飞行器在室内空间飞行的某时刻为t，采用视觉测程法估计t时刻飞行器动作与t‑1时刻相比的变化情况；该变化情况具体包括平移与旋转两种变化，具体实现如下：首先基于特征检测技术与特征匹配技术来得到前后两帧的对应特征点，并利用长度、角度限制条件去掉一些异常的特征匹配，然后基于最小误差原则计算飞行位置的改变量；步骤4）：在数据融合阶段，平滑在视觉测程法中估计的飞行位置和真实位置之间的差距；采用扩展卡尔曼滤波器算法，来完成对飞行轨迹曲线的降噪和平滑；步骤5）：在机上完成视觉测程法与扩展的卡尔曼滤波算法后，即得到初步的位置估计；地面站必须与飞行器进行数据通信来获取室内环境的RGB‑D数据与估计的位置，供路径规划和室内环境建模使用；步骤6）：采用闭环检测技术优化飞行轨迹，具体包括：当飞行器在室内空间飞行时，每当飞行轨迹与之前某时刻的飞行轨迹重合时，即构成了一个封闭的环路，此时将进行再次迭代算法对形成环路的飞行轨迹进行修正，从而减小位置估计误差；步骤7）：经过步骤3、4、5、6后，得到更为准确的飞行轨迹与RGB‑D数据；为了完成实时显示效果，采用OpenGL计算机图形算法接口对RGB‑D数据进行处理从而实现三维地图的实时显示。...

【技术特征摘要】

【专利技术属性】
技术研发人员：丁嵘，陈震，王顺利，朱骋，朱润凯，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11