用于无人机的运动控制方法、装置及无人机系统制造方法及图纸

本发明专利技术公开了一种用于无人机的运动控制方法、装置及无人机系统，该方法包括：获取所述无人机的单目摄像机采集的图像；从所述图像中选取关键帧，其中，选取第一帧图像为关键帧，比较第一帧图像之后的当前帧图像与前一关键帧，如果所述当前帧图像与前一关键帧图像之间的至少一对同源像点的像素坐标的变化超出设定阈值，则选取所述当前帧图像为关键帧，否则为非关键帧；获取所述无人机的惯性测量单元采集的惯性数据；根据选取出的关键帧解算出所述无人机的第一位移和姿态信息；根据所述惯性数据解算出所述无人机的第二姿态信息；将所述第一位移和姿态信息与所述第二姿态信息相融合，对所述无人机进行同步定位和地图构建。

Motion control method, device and unmanned aerial vehicle system for UAV

【技术实现步骤摘要】
用于无人机的运动控制方法、装置及无人机系统
本专利技术涉及运动跟踪
，更具体地，本专利技术涉及一种用于无人机的运动控制方法、一种用于无人机的运动控制装置、及一种无人机系统。
技术介绍
由于无人机的飞行环境比较复杂，目前没有任何一种传感器可以成功应对无人机在飞行过程中遇到的所有干扰而给出精确的估计。例如，基于单目视觉的实时定位和建图((simultaneouslocalizationandmapping，SLAM)就无法得到绝对的尺度信息且无法感知重力的方向，且图像信息易受到光照、遮挡、快速运动的干扰，所以，目前提出了在单目视觉的SLAM中引入惯性测量单元(Inertialmeasurementunit，IMU)采集的惯性数据、进而实现视觉与惯性的融合估计，以在恢复尺度信息的同时，提高系统的鲁棒性。该种视觉与惯性的融合估计虽然具有较高的精度，但也存在计算量较大的问题，会对实时性有一定的影响，因此，非常有必要提供一种能够减小计算量，进而提高通过视觉与惯性的融合估计进行运动控制的实时性。
技术实现思路
本专利技术实施例的一个目的是提供一种进行视觉与惯性融合的新的技术方案，以提高运动控制的实时性。根据本专利技术的第一方面，提供了一种用于无人机的运动控制方法，其包括：获取所述无人机的单目摄像机采集的图像；从所述图像中选取关键帧，其中，选取第一帧图像为关键帧，比较第一帧图像之后的当前帧图像与前一关键帧，如果所述当前帧图像与前一关键帧图像之间的至少一对同源像点的像素坐标的变化超出设定阈值，则选取所述当前帧图像为关键帧，否则确定所述当前帧图像为非关键帧；获取所述无人机的惯性测量单元采集的惯性数据；根据选取出的关键帧解算出所述无人机的第一位移和姿态信息；根据所述惯性数据解算出所述无人机的第二姿态信息；将所述第一位移和姿态信息与所述第二姿态信息相融合，对所述无人机进行同步定位和地图构建。可选地，所述比较第一帧图像之后的当前帧图像与前一关键帧包括：提取所述当前帧图像的特征点；获取所述前一关键帧的特征点；匹配所述当前帧图像的特征点与所述前一关键帧的特征点，得到各对同源像点；如果至少一对同源像点的像素坐标的变化超出设定阈值，则所述当前帧图像为关键帧，否则为非关键帧。可选地，所述如果至少一对同源像点的像素坐标的变化超出设定阈值，则所述当前帧图像为关键帧，否则为非关键帧包括：如果至少一对同源像点的至少一个像素坐标的变化超出设定阈值，则所述当前帧图像为关键帧，否则为非关键帧。可选地，所述将所述第一位移和姿态信息与所述第二姿态信息相融合，对所述无人机进行同步定位和地图构建包括：通过加权平均的方法对所述第一位移和姿态信息与所述第二姿态信息进行融合，优化位姿估计；基于所述优化位姿估计，进行位姿图优化；基于所述位姿图优化，拼接点云建图。根据本专利技术的第二方面，还提供了一种用于无人机的运动控制装置，其包括：图像获取模块，用于获取所述无人机的单目摄像机采集的图像；关键帧选取模块，用于从所述图像中选取关键帧，其中，选取第一帧图像为关键帧，比较第一帧图像之后的当前帧图像与前一关键帧，如果所述当前帧图像与前一关键帧图像之间的至少一对同源像点的像素坐标的变化超出设定阈值，则选取所述当前帧图像为关键帧，否则确定所述当前帧图像为非关键帧；惯性数据获取模块，用于获取所述无人机的惯性测量单元采集的惯性数据；第一解算模块，用于根据选取出的关键帧解算出所述无人机的第一位移和姿态信息；第二解算模块，用于根据所述惯性数据解算出所述无人机的第二姿态信息；以及，运动控制模块，用于将所述第一位移和姿态信息与所述第二姿态信息相融合，对所述无人机进行同步定位和地图构建。可选地，所述关键帧选取模块包括：提取单元，用于提取所述当前帧图像的特征点；获取单元，用于获取所述前一关键帧的特征点；匹配单元，用于匹配所述当前帧图像的特征点与所述前一关键帧的特征点，得到各对同源像点；以及，选取单元，用于在至少一对同源像点的像素坐标的变化超出设定阈值的情况下，选取所述当前帧图像为关键帧，否则确定所述当前帧为非关键帧。可选地，所述选取单元用于：在至少一对同源像点的至少一个像素坐标的变化超出设定阈值的情况下，选取所述当前帧图像为关键帧，否则确定所述当前帧图像为非关键帧。可选地，所述运动控制模块包括：位姿估计单元，用于通过加权平均的方法对所述第一位移和姿态信息与所述第二姿态信息进行融合，优化位姿估计；后端优化单元，用于基于所述优化位姿估计，进行位姿图优化；建图单元，用于基于所述位姿图优化，拼接点云建图。根据本专利技术的第三方面，还提供了一种无人机系统，其包括根据本专利技术第二方面所述的运动控制装置。根据本专利技术的第四方面，还提供了一种无人机系统，其包括处理器和存储器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据本专利技术第一方面所述的方法。本专利技术的一个有益效果在于，本专利技术方法通过比较同源像点的像素坐标的变化选取关键帧，并基于关键帧进行视觉与惯性的融合以实现实时定位与地图构建，这可以有效减少计算量，有利于提高运动控制的实时性。依照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。图1为根据本专利技术实施例的无人机系统的组成结构；图2为根据本专利技术实施例的无人机的硬件结构示意图；图3为根据本专利技术实施例的地面站的硬件结构示意图；图4为根据本专利技术实施例的运动控制方法的流程示意图；图5为根据本专利技术实施例的运动控制装置的原理框图；图6为根据本专利技术实施例的无人机系统的原理框图。具体实施方式现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。<无人机系统框架>图1是根据本专利技术实施例的无人机系统的结构组成。根据图1所示，本专利技术实施例的无人机系统包括无人机1000和地面站2000。图2是根据本专利技术实施例的无人机1000的硬件结构。根据图2所示，无人机1000包括至少一个处理器1100和至少一个存储器1200。存储器1200用于存储指令，该指令用于控制处理器1100进行操作以执行根据本专利技术的运动控制方法。技术人员可以根据本专利技术所公开方案设计指令。指令如何控制处理器1100进行操作，这是本领域公知，故在此不再详细描述。处理器1100例如可以是中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。根据本专利技术实本文档来自技高网...

【技术保护点】
一种用于无人机的运动控制方法，其特征在于，包括：获取所述无人机的单目摄像机采集的图像；从所述图像中选取关键帧，其中，选取第一帧图像为关键帧，比较第一帧图像之后的当前帧图像与前一关键帧，如果所述当前帧图像与前一关键帧图像之间的至少一对同源像点的像素坐标的变化超出设定阈值，则选取所述当前帧图像为关键帧，否则确定所述当前帧图像为非关键帧；获取所述无人机的惯性测量单元采集的惯性数据；根据选取出的关键帧解算出所述无人机的第一位移和姿态信息；根据所述惯性数据解算出所述无人机的第二姿态信息；将所述第一位移和姿态信息与所述第二姿态信息相融合，对所述无人机进行同步定位和地图构建。

【技术特征摘要】
1.一种用于无人机的运动控制方法，其特征在于，包括：获取所述无人机的单目摄像机采集的图像；从所述图像中选取关键帧，其中，选取第一帧图像为关键帧，比较第一帧图像之后的当前帧图像与前一关键帧，如果所述当前帧图像与前一关键帧图像之间的至少一对同源像点的像素坐标的变化超出设定阈值，则选取所述当前帧图像为关键帧，否则确定所述当前帧图像为非关键帧；获取所述无人机的惯性测量单元采集的惯性数据；根据选取出的关键帧解算出所述无人机的第一位移和姿态信息；根据所述惯性数据解算出所述无人机的第二姿态信息；将所述第一位移和姿态信息与所述第二姿态信息相融合，对所述无人机进行同步定位和地图构建。2.根据权利要求1所述的运动控制方法，其特征在于，所述比较第一帧图像之后的当前帧图像与前一关键帧包括：提取所述当前帧图像的特征点；获取所述前一关键帧的特征点；匹配所述当前帧图像的特征点与所述前一关键帧的特征点，得到各对同源像点；如果至少一对同源像点的像素坐标的变化超出设定阈值，则所述当前帧图像为关键帧，否则为非关键帧。3.根据权利了要求2所述的运动控制方法，其特征在于，所述如果至少一对同源像点的像素坐标的变化超出设定阈值，则所述当前帧图像为关键帧，否则为非关键帧包括：如果至少一对同源像点的至少一个像素坐标的变化超出设定阈值，则所述当前帧图像为关键帧，否则为非关键帧。4.根据权利要求1所述的运动控制方法，其特征在于，所述将所述第一位移和姿态信息与所述第二姿态信息相融合，对所述无人机进行同步定位和地图构建包括：通过加权平均的方法对所述第一位移和姿态信息与所述第二姿态信息进行融合，优化位姿估计；基于所述优化位姿估计，进行位姿图优化；基于所述位姿图优化，拼接点云建图。5.一种用于无人机的运动控制装置，其特征在于，包括：图像获取模块，用于获取所述无人机的单目摄像机采集的图像；关键帧选取模块，用于从所述图像中选取关键帧，其中，选取第一...

【专利技术属性】
技术研发人员：赵小川，刘培志，胡雄文，瞿蓉，郝丽丽，
申请(专利权)人：中国兵器工业计算机应用技术研究所，
类型：发明
国别省市：北京,11