一种无人机的视觉定位避障系统及其方法技术方案

本发明专利技术涉及无人机技术领域，特别涉及一种无人机的视觉定位避障系统及其方法，该系统包括在无人机上装载有双目视觉系统、传感器模块及飞行控制系统；该方法包括双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；传感器模块获取无人机的状态信息；飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；无人机根据飞行控制指令规避障碍物飞行。本发明专利技术将视觉信息与传感器模块信息相融合，感知飞行环境信息，进行飞行路径控制和路径规划以对障碍物进行规避，有效地解决了无人机视觉避障的问题，使其具备利用机载摄像机完成视觉避障的能力。

A vision location and obstacle avoidance system for UAV and its method

The invention relates to the technical field of UAV, in particular to a visual positioning obstacle avoidance system of UAV and its method, which includes a binocular vision system, a sensor module and a flight control system mounted on the UAV; the method includes a binocular vision system to obtain visual information of the UAV flight environment, and is processed. Obstacle information is obtained; sensor module acquires UAV status information; flight control system receives obstacle information and UAV status information, establishes flight path, generates flight control instructions and sends them to UAV; UAV evades obstacles according to flight control instructions. The invention integrates visual information with sensor module information, senses flight environment information, carries out flight path control and path planning to avoid obstacles, effectively solves the problem of UAV visual obstacle avoidance, and makes it have the ability of using airborne camera to complete visual obstacle avoidance.

【技术实现步骤摘要】
一种无人机的视觉定位避障系统及其方法
本专利技术涉及无人机
，特别涉及一种无人机的视觉定位避障系统及其方法。
技术介绍
由于近年来微电子技术和传感器技术的发展，使得完全自主控制的无人飞行器的实现成为可能。目前自主飞行器设计的关键问题集中于信息获取，导航与远程控制系统设计。对于传统的高空飞行无人机，采用GPS与惯性测量单元(IMU)相结合的方法，可以获取相应的位置姿态，高度，航向信息，以实现飞行控制和路径点导航。但是对于主要应用于低空近地环境的微小型无人机，其飞行环境要复杂的多，因此飞行器不仅要估计自身的位姿，还要感知周围的实际环境。为了实现微小型无人机在低空环境的自主飞行，必需选择合适的传感器获取无人机位姿及周围环境信息。目前应用较多的传感器包括超声波传感器，激光雷达以及视觉相机等。由于微小无人机具有较为严格的载重约束和能源约束，使用相机作为传感器通过视觉的方法获取信息具有明显的优点。相机具有成本低，重量较轻，并且被动成像，包含飞行器运动和周围环境的大量信息。由于GPS信号在杂乱的低空环境和室内稳定性较差，因此很多试验系统不使用GPS信号。视觉方法在微小型无人机系统得到了广发的应用。例如南加州大学基于视觉实现无人机的自动降落，基于视觉的反馈控制，基于光流算法的视觉避障等。视觉算法主要包括基本的特征识别跟踪，光流场计算，以及视觉定位和环境实时绘图等。MITACL在室内未知环境下基于视觉的四旋翼飞行器控制和导航的研究，分析说明了视觉方法在小型无人机自主控制方面的应用。尽管计算机视觉经过几十年的发展，一些算法已经相当成熟，但是无人机作为一个全新的应用平台，会有较多的实际问题有待解决，比如由于飞行震动引起的图形模糊，因飞行速度较快需要视觉处理算法有较强的实时性等，同时由于无人机载重量和计算能力的约束，导致在现有的条件下尽量多和全面的提取出飞行器自身姿态和周围境信息比较困难。
技术实现思路
本专利技术的目的在于，提供一种无人机的视觉定位避障系统及其方法，该检测系统能够在满足无人机对功耗及载重的需求前提下，获得实时的较高精度的飞行环境三维信息从而实现视觉定位和避障。专利技术解决其技术问题所采用的技术方案是：一种无人机的视觉定位避障系统，无人机，在无人机上装载有双目视觉系统、传感器模块及飞行控制系统；所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息，该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；所述传感器模块包含惯性测量单元IMU、全球定位系统GPS、磁罗盘及气压计；所述飞行控制系统接收来自于双目视觉系统及传感器模块的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。作为优选，所述视觉采集处理单元的具体结构为：所述嵌入式处理器ARM模块通过AMBA与外部IO单元进行连接，通过AMBA实现对静态内存单元的控制；现场可编程门阵列FPGA模块包括标准IO接口与外部设备进行连接，对机载摄像机进行同步控制，通过GigE模块实现GigE摄像机的视频采集，通过PCIe接口进行内部数据传输；所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互。作为优选，所述双目视觉系统分别与传感器模块、飞行控制系统之间采用CAN总线的方式进行通信。作为优选，所述系统还包括遥控器和地面站，所述遥控器、地面站与飞行控制系统及无人机之间以无线链路的方式进行通信。专利技术解决其技术问题所采用的技术方案是：一种无人机的视觉定位避障方法，包括以下步骤：步骤1、双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；步骤2、传感器模块获取无人机的状态信息；步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；步骤4、无人机根据飞行控制系统的飞行控制指令规避障碍物飞行。作为优选，所述步骤1双目视觉系统获取无人机飞行环境的视觉信息的具体方法为：现场可编程门阵列FPGA模块通过控制同步触发单元产生同步信号，控制机载摄像机同步采集图像，并将图像传输给嵌入式处理器ARM模块，利用时间戳标识图像，用于后续处理分析。作为优选，所述步骤3飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径的方法为：飞行控制系统根据障碍物信息判断无人机的原飞行路径上是否存在障碍物；进而根据障碍物信息和无人机状态信息生成新的飞行路径；根据传感器模块的数据和新的飞行路径生成飞行控制指令。本专利技术的优点和积极效果是：1、本专利技术利用所述双目视觉系统实现了无人机对所在飞行环境中存在的障碍物进行有效避障的功能，且本专利技术可行性好，实时性高且算法复杂度低，同时具有较好的鲁棒性，可以有效防止噪声的影响，进而准确获取障碍物的种类、尺寸、形状及运动状态等信息，实现无人机对障碍物的有效避障功能。2、本专利技术将视觉信息与传感器模块信息相融合，感知飞行环境信息，进行飞行路径控制和路径规划以对障碍物进行规避，有效地解决了无人机视觉避障的问题，使其具备利用机载摄像机完成视觉避障的能力。3、本专利技术的视觉采集处理单元采用FPGA与ARM相结合设计方案，具有处理速度快、低功耗、小体积及低重量的特点，因此能够适用于无人机领域。4、本专利技术的飞行控制系统、遥控器、地面站及无人机之间采用无线链路的方式进行无线通信，实现了更方便的控制功能。附图说明图1是本专利技术的无人机自主障碍物检测系统的结构示意图；图2是本专利技术的基于FPGA及ARM的嵌入式系统架构图；图3是本专利技术的双目视觉系统架构图；图4是本专利技术的实时双目视觉系统的障碍物检测过程算法流程示意图；具体实施方式一种基于双目视觉的无人机自主障碍物检测系统，如图1所示，包括：双目视觉系统101：包括两台机载摄像机1011和视觉采集处理单元1012，所述两台机载摄像机1011获得无人机106的环境视觉信息，并将该数据传送到视觉采集处理单元1012，所述视觉采集处理单元1012对视觉信息进行理解分析，最终获得环境信息，同时判断并给出障碍物信息，所述障碍物信息通过CAN总线107发送给飞行控制系统103。传感器模块102：包括惯性测量单元IMU1021、全球定位系统GPS1022、磁罗盘1023及气压计1024，用于获取无人机106的飞行高度、飞行航向、飞行速度、飞行姿态等飞行状态信息；传感器模块102所获得的传感器信息通过CAN总线107发送给飞行控制系统103。飞行控制系统103：飞行控制系统103通过CAN总线107接收来自于双目视觉系统101及传感器模块102的视觉感知信息和无人机飞行状态数据，通过融合后，将结果发送至飞行控制器1032，以根据视觉感知信息得到无人机106所在的飞行环境中的障碍物信息，以及根据障碍物信息和无人机状态信息规划无人机106的飞行路径，并根据飞行路径生成飞行控制指令，用于控制无人机106的障碍物规避飞行。所述飞行控制系统103通过控制无人机106机载舵机组实现对无人机运动的控制功能。所述的障碍物信息本文档来自技高网...

【技术保护点】
1.一种无人机的视觉定位避障系统，无人机，在无人机上装载有双目视觉系统、传感器模块及飞行控制系统；所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息，该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；所述传感器模块包含惯性测量单元IMU、全球定位系统GPS、磁罗盘及气压计；所述飞行控制系统接收来自于双目视觉系统及传感器模块的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。

【技术特征摘要】
1.一种无人机的视觉定位避障系统，无人机，在无人机上装载有双目视觉系统、传感器模块及飞行控制系统；所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息，该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；所述传感器模块包含惯性测量单元IMU、全球定位系统GPS、磁罗盘及气压计；所述飞行控制系统接收来自于双目视觉系统及传感器模块的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。2.根据权利要求1所述的无人机的视觉定位避障系统，其特征在于：所述视觉采集处理单元的具体结构为：所述嵌入式处理器ARM模块通过AMBA与外部IO单元进行连接，通过AMBA实现对静态内存单元的控制；现场可编程门阵列FPGA模块包括标准IO接口与外部设备进行连接，对机载摄像机进行同步控制，通过GigE模块实现GigE摄像机的视频采集，通过PCIe接口进行内部数据传输；所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互。3.根据权利要求1所述的无人机的视觉定位避障系统，其特征在于：...

【专利技术属性】
技术研发人员：高扬，闫廷廷，
申请(专利权)人：中交遥感载荷北京科技有限公司，
类型：发明
国别省市：北京,11