一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机技术方案

本发明专利技术涉及一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机，其主要技术特点是：该系统包括在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统；该方法包括双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；其他传感器单元获取无人机的状态信息；飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；无人机根据飞行控制指令规避障碍物飞行。本发明专利技术将视觉信息与其他传感器信息相融合，感知飞行环境信息，进行飞行路径控制和路径规划以对障碍物进行规避，有效地解决了无人机视觉避障的问题，使其具备利用机载摄像机完成视觉避障的能力。

【技术实现步骤摘要】
一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机
本专利技术属于无人机
，尤其是一种基于双目视觉的无人机自主障碍物检测系统及方法及无人机。
技术介绍
随着飞行器相关技术的不断发展及其应用场景的复杂化，对其环境感知能力提出了更高的要求。基于视觉的导航技术具有探测范围宽、信息容量大等优势，此外其具有对飞行环境变化捕捉迅速、反应敏锐等特点，因此在飞行器导引导航研究中得到了越来越多的关注。基于视觉的环境感知属于被动测量方式，与激光、雷达及超声等主动测量方式相比，可减少多个测量装置在检测过程中的相互干扰，更为重要的是可降低在某些特定环境(如战场)使用时被发现的概率，具有较强的隐蔽性。基于视觉的飞行环境中障碍物感知应用可使用单目或双目视觉，其中双目视觉可获得较单目视觉更高的精度，而应用较为广泛。单目视觉使用一台机载摄像机获取飞行图像，然而飞行环境的三维信息会在图像投影过程中丢失，虽可利用多帧图像或离线训练的方法还原环境的深度信息，但处理过程复杂，导致机载嵌入式处理器难以实现实时处理，目前只能做到将图像传回地面站解算后再返回无人机的方式进行障碍物规避控制。而双目视觉基于视差原理，其产生的立体视觉信息可以直接恢复目标环境的三维坐标，进而可获得环境的深度信息，对于未知飞行环境中的障碍物及潜在碰撞的检测具有重要的实用意义。双目视觉是计算机视觉的一个重要分支，双目视觉可以模仿人的眼睛和人类立体视觉感知的过程，是计算机视觉研究的核心主题之一。近年来，双目视觉技术在障碍物检测、工业自动化生产、智能安防系统等领域得到了广泛的应用。但是，现有的基于视觉的障碍物感知方法存在的诸多问题，计算机视觉方法在飞行器中的应用主要集中于自主着陆、景象匹配与目标识别以及视觉惯性组合导航等。自主着陆中的视觉方法着眼于飞行器着陆阶段，且需要已知着陆场信息，无法应用于飞行器的任务执行阶段；景象匹配及目标识别，需要建立景象匹配的机载数据库以查找已知目标信息并采用视觉方法得到目标的相对位置，但在飞行器飞行过程中所处的自然环境却无能为力；而将计算机视觉技术与机载惯导数据结合在一起的导航方法计算量较大，当飞行环境复杂时无法满足实时导航的要求。因此，虽有将视觉方法应用于飞行器导航的研究，但这些方法一方面需要已知目标信息或人工设置参考信息，另一方面存在潜在的实时性缺陷，无法满足飞行器执行任务时所处自然环境中的导航应用需求。众所周知，视觉图像处理需要在单位时间内处理大量数据，需要快速的数据运算能力，然而数据运算过程却相对简单。目前可用于视觉图像处理的计算平台主要有CPU、GPU、ASIC、DSP、FPGA等。嵌入式CPU的计算能力有限，对于一些计算复杂度很高的视觉算法，其处理速度常常难以满足系统的实时性需要。GPU具有高度的并行计算能力，可以较好地解决计算速度的问题，然而，基于GPU的计算机视觉系统存在着功耗较高、体积较大的缺点，难以满足依靠自身所带电池供电并长时间工作的无人机系统的需要。利用专用集成电路ASIC实现视觉处理算法，可以解决视觉系统性能和体积、功耗之间的矛盾，是高性能嵌入式视觉系统的一种有效的解决方案。然而，ASIC开发周期长，修改性及通用性较差。FPGA可以通过编程方便地修改其内部的逻辑功能，从而实现高速的硬件计算和并行运算，是高性能嵌入式视觉系统的一种更加方便的解决方案。基于FPGA的嵌入式视觉系统的功耗远远低于基于CPU和GPU的视觉系统，FPGA的功耗通常不到1W，而高性能CPU和GPU的功耗通常都在100W以上。随着技术的不断进步，FPGA的集成度越来越高，可以实现的设计规模越来越大，而功耗则越来越低。因此，基于FPGA的嵌入式视觉系统成为计算机视觉系统的重要发展方向。可编程片上系统技术在单个芯片上集成包括处理器核心和主要外设在内的逻辑功能，这些逻辑功能可以随着应用目的的改变而重新配置，这使得系统可以随时减裁、扩充或升级，使得FPGA可以在片内配置嵌入式处理器的内核，使得FPGA也可具有片内高速的存储单元，丰富的IP核资源和足够的片上逻辑资源。与通用计算机相比，嵌入式系统在功耗、体积和成本上有着不可比拟的优势。基于ARM的嵌入式系统因此被广泛应用于工业、民用甚至军事等领域。Linux操作系统具有很高的性能，在计算相同的数据量时，对嵌入式系统的功率索取量极小，这也使得Linux得以在嵌入式领域有很强的竞争力。综上所述，虽然国内外无人机领域的许多学者针对无人机避障系统开展了大量研究，针对环境信息完全机载处理，且在保证测量精度的前提下，目前的避障系统还无法达到小体积、低功率及低重量的需求，进而实现无人机完全本地自主飞行的功能。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于双目视觉的无人机自主障碍物检测系统及方法，该检测系统能够在满足无人机对功耗及载重的需求前提下，获得实时的较高精度的飞行环境三维信息，该检测方法能够实现基于嵌入式实时双目视觉的无人机避障系统的三维环境信息重建算法，使得算法具有较高精度及实时性能。本专利技术解决其技术问题是采取以下技术方案实现的：一种基于双目视觉的无人机自主障碍物检测系统，包括无人机，在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统；所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息，该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互,ARM模块(101)在采集完视频数据后通过AXI接口(2011)高速的传递给FPGA模块(202)，并在FPGA模块中对获得到的两路图像数据进行并行处理，并将处理结果通过AXI接口(2025)返回给ARM模块进行图像数据的进一步处理；还包括与嵌入式处理器ARM模块连接的在线自标定模块，其在作业过程中根据环境调整摄像机的焦距或基线利用消失点几何特性对双目视觉系统重新进行标定；所述其他传感器模块包含惯性测量单元IMU、全球定位系统GPS、磁罗盘及气压计；所述飞行控制系统接收来自于双目视觉系统及其他传感器单元的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。所述视觉采集处理单元的具体结构为：所述嵌入式处理器ARM模块通过AMBA与外部IO单元进行连接，通过AMBA实现对静态内存单元的控制；现场可编程门阵列FPGA模块包括标准IO接口与外部设备进行连接，对机载摄像机进行同步控制，通过GigE模块实现GigE摄像机的视频采集，通过PCIe接口进行内部数据传输。所述双目视觉系统和其他传感器模块与飞行控制系统之间采用CAN总线的方式进行通信。所述系统还包括遥控器和地面站，所述遥控器、地面站与飞行控制系统及无人机之间以无线链路的方式进行通信。一种所述无人机自主障碍物检测系统的检测方法，包括以下步骤：步骤1、双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；步骤2、其他传感器单元获本文档来自技高网...

【技术保护点】
1.一种基于双目视觉的无人机自主障碍物检测系统，包括无人机，其特征在于：在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统；所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息，该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互,ARM模块(101)在采集完视频数据后通过AXI接口(2011)高速的传递给FPGA模块(202)，并在FPGA模块中对获得到的两路图像数据进行并行处理，并将处理结果通过AXI接口(2025)返回给ARM模块进行图像数据的进一步处理；还包括与嵌入式处理器ARM模块连接的在线自标定模块，其在作业过程中根据环境调整摄像机的焦距或基线利用消失点几何特性对双目视觉系统重新进行标定；所述其他传感器模块包含惯性测量单元IMU、全球定位系统GPS、磁罗盘及气压计；所述飞行控制系统接收来自于双目视觉系统及其他传感器单元的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。...

【技术特征摘要】
1.一种基于双目视觉的无人机自主障碍物检测系统，包括无人机，其特征在于：在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统；所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息，该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互,ARM模块(101)在采集完视频数据后通过AXI接口(2011)高速的传递给FPGA模块(202)，并在FPGA模块中对获得到的两路图像数据进行并行处理，并将处理结果通过AXI接口(2025)返回给ARM模块进行图像数据的进一步处理；还包括与嵌入式处理器ARM模块连接的在线自标定模块，其在作业过程中根据环境调整摄像机的焦距或基线利用消失点几何特性对双目视觉系统重新进行标定；所述其他传感器模块包含惯性测量单元IMU、全球定位系统GPS、磁罗盘及气压计；所述飞行控制系统接收来自于双目视觉系统及其他传感器单元的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。2.根据权利要求1所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于：所述视觉采集处理单元的具体结构为：所述嵌入式处理器ARM模块通过AMBA与外部IO单元进行连接，通过AMBA实现对静态内存单元的控制；现场可编程门阵列FPGA模块包括标准IO接口与外部设备进行连接，对机载摄像机进行同步控制，通过GigE模块实现GigE摄像机的视频采集，通过PCIe接口进行内部数据传输；所述双目视觉系统和其他传感器模块与飞行控制系统之间采用CAN总线的方式进行通信。3.根据权利要求1或2所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于：所述系统还包括遥控器和地面站，所述遥控器、地面站与飞行控制系统及无人机之间以无线链路的方式进行通信。4.一种如权利要求1至3任一项所述无人机自主障碍物检测系统的检测方法，其特征在于包括以下步骤：步骤1、双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；步骤2、其他传感器单元获取无人机的状态信息；步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；步骤4、无人机根据飞行控制系统的飞行控制指令规避障碍物飞行；其中，所述步骤1的具体实现方法为：步骤⑴、两台机载摄像机获取无人机的视觉信息；步骤⑵、视觉采集处理单元的ARM模块(101)获取两路同步图像；步骤⑶、视觉采集处理单元的ARM模块(101)对两路图像信息进行立体校正；步骤⑷、视觉采集处...

【专利技术属性】
技术研发人员：齐俊桐，卢翔，
申请(专利权)人：一飞智控天津科技有限公司，
类型：发明
国别省市：天津,12