一种基于双目视觉的无人机自主障碍物检测系统技术方案

本实用新型专利技术涉及一种基于双目视觉的无人机自主障碍物检测系统，其主要技术特点是：在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统；双目视觉系统由两台机载摄像机、视觉采集处理单元构成；其他传感器模块用于获取无人机的飞行状态信息；飞行控制系统通过融合处理生成飞行控制指令，用于控制无人机飞行；无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。本实用新型专利技术将双目视觉系统与其他传感器单元结合在一起，进行飞行路径控制和路径规划以对障碍物进行规避，实现了无人机对所在飞行环境中存在的障碍物进行有效避障的功能，有效地解决了无人机视觉避障的问题。

【技术实现步骤摘要】

本技术属于无人机
，尤其是一种基于双目视觉的无人机自主障碍物检测系统。
技术介绍
随着飞行器相关技术的不断发展及其应用场景的复杂化，对其环境感知能力提出了更高的要求。基于视觉的导航技术具有探测范围宽、信息容量大等优势，此外其具有对飞行环境变化捕捉迅速、反应敏锐等特点，因此在飞行器导引导航研究中得到了越来越多的关注。基于视觉的环境感知属于被动测量方式，与激光、雷达及超声等主动测量方式相比，可减少多个测量装置在检测过程中的相互干扰，更为重要的是可降低在某些特定环境(如战场)使用时被发现的概率，具有较强的隐蔽性。基于视觉的飞行环境中障碍物感知应用可使用单目或双目视觉，其中双目视觉可获得较单目视觉更高的精度，而应用较为广泛。单目视觉使用一台机载摄像机获取飞行图像，然而飞行环境的三维信息会在图像投影过程中丢失，虽可利用多帧图像或离线训练的方法还原环境的深度信息，但处理过程复杂，导致机载嵌入式处理器难以实现实时处理，目前只能做到将图像传回地面站解算后再返回无人机的方式进行障碍物规避控制。而双目视觉基于视差原理，其产生的立体视觉信息可以直接恢复目标环境的三维坐标，进而可获得环境的深度信息，对于未知飞行环境中的障碍物及潜在碰撞的检测具有重要的实用意义。双目视觉是计算机视觉的一个重要分支，双目视觉可以模仿人的眼睛和人类立体视觉感知的过程，是计算机视觉研究的核心主题之一。近年来，双目视觉技术在障碍物检测、工业自动化生产、智能安防系统等领域得到了广泛的应用。但是，现有的基于视觉的障碍物感知方法存在的诸多问题，计算机视觉方法在飞行器中的应用主要集中于自主着陆、景象匹配与目标识别以及视觉惯性组合导航等。自主着陆中的视觉方法着眼于飞行器着陆阶段，且需要已知着陆场信息，无法应用于飞行器的任务执行阶段；景象匹配及目标识别，需要建立景象匹配的机载数据库以查找已知目标信息并采用视觉方法得到目标的相对位置，但在飞行器飞行过程中所处的自然环境却无能为力；而将计算机视觉技术与机载惯导数据结合在一起的导航方法计算量较大，当飞行环境复杂时无法满足实时导航的要求。因此，虽有将视觉方法应用于飞行器导航的研究，但这些方法一方面需要已知目标信息或人工设置参考信息，另一方面存在潜在的实时性缺陷，无法满足飞行器执行任务时所处自然环境中的导航应用需求。众所周知，视觉图像处理需要在单位时间内处理大量数据，需要快速的数据运算能力，然而数据运算过程却相对简单。目前可用于视觉图像处理的计算平台主要有CPU、GPU、ASIC、DSP、FPGA 等。嵌入式CPU的计算能力有限，对于一些计算复杂度很高的视觉算法，其处理速度常常难以满足系统的实时性需要。GPU具有高度的并行计算能力，可以较好地解决计算速度的问题，然而，基于GPU的计算机视觉系统存在着功耗较高、体积较大的缺点，难以满足依靠自身所带电池供电并长时间工作的无人机系统的需要。利用专用集成电路ASIC实现视觉处理算法，可以解决视觉系统性能和体积、功耗之间的矛盾，是高性能嵌入式视觉系统的一种有效的解决方案。然而，ASIC开发周期长，修改性及通用性较差。FPGA可以通过编程方便地修改其内部的逻辑功能，从而实现高速的硬件计算和并行运算，是高性能嵌入式视觉系统的一种更加方便的解决方案。基于FPGA的嵌入式视觉系统的功耗远远低于基于CPU和GPU的视觉系统，FPGA的功耗通常不到1W，而高性能CPU和GPU的功耗通常都在100W以上。随着技术的不断进步，FPGA的集成度越来越高，可以实现的设计规模越来越大，而功耗则越来越低。因此，基于FPGA的嵌入式视觉系统成为计算机视觉系统的重要发展方向。可编程片上系统技术在单个芯片上集成包括处理器核心和主要外设在内的逻辑功能，这些逻辑功能可以随着应用目的的改变而重新配置，这使得系统可以随时减裁、扩充或升级，使得FPGA可以在片内配置嵌入式处理器的内核，使得FPGA也可具有片内高速的存储单元，丰富的IP核资源和足够的片上逻辑资源。与通用计算机相比，嵌入式系统在功耗、体积和成本上有着不可比拟的优势。基于ARM的嵌入式系统因此被广泛应用于工业、民用甚至军事等领域。Linux操作系统具有很高的性能，在计算相同的数据量时，对嵌入式系统的功率索取量极小，这也使得Linux得以在嵌入式领域有很强的竞争力。综上所述，虽然国内外无人机领域的许多学者针对无人机避障系统开展了大量研究，针对环境信息完全机载处理，且在保证测量精度的前提下，目前的避障系统还无法达到小体积、低功率及低重量的需求，进而实现无人机完全本地自主飞行的功能。
技术实现思路
本技术的目的在于克服现有技术的不足，提供一种设计合理、精确度且安全可靠的基于双目视觉的无人机自主障碍物检测系统。本技术解决其技术问题是采取以下技术方案实现的:一种基于双目视觉的无人机自主障碍物检测系统，包括无人机，在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统；所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息；所述其他传感器模块用于获取无人机的飞行状态信息；所述飞行控制系统接收来自于双目视觉系统及其他传感器单元的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。进一步，所述视觉采集处理单元包括现场可编程门阵列FPGA模块和嵌入式处理器ARM模块，所述嵌入式处理器ARM模块通过AMBA与外部10单元进行连接，通过AMBA实现对静态内存单元的控制；现场可编程门阵列FPGA模块包括标准10接口与外部设备进行连接，对机载摄像机进行同步控制，通过GigE模块实现GigE摄像机的视频采集，通过PCIe接口进行内部数据传输。进一步，所述嵌入式处理器ARM模块通过USB接口与两路机载摄像机相连接，通过AXI接口与现场可编程门阵列FPGA模块进行信息交互。进一步，所述外部10 单元包括 SP1、IIC、CAN、UART、GP10、SD10、USB 及 GigE 接口。进一步，所述飞行控制系统包括数据融合模块、飞行控制器及数据传输模块，所述数据融合模块与双目视觉系统、其他传感器模块相连接，数据融合模块还与飞行控制器的输入端相连接，飞行控制器的输出端与数据传输模块相连接，数据传输模块与无人机进行数据传输。进一步，所述其他传感器模块包含惯性测量单元頂U、全球定位系统GPS、磁罗盘及气压计。进一步，所述双目视觉系统、其他传感器模块与飞行控制系统之间采用CAN总线的方式进行通信。进一步，所述机载摄像机为高速摄像机。进一步，所述系统还包括遥控器和地面站，所述遥控器、地面站与飞行控制系统及无人机之间以无线链路的方式进行通信。本技术的优点和积极效果是:1、本技术将双目视觉系统与其他传感器单元结合在一起，进行飞行路径控制和路径规划以对障碍物进行规避，使其具备利用机载摄像机完成视觉避障的能力，实现了无人机对所在飞行环境中存在的障碍物进行有效避障的功能，有效地解决了无人机视觉避障的问题。2、本技术的视觉采集处理单元采用FPGA与ARM相结合设计本文档来自技高网...

【技术保护点】
一种基于双目视觉的无人机自主障碍物检测系统，包括无人机，其特征在于：在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统；所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息；所述其他传感器模块用于获取无人机的飞行状态信息；所述飞行控制系统接收来自于双目视觉系统及其他传感器单元的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。

【技术特征摘要】

【专利技术属性】
技术研发人员：齐俊桐，卢翔，
申请(专利权)人：一飞智控天津科技有限公司，
类型：新型
国别省市：天津;12