一种基于ARM与FPGA的航拍无人机制造技术

本发明专利技术涉及一种基于ARM与FPGA的航拍无人机，包括图像传感器子系统、FPGA图像处理加速子系统、ARM图像应用子系统、电源管理系统、ARM飞控子系统、电机控制子系统、GPS通信子系统和WIFI子系统，图像传感器子系统与FPGA图像处理加速子系统连接，FPGA图像处理加速子系统与ARM图像应用子系统连接，ARM图像应用子系统与ARM飞控子系统连接，电机控制子系统的一端连接ARM飞控子系统，另一端连接云台、舵机，WIFI子系统与ARM图像应用子系统连接，GPS通信子系统连接ARM飞控子系统，电源管理系统与分别连接FPGA图像处理加速子系统、ARM图像应用子系统和ARM飞控子系统。与现有技术相比，本发明专利技术可负担繁重的计算任务，节省资源，实现视频的实时除雾功能，操作方便，且可自动巡航。

An aerial photo UAV based on ARM and FPGA

【技术实现步骤摘要】
一种基于ARM与FPGA的航拍无人机
本专利技术涉及一种航拍无人机，尤其是涉及一种基于ARM与FPGA的航拍无人机。
技术介绍
随着越来越多的航拍无人机被用于电影的拍摄、节目的录制及重要场合的视频录制等，且普通人对航拍无人机的消费也在不断增加。利用无人机拍出高质量的视频不仅需要优良的飞行技巧，丰富的摄影知识，优异的机载相机性能，同时还需要良好的大气状况。使用无人机进行航拍时总是希望拍摄到的视频清晰、质量高。但是由于国内污染的加剧，国内大部分区域常出现雾霾天气、大气质量不高，雾霾天成为常态。雾霾是由悬浮在大气中的微小水滴、气溶胶等颗粒组成，会对光线吸收和散射，从而降低了航拍图像的质量。为了获取清晰的航拍图像，航拍人员往往通过PC端软件进行后期的图像除雾处理，这样往往失去了时效性，航拍人员不能实时的查看到清晰的航拍图像。现有的航拍无人机只能设置曝光模式、曝光补偿、ISO、白平衡、对焦等参数，不能实时的对航拍视频进行除雾、亮化增强、去噪声等处理。对视频进行除雾等算法运算需要消耗大量的计算资源，一般的航拍无人机的CPU无法负担繁重的计算任务，且对外设的兼容性较差，此外，在无人机的控制上仍然不够智能，操作不便，稳定性差。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于ARM与FPGA的航拍无人机。本专利技术的目的可以通过以下技术方案来实现：一种基于ARM与FPGA的航拍无人机，包括设置在六旋翼无人机上的图像传感器子系统、FPGA图像处理加速子系统、ARM图像应用子系统、电源管理系统、ARM飞控子系统、电机控制子系统、GPS通信子系统和WIFI通信子系统，所述的图像传感器子系统与FPGA图像处理加速子系统连接，所述的FPGA图像处理加速子系统与ARM图像应用子系统连接，所述的ARM图像应用子系统与ARM飞控子系统连接，所述的电机控制子系统的一端连接ARM飞控子系统，另一端连接云台、舵机，所述的WIFI通信子系统与ARM图像应用子系统连接，所述的GPS通信子系统连接ARM飞控子系统，所述的电源管理系统与分别连接FPGA图像处理加速子系统、ARM图像应用子系统和ARM飞控子系统。优选地，所述的ARM图像应用子系统采用四核心ARMCPU，四核心ARMCPU连接2GBDDR3动态存储器，并通过PCIE高速接口与FPGA图像处理加速子系统连接，四核心ARMCPU通过WIFI通信子系统与地面站连接。优选地，所述的FPGA图像处理加速子系统采用Kintex-7XC7K410T，Kintex-7XC7K410T通过片外NorFlash对FPGA进行配置，Kintex-7XC7K410T外接2GBDDR3存储器。优选地，所述的Kintex-7XC7K410T上设有DDRController模块、HDMIRXIP模块、UARTIP模块、PCIeIP模块和图像除雾算法块，所述的图像除雾算法块设有多类图像处理加速算法IP。优选地，所述的ARM飞控子系统包括ATSAME70Q21处理器、STM32F303微控制器、主控CPU和惯性测量单元，所述的ATSAME70Q21处理器通过SPI接口连接ARM图像应用子系统，所述的ATSAME70Q21处理器通过SPI接口与STM32F303微控制器进行数据通信，所述的STM32F303微控制器与电机控制子系统连接，所述的主控CPU通过I2C总线连接惯性测量单元。优选地，所述的惯性测量单元包括三轴陀螺仪、三轴加速度计、三轴地磁传感器、气压计和电子罗盘。优选地，所述的电机控制子系统包括云台控制器和舵机控制器，所述的STM32F303通过三颗MP6536芯片分别控制云台控制器和舵机控制器。优选地，所述的WIFI通信子系统采用AR1021XWIFI通信模块。优选地，所述的电源管理系统包括作为整机电源的11.4伏锂电池、用以为各个子系统进行供电的LM26480电源管理芯片以及用以对锂电池实现充电的BQ25700升压充电芯片，所述的电源管理系统由CPU芯片STM32F30控制。优选地，所述的图像传感器子系统包括PLK310K云台相机和3D传感器，PLK310K云台相机、3D传感器分别连接Kintex-7XC7K410T，PLK310K云台相机通过HDMI接口传输图像数据，并通过UART接口连接PLK301K云台，3D传感器采用DCAM100模组，通过USB接口与FPGA图像处理加速子系统连接。与现有技术相比，本专利技术具有以下优点：一、本专利技术采用异构多核心计算平台，通过异构核心提供的强大的计算能力实现了实时图像除雾算法以及其他实时图像算法，硬件采用了模块化设计方法，对外提供标准的图像、传感器、控制信号等标准接口，可以兼容不同的外设如图像传感器、3D传感器等；二、本专利技术采用多种架构、多种处理器分别实现ARM飞控子系统、ARM图像应用子系统、FPGA图像处理加速子系统以及电源管理系统，其中，FPGA图像处理加速子系统采用Kintex-7XC7K410T来完成图像处理的加速任务，PLK310K云台相机模块通过HDMI2.0接口传送实时图像数据至FPGA芯片中，FPGA芯片完成图像的采集、缓存、以及图像分辨率的调整、图像算法的加速等工作，本专利技术将实时视频处理等繁重的算法任务独立于CPU之外，可负担繁重的计算任务，节省资源；三、本专利技术提供了一种基于ARM+FPGA的航拍无人机，在ARM芯片上运行图像应用系统并通过FPGA实现基于暗通道优先的图像算法，从而实现视频的实时除雾功能，同时可以利用FPGA的可重配置的特点，在FPGA上实现航拍图像实时去噪声、目标识别及跟踪等功能，有助于无人机在雾霾以及大气通透性不好的环境下进行航拍，提供清晰稳定的实时航拍图像；四、本专利技术无人机设有WIFI通信子系统，WIFI通信子系统连接ARM飞控子系统，用户可以通过地面站发送飞行控制指令到无人机，通过ARM飞控子系统控制无人机的飞行，操作方便、智能；五、本专利技术的无人机设有GPS通信子系统，GPS通信子系统与ARM飞控子系统连接，GPS通信子系统可提供高精度的GPS定位功能，无人机可以通过GPS获取无人机所在的位置、任务的位置和距离等信息，ARM飞控子系统可设定无人机的目标及出发位置，并根据GPS数据实现自动巡航；六、本专利技术的无人机为六旋翼无人机，通过多旋翼结构提高了飞行器的负载能力和稳定性，相对于传统的四旋翼结构有着更好的稳定性，进而提升了航拍中姿态的稳定性。附图说明图1为本专利技术基于ARM与FPGA的航拍无人机的结构框图；图2为本专利技术中FPGA图像处理加速子系统的结构框图；图3为本专利技术中ARM图像应用子系统的主要结构框图；图4为本专利技术中ARM飞控子系统的结构框图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。显然，所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本专利技术保护的范围。如图1所示，本专利技术涉及一种基于ARM与FPGA的航拍无人机，包括设置在六旋翼无人机上的图像传感器子系统、FPGA图像处理加速子系统、ARM图像应用子系统、电源管理系统、ARM飞控子系统、电机控制子系统、GPS通信子系统和WIF本文档来自技高网...

【技术保护点】
1.一种基于ARM与FPGA的航拍无人机，其特征在于，包括设置在六旋翼无人机上的图像传感器子系统、FPGA图像处理加速子系统、ARM图像应用子系统、电源管理系统、ARM飞控子系统、电机控制子系统、GPS通信子系统和WIFI通信子系统，所述的图像传感器子系统与FPGA图像处理加速子系统连接，所述的FPGA图像处理加速子系统与ARM图像应用子系统连接，所述的ARM图像应用子系统与ARM飞控子系统连接，所述的电机控制子系统的一端连接ARM飞控子系统，另一端连接云台、舵机，所述的WIFI通信子系统与ARM图像应用子系统连接，所述的GPS通信子系统连接ARM飞控子系统，所述的电源管理系统与分别连接FPGA图像处理加速子系统、ARM图像应用子系统和ARM飞控子系统。

【技术特征摘要】
1.一种基于ARM与FPGA的航拍无人机，其特征在于，包括设置在六旋翼无人机上的图像传感器子系统、FPGA图像处理加速子系统、ARM图像应用子系统、电源管理系统、ARM飞控子系统、电机控制子系统、GPS通信子系统和WIFI通信子系统，所述的图像传感器子系统与FPGA图像处理加速子系统连接，所述的FPGA图像处理加速子系统与ARM图像应用子系统连接，所述的ARM图像应用子系统与ARM飞控子系统连接，所述的电机控制子系统的一端连接ARM飞控子系统，另一端连接云台、舵机，所述的WIFI通信子系统与ARM图像应用子系统连接，所述的GPS通信子系统连接ARM飞控子系统，所述的电源管理系统与分别连接FPGA图像处理加速子系统、ARM图像应用子系统和ARM飞控子系统。2.根据权利要求1所述的一种基于ARM与FPGA的航拍无人机，其特征在于，所述的ARM图像应用子系统采用四核心ARMCPU，四核心ARMCPU连接2GBDDR3动态存储器，并通过PCIE高速接口与FPGA图像处理加速子系统连接，四核心ARMCPU通过WIFI通信子系统与地面站连接。3.根据权利要求2所述的一种基于ARM与FPGA的航拍无人机，其特征在于，所述的FPGA图像处理加速子系统采用Kintex-7XC7K410T，Kintex-7XC7K410T通过片外NorFlash对FPGA进行配置，Kintex-7XC7K410T外接2GBDDR3存储器。4.根据权利要求3所述的一种基于ARM与FPGA的航拍无人机，其特征在于，所述的Kintex-7XC7K410T上设有DDRController模块、HDMIRXIP模块、UARTIP模块、PCIeIP模块和图像除雾算法块，所述的图像除雾算法块设有多类图像处理加速算法IP。5.根据权利要求1所述的一种基于ARM与FPGA的航拍无人机...

【专利技术属性】
技术研发人员：徐海荣，周虹，张兴媛，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：上海,31