一种无人机机载视觉智能处理系统及方法技术方案

本发明专利技术公开了一种无人机机载视觉智能处理系统和方法，所述系统包括无人机和搭载在无人机上的光电吊舱和信息处理模块，信息处理模块包括图像识别跟踪子模块、云台PID控制器子模块和参数修正子模块，参数修正子模块获取陀螺仪、加速度计和地磁计的检测数据，通过检测数据对对图像识别跟踪子模块输出的镜头旋转角速率参数进行修正，所述方法包括以下步骤：采集图像，识别图像中目标，输出镜头旋转角速率参数，修正镜头旋转角速率参数，通过PID控制器控制光电吊舱镜头旋转。本发明专利技术无人机机载视觉智能处理系统和方法，能够解决或减轻过旋转现象，光电吊舱镜头旋转稳定，镜头晃动大幅度降低，拍摄图像更加清晰。

【技术实现步骤摘要】
一种无人机机载视觉智能处理系统及方法
本专利技术涉及一种无人机机载视觉智能处理系统及方法，属于无人机领域。
技术介绍
近几年，无人机得到了大力的发展，经历了从军用化到民用化的过度，已经成功成为一种被广大行业所认可、能代替人力完成复杂工作的实用工具，其中，使用无人机对目标持续跟踪是一种常见的任务。在对目标跟踪任务中，传统的方式为无人机通过搭载机载相机，例如搭载单目相机或双目相机，但是，此种方式获取的目标相对位置信息，需要补偿无人机的当前运动状态，才能使相对位置信息准确，并且相机镜头与无人机相固定，无人机的飞行姿态会影响相机对目标的持续跟踪效果，常常出现目标丢失现象。现有技术中还存无人机搭载云台拍摄目标图像，进而获取目标相对位置的跟踪方式，然而现有的云台PID控制控制算法，在控制云台镜头旋转时，均会出现过旋转现象，例如实际需要云台从20°旋转到40°时，传统的PID控制下，云台会从20°过旋转至45°，然后回旋至35°，再旋转至40°，甚至出现多次过旋转现象，此时若目标移动速度过快，极易丢失目标，并且在无人机剧烈运动时，常规的PID控制算法稳定性较差，容易引起目标的丢失。此外，目前的无人机跟踪方式，大都是无人机拍摄图像后，将图像传递至地面站，由地面站控制无人机进行跟踪，但这一过程不仅影响系统的及时性，而且传输信息的完整性也难以保证。因此，有必要设计一种既能够保证无人机高效稳定迅速地对目标进行跟踪，也能使工作人员对无人机的状态了如指掌，并在必要时进行人为控制的无人机机载视觉智能处理系统及方法。
技术实现思路
为了克服上述问题，本专利技术人进行了锐意研究，一方面，提供了一种无人机机载视觉智能处理系统，包括无人机和搭载在无人机上的光电吊舱和信息处理模块。进一步地，所述光电吊舱具有惯性测量单元，用于检测光电吊舱的姿态信息，包括陀螺仪、地磁计和加速度计；所述信息处理模块包括图像识别跟踪子模块、云台PID控制器子模块和参数修正子模块，所述图像识别跟踪子模块用于对图像中目标识别，并计算将目标移动至图像中间位置处光电吊舱镜头需旋转角度，将镜头旋转角速率参数输出；所述参数修正子模块用于对图像识别跟踪子模块输出的镜头旋转角速率参数进行修正；所述云台PID控制器子模块接收修正后的镜头旋转角速率参数，将其作为PID控制器的输入，控制光电吊舱中电机的转动。根据本专利技术，所述参数修正子模块接收图像识别跟踪子模块输出的镜头旋转角速率参数，并获取陀螺仪、加速度计和地磁计的检测数据，通过检测数据对镜头旋转角速率参数进行修正。在一个优选的实施方式中，所述无人机机载视觉智能处理系统还包括投屏器，所述投屏器与信息处理模块连接，将信息处理模块接收的图像传输至地面基站。另一方面，本专利技术还提供了一种无人机机载视觉智能处理方法，包括以下步骤：S1、采集图像；S2、识别图像中目标，输出镜头旋转角速率参数；S3、修正镜头旋转角速率参数，通过PID控制器控制光电吊舱镜头旋转。在步骤S1中，所述采集图像是指通过光电吊舱拍摄图像，并将拍摄的图像传递至图像识别跟踪子模块。在步骤S2中，通过图像识别跟踪子模块对图像进行识别，在图像识别跟踪子模块中设置有神经网络，通过神经网络实现目标的识别，并解算出将目标移至图像中间位置时的光电吊舱镜头旋转角速率参数。在步骤S3中，所述修正镜头旋转角速率参数是通过将惯性测量单元检测的信息与镜头旋转角速率参数进行融合实现，所述惯性测量单元检测的信息包括陀螺仪检测信息、地磁计检测信息和速度计检测信息。在一个优选的实施方式中，步骤S3包括以下子步骤：S31、融合陀螺仪检测信息，获得陀螺仪融合姿态四元数；S32、融合地磁计检测信息和速度计检测信息，获得地磁计与加速度计融合姿态四元数；S33、将陀螺仪融合姿态四元数与地磁计与加速度计融合姿态四元数线性融合，完成修正，将修正后的姿态四元数传递至PID控制器，进而实现镜头的转向。进一步地，在步骤S31中，融合陀螺仪后的陀螺仪融合姿态四元数可以表示为：其中，表示t-1时刻表征镜头旋转角速率的姿态四元数估计值，由表征镜头旋转角速率参数的姿态四元数通过卡尔曼滤波器滤波后获得，为姿态四元数的微分，Δt为陀螺仪的检测周期，姿态四元数的微分可通过下式获得：Sωt为陀螺仪检测信息中各个轴的角速度分量。本专利技术所具有的有益效果包括：(1)根据本专利技术提供的无人机机载视觉智能处理系统及方法，能够解决或减轻过旋转现象；(2)根据本专利技术提供的无人机机载视觉智能处理系统及方法，光电吊舱镜头旋转稳定，镜头晃动大幅度降低，拍摄图像更加清晰。(3)根据本专利技术提供的无人机机载视觉智能处理系统及方法，图像传递不占用通讯模块带宽，降低了通讯干扰，提高了无人机的可靠性；(4)根据本专利技术提供的网络通讯系统及方法，降低了服务器的负荷。附图说明图1示出根据本专利技术一种优选实施方式的无人机机载视觉智能处理系统的结构示意图；图2示出根据本专利技术一种优选实施方式的无人机机载视觉智能处理方法的流程示意图。具体实施方式下面通过附图和实施例对本专利技术进一步详细说明。通过这些说明，本专利技术的特点和优点将变得更为清楚明确。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。本专利技术提供的无人机机载视觉智能处理系统，包括无人机和搭载在无人机上的光电吊舱和信息处理模块。所述无人机具有飞控单元和通讯模块，飞控单元用于控制无人机的飞行，通讯模块用于与地面基站进行通讯，使得地面基站可以对无人机进行控制。所述光电吊舱具有镜头和惯性测量单元，镜头用于拍摄图像，惯性测量单元用于检测光电吊舱的姿态信息，包括陀螺仪、地磁计和加速度计。进一步地，在本专利技术中，所述惯性测量单元可以是集成在光电吊舱的内部，也可以是挂载在光电吊舱外部，对此不作特别限定。所述信息处理模块与光电吊舱和无人机飞控单元电连接。进一步地，所述光电吊舱安装在无人机底部；所述信息处理模块用于解算光电吊舱拍摄的图像，并根据解算结果对光电吊舱和无人机进行控制。在一个优选的实施方式中，所述光电吊舱为二自由度光电吊舱，其镜头能够在两个相互垂直的方向上旋转。在本专利技术中，对光电吊舱搭载镜头不做特别限制，可以是可见光镜头，也可以是红外镜头或其它镜头，本领域技术人员可根据实际需要自行选择。在一个优选的实施方式中，所述光电吊舱与信息处理模块通过通用USB或串口连接，在执行不同任务时，上述通用快速接口能够实现不同种类光电吊舱的快速更换。根据本专利技术，所述信息处理模块包括图像识别跟踪子模块、云台云台PID控制器子模块和参数修正子模块。所述本文档来自技高网...

【技术保护点】
1.一种无人机机载视觉智能处理系统，其特征在于，包括无人机和搭载在无人机上的光电吊舱和信息处理模块。/n

【技术特征摘要】
1.一种无人机机载视觉智能处理系统，其特征在于，包括无人机和搭载在无人机上的光电吊舱和信息处理模块。


2.根据权利要求1所述的无人机机载视觉智能处理系统，其特征在于，
所述光电吊舱具有惯性测量单元，用于检测光电吊舱的姿态信息，包括陀螺仪、地磁计和加速度计；
所述信息处理模块包括图像识别跟踪子模块、云台PID控制器子模块和参数修正子模块，
所述图像识别跟踪子模块用于对图像中目标识别，并计算将目标移动至图像中间位置处光电吊舱镜头需旋转角度，将镜头旋转角速率参数输出；
所述参数修正子模块用于对图像识别跟踪子模块输出的镜头旋转角速率参数进行修正；
所述云台PID控制器子模块接收修正后的镜头旋转角速率参数，将其作为PID控制器的输入，控制光电吊舱中电机的转动。


3.根据权利要求1所述的无人机机载视觉智能处理系统，其特征在于，
所述参数修正子模块接收图像识别跟踪子模块输出的镜头旋转角速率参数，并获取陀螺仪、加速度计和地磁计的检测数据，通过检测数据对镜头旋转角速率参数进行修正。


4.根据权利要求1所述的无人机机载视觉智能处理系统，其特征在于，
所述无人机机载视觉智能处理系统还包括投屏器，所述投屏器与信息处理模块连接，将信息处理模块接收的图像传输至地面基站。


5.一种无人机机载视觉智能处理方法，包括以下步骤：
S1、采集图像；
S2、识别图像中目标，输出镜头旋转角速率参数；
S3、修正镜头旋转角速率参数，通过PID控制器控制光电吊舱镜头旋转。


6.根据权利要求5所述的无人机机载视觉智能处理方法，其特征在于，
在步骤S1中，所述采集图...

【专利技术属性】
技术研发人员：宋韬，李希明，莫雳，金忍，林德福，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11