一种无人机云台自动控制与对焦、测光方法技术

本发明专利技术公布了一种无人机云台自动控制与对焦、测光方法，首先利用无人机云台相机获取环境中的图像，通过RTSP对相机数据进行实时数据采集；获取的图像数据再通过以YOLO v3算法为基础改进而来的深度学习算法进行目标检测，该算法可以在图像数据中识别出多种特定的目标，根据目标位置控制云台角度，将目标稳定在相机视野中心，对指定目标进行对焦和测光。该方法可以实现无人机飞行情况下，实时获取飞行器云台相机拍摄的视频数据，依据识别的目标位置控制云台，对指定目标进行对焦和测光，检测方法准确性高并且相比普通的对焦、测光算法拍摄成功率显著提升。

【技术实现步骤摘要】
一种无人机云台自动控制与对焦、测光方法
本专利技术属于无人机云台自动控制领域，特别是无人机云台自动控制以及对指定目标的对焦、测光领域。
技术介绍
无人机搭载云台飞行过程中，需要云台对准指定目标，在目标和飞行器运动过程中，保持目标一直出现在视野范围之内，并对目标进行准确的对焦和测光以便拍照。普通的相机自动对焦和测光算法都是针对整幅图像而言，无法针对需要拍摄的特定物体进行对焦和测光，在大光比、复杂环境下常常出现对焦、测光错误的情况，成像质量很差。为解决此问题，必须设计一套可靠、准确的视觉目标识别跟踪算法，识别出图像中的目标信息，才能进行无人机云台的自动控制、对焦和测光。无人机运行的飞行环境比较复杂，图像中的干扰信息较多，传统的目标识别检测算法难以完成任务。新兴的深度学习目标检测算法能够从数据中自动学习目标特征，对目标的表征能力强，目前已广泛应用到图像分类与识别当中。将先进的深度学习目标识别算法及云台控制算法应用在无人机上，能够大大提升无人机的自主能动性和智能化程度，扩展无人机的应用范围。
技术实现思路
本专利技术的目的在于提供一种无人机云台自动控制与对焦、测光方法，可以实现飞行器飞行过程中对指定目标的识别跟踪，控制云台角度保持目标一直出现在视野范围内，并对指定目标进行对焦和测光以便拍照。为实现上述目的，本专利技术采用以下技术方案：一种无人机云台自动控制与对焦、测光方法，包括以下步骤：第一步，利用RTSP获取云台的实时视频数据；第二步，根据获取的实时数据，利用基于YOLOv3算法的深度学习算法，处理云台的数据，检测相机视野内的目标；第三步，控制云台角度，将视野中心对准指定目标，跟随目标移动保持跟踪；第四步，控制相机，对指定目标进行对焦和测光。与现有技术相比，本专利技术所达到的有益效果是：1.通过深度学习算法获取指定目标位置信息，自动控制云台保持目标始终位于视角中心，对指定目标进行对焦和测光以便辅助拍照，极大减少废片率，提高跟踪目标的稳定性；2.利用RTSP获取实时视频数据，采用硬解码加速视频解码过程，保证目标对象位置的实时性和准确性；3.从多方面改进YOLOv3算法，实现以YOLOv3为基础的深度学习算法在嵌入式平台的搭建部署，检测速度对比原始算法有一倍的提升。附图说明图1是本专利技术方法的整体框图；图2是深度学习算法示意图；图3是云台自动控制算法示意图；图4是半精度类型与单精度类型示意图。具体实施方式以下结合附图，对本专利技术的技术方案作具体说明。一种无人机云台自动控制与对焦、测光方法，其包括以下步骤：步骤1利用RTSP获取无人机云台相机实时视频数据，逐帧解码获取BGR24图像数据。具体过程如下：（1）通过RTSP，利用TCP协议获取实时视频流数据；（2）根据视频流格式获取相应硬解码器，对视频流数据进行硬解码，逐帧读取数据流，将图像数据格式由YUV420P转换为BGR24。步骤2利用改进的基于YOLOv3的深度学习算法，处理图像数据识别无人机云台视野范围内目标。算法示意如图2，具体过程如下：（1）将解码获得原始图像数据类型由char类型归一化为半精度half数据类型，然后将图片数据统一转化为384×384大小。（2）卷积神经网络运算。首先将输入数据基于darknet-53卷积网络提取特征值获得全连接层特征向量，其次对全连接层输出向量S×S×B(5+C)进行解析获取目标分类以及目标位置信息。darknet-53卷积网络采用ResNet跳层连接方式，在其上堆叠了53层，提供了106层完全卷积的底层架构。将输入的图片分割成S×S网格，每个单元格负责检测中心点落在该格内的目标。每个单元格预测B个边界框（boundingbox）以及边界框的置信度（confidencescore），对于384×384的输入，共有三个全连接输出层，S分别取12、24和48。YOLOv3设定每个网格单元预测3个边界框，每个边界框包含(x,y,w,h,c)五个基本参数以及C个类别概率，其中x，y，w，h表示目标框的位置和大小，c表示置信度，C表示类别数值为80。所谓置信度包含两个方面，一是这个边界框含有目标的可能性大小，二是这个边界框的准确度。（3）针对一个目标被多次检测问题，采用非极大值抑制算法（nonmaximumsuppression,NMS），YOLOv3算法将小于置信度阈值的值归0，然后分类别地对置信度值采用NMS，这里NMS处理结果不是剔除，而是将其置信度值归为0。最后确定各个box的类别，置信度值不为0的作为最终结果。步骤3根据目标对象的位置区域信息，控制云台角度，将视野中心对准指定目标，跟随目标移动保持跟踪。算法示意图如图3，具体过程如下：（1）利用几何关系推导出目标物体所在位置与图片中心点之间的角度；指定目标中心点位置：，偏航角：俯仰角：其中xc，yc表示检测出的目标物体的中心点位置信息，W、H表示图片宽度和高度，x，y，w，h表示目标框的位置和大小，aov表示相机视角。（2）根据计算出的角度信息自动控制云台调整俯仰角和偏航角，使相机视野中心对准目标物体。（3）利用卡尔曼滤波算法减少不准确检测引入的噪声，获取连续的目标位置流信息，控制云台跟随目标物体移动保持跟踪。步骤4控制相机，对指定目标进行对焦和测光。根据深度学习算法检测到的指定目标的位置和区域信息，控制相机焦点对准指定目标的区域框。相机自动假设所测光区域的反光率都是18%，通过这个比例根据算法识别出的指定目标区域，进行测光。随后确定光圈和快门的数值，光圈和快门是有相关联系的，在同样的光照条件下，如果要得到相同的曝光量，光圈值越大，则需要快门值越大，而如果光圈值越小，则需要快门值越小。对于步骤2所述的基于YOLOv3的深度学习算法，采用如下改进方法加速推理过程的进行：（1）利用CUDA通用并行计算架构，针对输入图像的大小转换以及归一化处理等耗时运算均使用GPU进行并行计算，减少内存延迟，优化计算速度。（2）利用CUDNN深度神经网络的GPU加速库。CUDNN为深度神经网络中的标准流程提供了高度优化的实现方式，包括卷积层、池化层、归一化以及激活的前向以及后向过程。通过将卷积神经网络的计算变换为对GPU更友好的矩阵运算，CUDNN可以有效提高整个神经网络的运算速度。（3）一般深度学习的参数，网络权值都是用单精度浮点类型表示。单精度浮点类型采用4个字节也就是32位二进制来表达一个数字，而半精度类型采用2个字节16位二进制来表达一个数字，可以节约内存占用、耗电量和运算时间。在进行目标识别时，对于最终输出的目标位置信息及分类概率，权值的微小变化对识别结果的影响可以忽略不计，而识别速度是无人机深度学习云台控制算法的重点。利用半精度本文档来自技高网...

【技术保护点】
1.一种无人机云台自动控制与对焦、测光方法，其特征在于，包括以下步骤：/n第一步，利用RTSP获取云台的实时视频数据；/n第二步，根据获取的实时视频数据，利用基于yolo v3算法的深度学习算法，处理云台的数据，检测相机视野内的目标；/n第三步，控制云台角度，将视野中心对准指定目标，跟随目标移动保持跟踪；/n第四步，控制相机，对指定目标进行对焦和测光。/n

【技术特征摘要】
1.一种无人机云台自动控制与对焦、测光方法，其特征在于，包括以下步骤：
第一步，利用RTSP获取云台的实时视频数据；
第二步，根据获取的实时视频数据，利用基于yolov3算法的深度学习算法，处理云台的数据，检测相机视野内的目标；
第三步，控制云台角度，将视野中心对准指定目标，跟随目标移动保持跟踪；
第四步，控制相机，对指定目标进行对焦和测光。


2.根据权利要求1所述的一种无人机云台...

【专利技术属性】
技术研发人员：尹彦卿，王昂，陈梦云，
申请(专利权)人：南京婆娑航空科技有限公司，
类型：发明
国别省市：江苏;32