一种基于多策略融合的无人机跟踪方法技术

本发明专利技术公开了一种基于多策略融合的无人机跟踪方法，包括以深度学习网络中的Centernet网络为结构主体，结合频谱探测模块和舵机控制模块，提出了一种新的视觉与频谱联合评估算法，能够有效计算出视频图像里的无人机位置，并通过该位置的中心点控制摄像机舵机转动，能够在3公里范围内精准跟踪飞行中的无人机，并以更加直观的视觉跟踪方式将飞行中的无人机显示出来，解决了无人机飞行时跟踪困难的问题。

A UAV tracking method based on Multi Strategy fusion

【技术实现步骤摘要】
一种基于多策略融合的无人机跟踪方法
本专利技术涉及图像处理领域，尤其涉及一种基于多策略融合的无人机跟踪方法。
技术介绍
无人机通常是指一种有动力、可控制、可执行多种任务，并能重复使用的无人驾驶飞行器。与有人驾驶飞机相比，无人机具有重量轻、雷达反射截面小、运行成本低、灵活性高且不存在机组人员安全问题等优点，可广泛用于侦察、攻击等军事任务；在民用方面，可用于气象探测、灾害监测、地质勘探、地图测绘等诸多领域，因此受到越来越多国家的重视，发展迅猛。无人机的飞行速度较快，且一般具有独特的几何形状，表现为缺乏完整的结构信息，因此在飞行中跟踪困难。
技术实现思路
本专利技术的目的在于提供一种基于多策略融合的无人机跟踪方法，旨在解决无人机在飞行时跟踪困难的问题。为实现上述目的，本专利技术提供了一种基于多策略融合的无人机跟踪方法，包括：基于Centernet网络对无人机图像样本进行训练，生成特征图；获取无人机信号，并对无人机信号进行分析处理后得到无人机的方向参数；基于无人机的方向参数输出控制信号控制摄像机镜头转动，采集无人机的视频图像，得到无人机的估计位置；对采集的视频图像进行图像块加权处理，基于视觉与频谱联合评估算法，得到无人机在视频图像里的具体位置；基于opencv函数获取无人机的中心坐标，实时跟踪无人机。其中，所述基于Centernet网络对无人机图像样本进行训练，生成特征图的具体步骤，是：获取无人机图像输入RGB三通道，并基于卷积神经网络处理，输出预测值；基于网络前向传播，提取特征，得到特征图。其中，所述获取无人机信号，并对无人机信号进行分析处理后得到无人机的方向参数得具体步骤，是：检测并获取3公里范围内的无人机信号；基于使用环境进行数据融合；通过下变频、A/D采样、数字信道化和阵列信号处理提取无人机信号参数；基于不同天线的参数进行幅相一体化测向处理，并与数据库比对，得到无人机型号；基于多站测向交叉定位体制进行定位，得到无人机方向参数。其中，所述基于无人机的方向参数输出控制信号控制摄像机镜头转动，采集无人机的视频图像，得到无人机的估计位置的具体步骤，是读取输出的无人机方向参数；计算方向参数与图像中心的差值；通过数学模型计算出云台的转动量；通过位置PD算法进行控制云台转动，所述位置PD算法模型如下：其中，S(n)为控制输出，Kp为比例控制参数，Td为微分控制参数，e(n)为当前状态值与目标值之间的差值，n为控制次数，用Kd表示，则有：S(n)＝Kpe(n)+Kd[e(n)-e(n-1)]。其中，所述对采集的视频图像进行图像块加权处理，基于视觉与频谱联合评估算法，得到无人机在视频图像里的具体位置的具体步骤，是：将图像分为三个图像块，并赋予加权参数；基于Centernet网络提取特征图每个类别的关键点；对关键点进行置信度判断，获取具体位置。其中，所述对关键点进行置信度判断，获取具体位置的具体步骤，是，基于原始的Centernet算法对摄像机采集的原始图像进行第一次置信度判断，若特征图里的关键点小于阈值A，则摄像机放大固定倍数；若特征图里的关键点大于阈值A，基于加权参数和特征响应值计算方式，使用Centernet算法进行二次置信度判断；若二次置信度判断特征峰值大于阈值B，用opencv函数画框显示，并回传无人机在图像里的中心坐标(x,y)。其中，所述特征响应值计算方式的具体计算步骤，是，建立如下公式：y(t)＝(ω+B(n))x(t)t≥0,n≥0其中，y(t)代表特征响应值，t代表特征点排序号，x(t)代表原始Centernet算法计算的每个特征点的响应值，ω代表图像块权重，B(n)表示摄像机每放大一次倍数提高的准确度，n代表摄像机放大倍数的次数；B(n)＝(1.1)nβn≥0其中，β为初始常量。本专利技术的一种基于多策略融合的无人机跟踪方法，使用基于多策略融合的无人机跟踪方法能够将频谱探测和视觉跟踪融为一体，在用频谱探测对无人机进行粗略定位后使用视觉跟踪实现对无人机位置的准确定位，同时以更加直观的形式将无人机在视频中的位置标示出来，方便无人机使用者和监测者能够更加清楚地观察无人机的位置。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术的一种基于多策略融合的无人机跟踪方法的流程图；图2是本专利技术的一种基于多策略融合的无人机跟踪方法的运行框图；图3是本专利技术的一种基于多策略融合的无人机跟踪方法的图像分块图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。在本专利技术的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，在本专利技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。实施例请参阅图1，本专利技术的一种基于多策略融合的无人机跟踪方法，包括：S101、基于Centernet网络对无人机图像样本进行训练，生成特征图。获取无人机图像输入RGB三通道，并基于卷积神经网络处理，输出预测值；24bitRGB图像也叫全彩图，其有三个通道，分别为R(red)，G(green)，B(blue)，用halcon程序以及halcon自带图像进行理解RGB图像和灰度值。三通道图像的灰度值是三个单通道的灰度值的组合。灰度值为0-255，每个通道都是0-255，值越大图像看起来越亮，值越小图像越暗。在三通道图像上看到哪部分的哪种颜色越深，证明在该部分的哪种颜色分量越大，反应到该单通道上越亮。基于网络前向传播，提取特征，得到特征图。网络前向传播是一个神经元有多个输入和一个输出，每个神经元的输入既可以是其他神经元的输出也可以是整个神经网络的输入。特征图(featuremap)相当于卷积神经网络提取原始图像特征之后形成的图像，从概率大小的角度来看，特征图里的每个类型的点都有自己的概率，即响应值，这就形成了热点图(heatmap)，反应的是颜本文档来自技高网...

【技术保护点】
1.一种基于多策略融合的无人机跟踪方法，其特征在于，/n包括：/n基于Centernet网络对无人机图像样本进行训练，生成特征图；/n获取无人机信号，并对无人机信号进行分析处理后得到无人机的方向参数；/n基于无人机的方向参数输出控制信号控制摄像机镜头转动，采集无人机的视频图像，得到无人机的估计位置；/n对采集的视频图像进行图像块加权处理，基于视觉与频谱联合评估算法，得到无人机在视频图像里的具体位置；/n基于opencv函数获取无人机的中心坐标，实时跟踪无人机。/n

【技术特征摘要】
1.一种基于多策略融合的无人机跟踪方法，其特征在于，
包括：
基于Centernet网络对无人机图像样本进行训练，生成特征图；
获取无人机信号，并对无人机信号进行分析处理后得到无人机的方向参数；
基于无人机的方向参数输出控制信号控制摄像机镜头转动，采集无人机的视频图像，得到无人机的估计位置；
对采集的视频图像进行图像块加权处理，基于视觉与频谱联合评估算法，得到无人机在视频图像里的具体位置；
基于opencv函数获取无人机的中心坐标，实时跟踪无人机。


2.如权利要求1所述的一种基于多策略融合的无人机跟踪方法，其特征在于，所述基于Centernet网络对无人机图像样本进行训练，生成特征图的具体步骤，是：
获取无人机图像输入RGB三通道，并基于卷积神经网络处理，输出预测值；
基于网络前向传播，提取特征，得到特征图。


3.如权利要求1所述的一种基于多策略融合的无人机跟踪方法，其特征在于，所述获取无人机信号，并对无人机信号进行分析处理后得到无人机的方向参数得具体步骤，是：
检测并获取3公里范围内的无人机信号；
基于使用环境进行数据融合；
通过下变频、A/D采样、数字信道化和阵列信号处理提取无人机信号参数；
基于不同天线的参数进行幅相一体化测向处理，并与数据库比对，得到无人机型号；
基于多站测向交叉定位体制进行定位，得到无人机方向参数。


4.如权利要求1所述的一种基于多策略融合的无人机跟踪方法，其特征在于，所述基于无人机的方向参数输出控制信号控制摄像机镜头转动，采集无人机的视频图像，得到无人机的估计位置的具体步骤，是：
读取无人机方向参数；
计算方向参数与图像中心的差值；
通过数学模型计算出云台的转动量；
通过位置PD算法进行控制云...

【专利技术属性】
技术研发人员：纪元法，何传骥，孙希延，付文涛，严素清，符强，王守华，黄建华，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西;45