基于细粒度分类的无人机识别与定位方法技术

本发明专利技术公开了一种基于细粒度分类的无人机识别与定位方法，基于物体粗粒度检测后的细粒度分类，将识别出的无人机型号与无人机型号库信息对应检索出无人机的具体的外在结构信息，并结合摄像机的内参数，将无人机的二维坐标映射成三维坐标确定无人机立体空间中的位置，还可以通过帧图片的连续三维坐标信息，在立体空间中得到无人机的轨迹信息。本发明专利技术解决现有技术无人机的识别与定位不准确的问题。

【技术实现步骤摘要】
基于细粒度分类的无人机识别与定位方法
本专利技术属于无人机
，特别涉及一种基于细粒度分类的无人机识别与定位方法。
技术介绍
近年来，无人机技术快速发展，被广泛用于各领域，对无人机的探测、识别与定位技术也提出了更高的要求。目前，针对无人机的探测、识别与定位有多种方案，包括卫星定位的方式、雷达和摄像头结合的方式等，探测效果差，易受外界信号干扰。为此，技术人员做了改进。如申请号为2016111441100的专利技术专利，公开了一种基于电子信息无人机控制用无人机身份识别系统，包括遥感飞行器、卫星、地面信号收发基站和遥感操控器，满足GPS定位和北斗定位，遥感飞行器具有定位子系统、无线收发单元和身份信息存储单元等，并通过卫星与地面信号收发基站进行信息交互，获取飞行器的位置信息和飞行状态，与预存信息实时比较，方便追踪遥感飞行器。申请号为2017109352832的专利技术专利，公开了一种对民用无人机的无源定位和识别系统，使用无源雷达探测、定位和跟踪无人机，并接收无人机的遥控遥测信号，通过对遥控遥测信号的分析，完成无人机识别，虽然能避免不良天气的影响，但是，也仅局限在能探测、识别出是否是无人机，对于无人机身份的匹配、识别，准确度比较低。现有技术的无人机识别与检测，仅仅局限在能够准确识别检测出这个物体是否是无人机以及无人机在二维平面图中的位置及大小，并没有准确的判断出是哪种型号的无人机以及无人机的外在结构大小，更无法得知无人机在实际场景空间的三位坐标。我们针对此问题，设计本技术方案。
技术实现思路
针对现有技术存在的不足，本专利技术提供一种基于细粒度分类的无人机识别与定位方法，基于物体检测后的细粒度分类，将识别出的无人机型号与无人机型号库信息对应检索出相关外在结构信息，并结合摄像机的内参数，将无人机的二维坐标映射成三维坐标确定无人机立体空间中的位置，解决无人机的识别与定位不准确的问题。为了解决上述技术问题，本专利技术采用的技术方案是：基于细粒度分类的无人机识别与定位方法，包括以下步骤：(a)建立无人机数据集库：通过采集无人机机型及参数信息，建立满足细粒度分类的计算机视觉数据库；(b)粗粒度检测：通过YOLO网络结构对摄像机拍摄的视频进行端到端的实时物体识别与检测，准确判断物体是否无人机；(c)细粒度分类：在步骤(a)所述的无人机数据集库中的数据集的基础上采取强监督学习的方法完成深度学习，进而完成细粒度分类，细粒度分类完成后，精确地得到检测到的无人机类别和无人机型号；(d)匹配检索型号：得出无人机的具体型号后，在无人机数据集库中匹配检索该型号无人机的具体信息，得到该无人机的所有信息，包括材料信息和结构信息，得知无人机的外在视觉特征；(e)摄像机标定：获得摄像机的内参数；(f)空间定位：将无人机的外在视觉特征结合摄像机的内参数得到无人机在立体空间的位置。进一步的，步骤(b)中，优化YOLO网络结构，每个格子预测四个boundingbox，输出向量为7*7*23的向量，实现基于流视频下的物体检测，以60-70FPS/S的速率检测出镜头内的物体是否是无人机，从而完成粗粒度检测。进一步的，步骤(c)中，将不同型号无人机之间的突出明显特征作为细粒度划分的局部微小特征，在检测的基础上，通过训练得到微小特征分类器，通过区域化检测帧图片，通过多个微小特征分类器的检测结果最终得出无人机的具体的型号。进一步的，步骤(c)中，局部微小特征的识别检测是将无人机进行两倍像素放大的向下采样，如公式(1)所示，Xi代表向下采样后的图像，Si代表原图像,YS(Si)代表原图像的某个像素点位置，x11,…，xnn代表像素大小，YS(Si)函数将原图像的某个像素点位置坐标映射到其他位置，与矩阵相乘是将微小部位的特征像素强度放大，弱化其他区域的像素强度，能够增加分辨率，放大局部微小特征的视觉感知信息；将放大的局部微小特征放入深度网络中，作为细粒度分类的分类器。进一步的，所述YOLO网络结构包含6个卷积层、一个全连接层，输出7*7*23的向量，输出预测目标位置及类别信息，将输出的图片进行如公式(1)形式的采样，紧接着送入细粒度分类的深度网络，所述深度网络包含4个卷积层、1个全连接层，全连接层输出7*7*14的向量，用于输出细粒度检测后的无人机型号。进一步的，通过摄像机标定，以及通过平移和旋转矩阵，将图像中的二维坐标转换成三维坐标，建立了平面图片到立体空间中的映射；通过YOLO网络结构得到无人机的二维坐标位置，按照映射关系，进而得到立体空间的无人机三维坐标。进一步的，通过帧图片的连续三维坐标信息，在立体空间中得到无人机的轨迹信息。进一步的，外在视觉特征包括无人机的机身长、机身宽、机身高的结构信息。进一步的，摄像机的内参数包括镜头参数、传感器参数、像素大小。与现有技术相比，本专利技术优点在于：(1)本通过采集众多无人机机型及参数信息，建立满足细粒度分类的计算机视觉数据库，与现有数据集库相比，可以看到数据集的动态可视化，并且标注了详细的机型型号信息。(2)本专利技术通过优化YOLO网络结构，解决了现有网络结构对于近距离物体检测准确率低的问题，降低了接近于groundtruth的物体通过NMS去除问题；新的网络结构不仅实现了基于流视频下的物体检测，而且解决了原有网络结构相互靠近无人机小群体问题，这样就实现了无人机的检测，我们能够准确判断该物体是否是无人机，从而完成粗粒度检测。(3)基于物体检测后的细粒度分类，采取强监督学习的方法，在庞大数据集的基础上完成细粒度分类，不仅得到了无人机类别，更精确地得到了检测到的无人机的机型；将识别出的无人机型号与无人机型号库信息对应检索出相关外在结构信息，并结合摄像机的内参数，将无人机的二维坐标映射成三维坐标确定无人机立体空间中的位置，解决现有技术无人机的识别与定位不准确的问题，解决现有技术采用雷达、卫星等技术手段易受外界环境干扰的问题，定位准确。(4)本专利技术的细粒度分类检测方法无需处理边缘标注点，并且去掉背景虚化的步骤，这样能够大大提高细粒度分类检测的速度，完全满足实时的细粒度分类检测。(5)本专利技术还可以通过帧图片的连续三维坐标信息，在立体空间中得到无人机的轨迹信息。附图说明图1为本专利技术的方法流程框图；图2为本专利技术局部微小特征的识别检测示意图；图3为本专利技术的流程示意图。具体实施方式下面结合附图及具体实施例对本专利技术作进一步的说明。如图1所示，本专利技术的基于细粒度分类的无人机识别与定位方法，为实现细粒度分类，首先建立无人机数据集库，目前尚没有一种数据集库能满足细粒度分类检测要求，现有的只能满足粗粒度分类。本专利技术通过实验采集满足众多无人机机型及参数信息的庞大数据集，建立满足细粒度分类的计算机视觉数据库，并进行了细粒度分类的无人机标注。本专利技术的计算机视觉数据库与现有数据集库相比，可以看到数据集的动态可视化，并且标注了详细的机型型号信息。在细粒度分类之前，先进行粗粒度检测。先进行YOLO网络结构的优化：在YOLO网络结构中，每个格子预测四个boundingbox，输出向量为7*7*23的向量，解决了现有技术中的YOLO网络结构对于近距离物体检测准确率低的问题。因为每个格子预测四个boundingbox，大大降低了接近于groundtruth的物体的NMS去除本文档来自技高网...

【技术保护点】
1.基于细粒度分类的无人机识别与定位方法，其特征在于，包括以下步骤：(a)建立无人机数据集库：通过采集无人机机型及参数信息，建立满足细粒度分类的计算机视觉数据库；(b)粗粒度检测：通过YOLO网络结构对摄像机拍摄的视频进行端到端的实时物体识别与检测，准确判断物体是否无人机；(c)细粒度分类：在步骤(a)所述的无人机数据集库中的数据集的基础上采取强监督学习的方法完成深度学习，进而完成细粒度分类，细粒度分类完成后，精确地得到检测到的无人机类别和无人机型号；(d)匹配检索型号：得出无人机的具体型号后，在无人机数据集库中匹配检索该型号无人机的具体信息，得到该无人机的所有信息，包括材料信息和结构信息，得知无人机的外在视觉特征；(e)摄像机标定：获得摄像机的内参数；(f)空间定位：将无人机的外在视觉特征结合摄像机的内参数得到无人机在立体空间的位置。

【技术特征摘要】
1.基于细粒度分类的无人机识别与定位方法，其特征在于，包括以下步骤：(a)建立无人机数据集库：通过采集无人机机型及参数信息，建立满足细粒度分类的计算机视觉数据库；(b)粗粒度检测：通过YOLO网络结构对摄像机拍摄的视频进行端到端的实时物体识别与检测，准确判断物体是否无人机；(c)细粒度分类：在步骤(a)所述的无人机数据集库中的数据集的基础上采取强监督学习的方法完成深度学习，进而完成细粒度分类，细粒度分类完成后，精确地得到检测到的无人机类别和无人机型号；(d)匹配检索型号：得出无人机的具体型号后，在无人机数据集库中匹配检索该型号无人机的具体信息，得到该无人机的所有信息，包括材料信息和结构信息，得知无人机的外在视觉特征；(e)摄像机标定：获得摄像机的内参数；(f)空间定位：将无人机的外在视觉特征结合摄像机的内参数得到无人机在立体空间的位置。2.根据权利要求1所述的基于细粒度分类的无人机识别与定位方法，其特征在于：步骤(b)中，优化YOLO网络结构，每个格子预测四个boundingbox，输出向量为7*7*23的向量，实现基于流视频下的物体检测，以60-70FPS/S的速率检测出镜头内的物体是否是无人机，从而完成粗粒度检测。3.根据权利要求2所述的基于细粒度分类的无人机识别与定位方法，其特征在于：步骤(c)中，将不同型号无人机之间的突出明显特征作为细粒度划分的局部微小特征，在检测的基础上，通过训练得到微小特征分类器，通过区域化检测帧图片，通过多个微小特征分类器的检测结果最终得出无人机的具体的型号。4.根据权利要求3所述的基于细粒度分类的无人机识别与定位方法，其特征在于：步骤(c)中，局部微小特征的识别检测是将无人...

【专利技术属性】
技术研发人员：刘昊，魏志强，殷波，曲方超，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东,37