基于Faster RCNN的飞行目标协同识别方法技术

本发明专利技术公开了一种基于Faster RCNN的飞行目标协同识别方法，包括以下步骤：构建训练数据集；构建Faster RCNN网络；训练Faster RCNN网络；在多个分布式平台上实施训练后的Faster RCNN网络；进行目标检测并将识别结果进行决策级融合，实现目标协同识别。针对变化环境下的飞行目标红外图像识别场景，本发明专利技术的方法采用协同识别的方法能够获取目标多角度、多姿态的图像信息，使对象轮廓、姿态等信息更加丰富立体，能够有效地提高目标的识别准确率，同时优化了Faster RCNN网络的锚框生成方法，提高了目标识别的效率。

【技术实现步骤摘要】
基于FasterRCNN的飞行目标协同识别方法
本专利技术属于目标识别领域，特别是一种基于FasterRCNN的飞行目标协同识别方法。
技术介绍
目前红外成像技术的迅速发展对红外目标检测技术的要求也相应地不断提高。如何能够快而准地分割、检测、识别、定位出红外目标是将红外成像技术应用于解决实际问题的重中之重。红外图像的目标检测方法可以分为以下几个大方向：利用目标在图像中的先验知识进行区分、对目标进行模板匹配、使用机器学习方法对目标特征进行检测等等。基于机器学习的红外目标检测方法一般通过人为设定的一些特征结合分类器对候选窗口进行分类判断从而达到检测识别的目的。其中，候选区域的提取、人为特征的设定、分类器的选择是几个比较关键的环节。目前，基于机器学习的红外目标检测方法由于其较强的鲁棒性、实用性，已经成为红外检测的主流方法，被广泛应用。FasterRCNN是基于机器学习的目标检测方法中的常见的框架之一，它是在RCNN的基础上进行了新的优化的网络框架。RCNN是基于卷积神经网络进行物体检测的经典框架，它遵从传统目标检测的流程框架，先通过感兴趣区域提取选出候选框，然后对提取出的候选框进行特征提取，最后将获取的特征向量使用分类器来进行分类。FasterRCNN可以简单地看做“区域生成网络+FastRCNN”的系统，用区域生成网络代替FastRCNN中的SelectiveSearch(选择性搜索)方法，在原有算法的基础上将目标检测的四个基本步骤：候选区域生成、特征提取、分类、位置精修统一到一个深度学习网络框架之内，大大提高了运算速度。然而尽管FasterRCNN模型对一般目标的检测具有良好的适用性，但其未考虑目标属性等先验知识，使得它们在特定场景的应用中仍存在检测精度不理想的问题。此外，传统的飞行目标识别方法获取的目标图像角度、姿态单一，目标的轮廓和纹理信息十分有限。然而，不同种类的飞行目标在红外图像中呈现的性质会随着温度与环境的变化而产生相应的变化，如在晴天或气温较高的环境下与阴天或夜间的环境下相比，飞行目标与背景的灰度值会呈现相反的极性，其呈现特征会有较大差异。同时，飞行目标之间会产生相互遮挡的情况。且红外图像中往往伴随着一些稀疏噪点，这些噪点不具有统计规律，不能靠单一手段将其消除，容易对一般方法下的识别性能造成影响。
技术实现思路
本专利技术的目的在于提供一种能减小环境变化对识别结果的干扰，提高目标识别的检测精度和鲁棒性的飞行目标协同识别方法。实现本专利技术目的的技术解决方案为：一种基于FasterRCNN的飞行目标协同识别方法，所述方法包括以下步骤：步骤1，构建训练数据集；步骤2，构建FasterRCNN网络；步骤3，训练FasterRCNN网络；步骤4，在多个分布式平台上实施训练后的FasterRCNN网络；步骤5，进行目标检测并将识别结果进行决策级融合，实现目标协同识别。进一步地，步骤1所述构建训练数据集，具体过程包括：步骤1-1，采集飞行目标的若干红外图像作为样本；步骤1-2，针对每一幅红外图像，从该图像中提取ROI区域，并获取ROI区域的位置信息；步骤1-3，由红外图像以及其对应的标注信息构建训练数据集，并将训练数据集划分为测试集、训练集和验证集；所述标注信息包括ROI区域的坐标以及ROI区域中目标的类型。进一步地，步骤2所述构建FasterRCNN网络，具体包括：步骤2-1，对训练数据集进行聚类，获取锚框的几何先验知识，包括锚框的宽高比、尺度及数目；所述尺度为面积；步骤2-2，由步骤2-1确定的锚框替换FasterRCNN网络中固定的9个锚框。进一步地，所述FasterRCNN网络中的特征提取网络采用ZF网络。进一步地，步骤2-1中所述对训练数据集进行聚类，获取锚框的几何先验知识，包括锚框的宽高比、尺度及数目，具体包括：步骤2-1-1，将训练数据集中所有图像的宽和高进行归一化；步骤2-1-2，将归一化图像中ROI区域边界框的左下角归置到原点，实现对所有ROI区域边界框的聚集；令Bboxi＝(wi,hi)，i＝1,2,…,n，wi、hi分别为ROI区域边界框的宽、高，n为ROI区域边界框的数目；步骤2-1-3，对ROI区域边界框的宽高比ratio＝wi/hi进行K-means聚类，获得K1个聚类结果Ri'表示第i'个宽高比，i'＝1,2,…,K1；步骤2-1-4，从n个ROI区域边界框中随机选取K2个ROI区域边界框构建初始质心边界框集合；步骤2-1-5，根据第j个质心边界框到第i个ROI区域边界框的距离，对n个ROI区域边界框进行聚类，生成K2个簇；之后更新质心边界框集合，包括：求取每个簇中所有ROI区域边界框的宽的中值，以该中值作为该簇中所包含的质心边界框的宽；求取每个簇中所有ROI区域边界框的高的中值，以该中值作为该簇中所包含的质心边界框的高；重复该过程直至每个簇质心边界框的更新误差小于预设误差；其中，第j个质心边界框到第i个ROI区域边界框的距离公式为：式中，表示第j个质心边界框到第i个ROI区域边界框的距离，表示第j个质心边界框与第i个ROI区域边界框的交并面积比，表示为：步骤2-1-6，将K2个质心边界框各自的宽高相乘，获得K2个尺度Sj'表示第j'个尺度，j'＝1,2,…,K2；步骤2-1-7，将步骤2-1-3中的K1个聚类结果步骤2-1-6中的K2个尺度分别与预设的基础锚框尺寸相乘，获得K1×K2个锚框。进一步地，步骤3所述训练FasterRCNN网络，具体包括：步骤3-1，初始化FasterRCNN网络参数及迭代次数阈值N1；步骤3-2，确定损失函数；步骤3-3，对训练集图像进行预处理，获得所需格式及分辨率的图像；步骤3-4，将训练集中的图像输入至FasterRCNN网络的特征提取网络，输出图像的一系列特征图，作为RPN与FastRCNN的共享特征；步骤3-5，将步骤3-4获得的特征图输入至FasterRCNN网络的RPN网络中，对RPN进行单独训练，计算损失函数值，更新RPN网络参数，同时输出若干候选框；步骤3-6，将步骤3-5获得的候选框输入至FasterRCNN网络的FastRCNN网络，对FastRCNN网络进行单独训练，计算损失函数值，更新FastRCNN网络参数；步骤3-7，基于上述对FasterRCNN网络更新的结果，再次单独训练RPN网络，同时固定特征提取网络的参数，仅更新RPN网络的参数；步骤3-8，利用步骤3-7更新后的RPN网络的输出结果再次对FastRCNN网络进行单独训练，同样固定特征提取网络的参数，仅更新FastRCNN网络参数；步骤3-9，利用验证集验证损失是否收敛，若是，结束训练过程，否则，重新设置迭代次数阈值为N2，返回执行步骤3-4，直至收敛，其中N2＜N1；步骤3-10，本文档来自技高网...

【技术保护点】
1.一种基于Faster RCNN的飞行目标协同识别方法，其特征在于，所述方法包括以下步骤：/n步骤1，构建训练数据集；/n步骤2，构建Faster RCNN网络；/n步骤3，训练Faster RCNN网络；/n步骤4，在多个分布式平台上实施训练后的Faster RCNN网络；/n步骤5，进行目标检测并将识别结果进行决策级融合，实现目标协同识别。/n

【技术特征摘要】
1.一种基于FasterRCNN的飞行目标协同识别方法，其特征在于，所述方法包括以下步骤：
步骤1，构建训练数据集；
步骤2，构建FasterRCNN网络；
步骤3，训练FasterRCNN网络；
步骤4，在多个分布式平台上实施训练后的FasterRCNN网络；
步骤5，进行目标检测并将识别结果进行决策级融合，实现目标协同识别。


2.根据权利要求1所述的基于FasterRCNN的飞行目标协同识别方法，其特征在于，步骤1所述构建训练数据集，具体过程包括：
步骤1-1，采集飞行目标的若干红外图像作为样本；
步骤1-2，针对每一幅红外图像，从该图像中提取ROI区域，并获取ROI区域的位置信息；
步骤1-3，由红外图像以及其对应的标注信息构建训练数据集，并将训练数据集划分为测试集、训练集和验证集；所述标注信息包括ROI区域的坐标以及ROI区域中目标的类型。


3.根据权利要求2所述的基于FasterRCNN的飞行目标协同识别方法，其特征在于，步骤2所述构建FasterRCNN网络，具体包括：
步骤2-1，对训练数据集进行聚类，获取锚框的几何先验知识，包括锚框的宽高比、尺度及数目；所述尺度为面积；
步骤2-2，由步骤2-1确定的锚框替换FasterRCNN网络中固定的9个锚框。


4.根据权利要求3所述的基于FasterRCNN的飞行目标协同识别方法，其特征在于，所述FasterRCNN网络中的特征提取网络采用ZF网络。


5.根据权利要求3或4所述的基于FasterRCNN的飞行目标协同识别方法，其特征在于，步骤2-1中所述对训练数据集进行聚类，获取锚框的几何先验知识，包括锚框的宽高比、尺度及数目，具体包括：
步骤2-1-1，将训练数据集中所有图像的宽和高进行归一化；
步骤2-1-2，将归一化图像中ROI区域边界框的左下角归置到原点，实现对所有ROI区域边界框的聚集；令Bboxi＝(wi,hi)，i＝1,2,…,n，wi、hi分别为ROI区域边界框的宽、高，n为ROI区域边界框的数目；
步骤2-1-3，对ROI区域边界框的宽高比ratio＝wi/hi进行K-means聚类，获得K1个聚类结果Ri'表示第i'个宽高比，i'＝1,2,…,K1；
步骤2-1-4，从n个ROI区域边界框中随机选取K2个ROI区域边界框构建初始质心边界框集合；
步骤2-1-5，根据第j个质心边界框到第i个ROI区域边界框的距离，对n个ROI区域边界框进行聚类，生成K2个簇；之后更新质心边界框集合，包括：求取每个簇中所有ROI区域边界框的宽的中值，以该中值作为该簇中所包含的质心边界框的宽；求取每个簇中所有ROI区域边界框的高的中值，以该中值作为该簇中所包含的质心边界框的高；
重复该过程直至每个簇质心边界框的更新误差小于预设误差；
其中，第j个质心边界框到第i个ROI区域边界框的距离公式为：



式中，表示第j个质心边界框到第i个ROI区域边界框的距离，表示第j个质心边界框与第i个ROI区域边界框的交并面积比，表示为：



步骤2-1-6，将K2个质心边界框各自的宽高相乘，获得K2个尺度Sj'表示第j'个尺度，j'＝1,2,…,K2；
步骤2-1-7，将步骤2-1-3中的K1个聚类结果步骤2-1-6中的K2个尺度分别与预设的基础锚框尺寸相乘，获得K1×K2个锚框。


6.根据权利要求5所述的基于FasterRCNN的飞行目标协同识别方法，其特征在于，步骤3所述训练FasterRCNN网络，具体包括：
步骤3-1，初始化FasterRCNN网络参数及迭代次数阈值N1；
步骤3-2，确定损失函数；
步骤3-3，对训练集图像进行预处理，获得所需格式及分辨率的图像；
步骤3-4，...

【专利技术属性】
技术研发人员：黄成，魏家豪，刘振光，刘子淇，姚文杰，罗涛，王力立，张永，徐志良，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32