基于多模型决策级融合的舰船与民船目标检测与分类方法技术

本发明专利技术提供了一种基于多模型决策级融合的舰船与民船目标检测与分类方法，在充分分析Faster‑RCNN和YOLOv3模型对不同场景中目标检测的差异性后，通过构造符合舰船识别具体适用场景的决策树，对各模型输出结果进行决策级融合，从而实现多模型对近景和遥感图像内目标检测与识别的优势互补，提高了舰船目标的定位及分类准确度。整个过程脱离人工干预，减少人力成本，使得针对舰船目标的实时检测与识别成为可能。

Detection and classification of ship and civilian ship targets based on multi model decision level fusion

【技术实现步骤摘要】
基于多模型决策级融合的舰船与民船目标检测与分类方法
本专利技术涉及人工智能领域，尤其是一种基于人工智能的图像处理方法。
技术介绍
海上目标的检测与识别，对来往船只的安全行驶、及时避难至关重要。目前海面目标的获取主要通过常规技术手段，例如脉冲雷达、声纳等进行目标检测和识别，但这些非成像手段检测的结果一般只给出检测目标的距离、方位、类型(如水面、水下和空中)等，无法对目标的种类进行识别，而现有的基于图像域的舰船目标识别方法人工干预成分较多，成本较高，需要根据经选择所使用的特征、确定特征向量维数，难以形成从特征到类别的一套完整的体系。因此，本项目结合现有多种主流的人工智能方法和模型，采用多模型决策级融合的策略，以提高舰船目标的自动检测和识别的精度，从而达到降低人工参与力度及系统工程化应用的目的。现有针对舰船目标识别的专利，多着眼于单一场景下(光学遥感或近景自然光场景)单一深度学习模型的提升研究，而本专利技术着眼于对应用场景及模型检测结果的分析提升，综合考虑了两大应用场景下，对军舰与民船两类目标进行精确的检测与识别。同时针对多模型检测结果，提出了一种基于多模型决策级融合的舰船目标检测与识别方法，充分利用Faster-RCNN的检测性能优势与YOLOv3的识别性能优势，经实验验证，准确度有很大提升。
技术实现思路
为了克服现有技术的不足，本专利技术提供一种基于多模型决策级融合的舰船与民船目标检测与分类方法。针对舰船目标的检测与识别，考虑在两大应用场景(近景自然光和光学遥感应用场景)下，对军舰与民船两类目标进行精确的检测与识别。考虑到场景的复杂性及模型的适应性问题，在充分分析Faster-RCNN和YOLOv3模型对不同场景中目标检测的差异性后，提出了一种基于多模型决策级融合的舰船目标检测与识别方法，通过构造符合舰船识别具体适用场景的决策树，对各模型输出结果进行决策级融合，从而实现多模型对近景和遥感图像内目标检测与识别的优势互补，提高了舰船目标的定位及分类准确度。本专利技术解决其技术问题所采用的技术方案包括以下步骤：步骤1：样本数据采集及标注，构造神经网络的数据集，包括训练集和测试集；分为三步完成：步骤1.1：搜集舰船数据集并进行目标标注，目标来源包括m类军舰及n类民船，涵盖实际应用中所有目标种类，后续通过模型的迁移学习，增加更多的舰船种类；提供一套目标自动标注工具，目标标注工具分为两步：首先，在每种类别中随机挑选部分图片进行人工标注，包含目标的位置坐标和类别信息，训练神经网络初步模型；然后，利用神经网络初步模型对剩余图片进行自动标注；其次，对模型标注后的图片通过人工参与的方式进行二次修正，包括目标位置的精修与舰船类别的确认；最后，将二次修正后的图片再一次进行训练，如此反复，直到目标类别信息全部正确，位置坐标人眼可区分为止；步骤1.2：从现有公开数据集中挑选出船只类别，按照预定的m类军舰及n类民船标签进行分类，增加数据集中不同背景目标的数目；步骤1.3：使用所有遥感图片单独建立遥感数据集，使用YOLOv3神经网络预训练一个针对遥感数据集的神经网络模型，对于人眼无法辨认的目标类别，采用自动标注工具，经过多次训练，直至测试集检测与识别的AP值不再提升，进一步提升对遥感目标标注准确率；步骤2：模型训练及参数调节；采用多模型训练方法，分为两大类，Faster-RCNN和YOLOv3，两个神经网络独立训练；其中，Faster-RCNN采用残差网络resnet-101和resnet-152，通过使用残差网络，减少神经网络训练过拟合的现象；为了增加输入图片的特征信息，同时将YOLOv3的输入图片尺寸从416×416改为608×608，并改变模型训练的batchsize的大小，batchsize为每次输入神经网络的图片数目，即每次迭代同时输入batchsize张图片，使得在相同硬件条件下神经网络模型抓取到舰船目标更详细的特征属性；步骤2.1：分别针对Faster-RCNN与YOLOv3两类网络进行训练调参；其中，Faster-RCNN将目标检测与分类分为两步进行：第一步，通过卷积神经网络得到输入图片的特征图，将特征图输入区域选择网络得出舰船参考位置；Input：带标注的训练样本集；Output：每张图片上预测到的舰船目标的坐标位置，包括左上角(xmin，ymin)和右下角(xmax，ymax)以及目标属于舰船的概率(Obiectprobability)；第二步，根据第一步输出的舰船目标位置坐标，将舰船特征图输入目标分类网络，得到目标的军舰/民船具体分类；Input：根据第一步输出的位置坐标将目标传入分类网络；Output：每个目标的具体分类标签(label)和分类概率(Clsprobability)；区域选择网络与目标分类网络共享网络参数，通过两步之间的相互迭代达到收敛，收敛条件为准确度AP值不再变化；其中，YOLOv3将目标的位置检测当成回归问题，同时预测目标的位置信息和类别信息：Input：带标注的训练样本集；Output：每张图片上预测到的舰船目标的坐标位置(xmin，ymin，xmax，ymax)、每个预测框的score；其中，score是目标概率(Obiectprobability)、分类概率(Clsprobability)以及IOU三者相乘积的结果，IOU为预测框与真实框交并比；针对舰船目标尺寸大小的跨度较大问题，使用K-means聚类算法重新聚类，得到适合于舰船目标识别的锚点(anchors)；步骤2.2：通过使用Faster-RCNN和YOLOv3训练好的神经网络，对测试集图片进行检测，统计分析测试结果，对所有类别中准确度AP低于0.8的舰船类别，通过扩充训练样本量及添加负样本，负样本指与舰船目标特征类似，对模型产生干扰的目标，包括大桥、堤坝、飞机和建筑物，通过对测试结果进行分析，将错误识别成舰船的其他目标作为负样本加入训练集；步骤2.3：使用YOLOv3单独训练一个分类模型，将数据集中标注的舰船目标从原始图片中截取出来，预设目标位置信息为固定值重新组成新的数据集；步骤3：针对Faster-RCNN与YOLOv3不同类型网络，提出基于多模型融合的决策树算法，详细步骤如下：首先针对神经网络目标检测模型得到的输出结果，使用内插值平均正确率(AP，Interpolatedaverageprecision)作为指标对其进行简单评估，AP表达式如下：式(1)中，maxk1≥kp(k1)表示在所有大于k的阈值k1中，阈值k1所对应的最大准确度值，Δr(k)表示召回的变化值，N代表测试集中所有目标的个数；提出基于多模型融合的决策树算法，通过决策树的搭建，分析摄像头传回照片的舰船分类，综合多模型处理结果，得出更具针对性的检测识别结果，决策树具体实现步骤如下：步骤3.1对从模型得出的识别结果进行清洗：针对同本文档来自技高网...

【技术保护点】
1.一种基于多模型决策级融合的舰船与民船目标检测与分类方法，其特征在于包括下述步骤：/n步骤1：样本数据采集及标注，构造神经网络的数据集，包括训练集和测试集；分为三步完成：/n步骤1.1：搜集舰船数据集并进行目标标注，目标来源包括m类军舰及n类民船，涵盖实际应用中所有目标种类，后续通过模型的迁移学习，增加更多的舰船种类；提供一套目标自动标注工具，目标标注工具分为两步：/n首先，在每种类别中随机挑选部分图片进行人工标注，包含目标的位置坐标和类别信息，训练神经网络初步模型；然后，利用神经网络初步模型对剩余图片进行自动标注；/n其次，对模型标注后的图片通过人工参与的方式进行二次修正，包括目标位置的精修与舰船类别的确认；/n最后，将二次修正后的图片再一次进行训练，如此反复，直到目标类别信息全部正确，位置坐标人眼可区分为止；/n步骤1.2：从现有公开数据集中挑选出船只类别，按照预定的m类军舰及n类民船标签进行分类，增加数据集中不同背景目标的数目；/n步骤1.3：使用所有遥感图片单独建立遥感数据集，使用YOLOv3神经网络预训练一个针对遥感数据集的神经网络模型，对于人眼无法辨认的目标类别，采用自动标注工具，经过多次训练，直至测试集检测与识别的AP值不再提升，进一步提升对遥感目标标注准确率；/n步骤2：模型训练及参数调节；/n采用多模型训练方法，分为两大类，Faster-RCNN和YOLOv3，两个神经网络独立训练；其中，Faster-RCNN采用残差网络resnet-101和resnet-152，通过使用残差网络，减少神经网络训练过拟合的现象；为了增加输入图片的特征信息，同时将YOLOv3的输入图片尺寸从416×416改为608×608，并改变模型训练的batchsize的大小，batchsize为每次输入神经网络的图片数目，即每次迭代同时输入batchsize张图片，使得在相同硬件条件下神经网络模型抓取到舰船目标更详细的特征属性；/n步骤2.1：分别针对Faster-RCNN与YOLOv3两类网络进行训练调参；/n其中，Faster-RCNN将目标检测与分类分为两步进行：/n第一步，通过卷积神经网络得到输入图片的特征图，将特征图输入区域选择网络得出舰船参考位置；/nInput：带标注的训练样本集；/nOutput：每张图片上预测到的舰船目标的坐标位置，包括左上角(xmin，ymin)和右下角(xmax，ymax)以及目标属于舰船的概率(Obiect probability)；/n第二步，根据第一步输出的舰船目标位置坐标，将舰船特征图输入目标分类网络，得到目标的军舰/民船具体分类；/nInput：根据第一步输出的位置坐标将目标传入分类网络；/nOutput：每个目标的具体分类标签(label)和分类概率(Cls probability)；/n区域选择网络与目标分类网络共享网络参数，通过两步之间的相互迭代达到收敛，收敛条件为准确度AP值不再变化；/n其中，YOLOv3将目标的位置检测当成回归问题，同时预测目标的位置信息和类别信息：/nInput：带标注的训练样本集；/nOutput：每张图片上预测到的舰船目标的坐标位置(xmin，ymin，xmax，ymax)、每个预测框的score；/n其中，score是目标概率(Obiect probability)、分类概率(Cls probability)以及IOU三者相乘积的结果，IOU为预测框与真实框交并比；/n针对舰船目标尺寸大小的跨度较大问题，使用K-means聚类算法重新聚类，得到适合于舰船目标识别的锚点(anchors)；/n步骤2.2：通过使用Faster-RCNN和YOLOv3训练好的神经网络，对测试集图片进行检测，统计分析测试结果，对所有类别中准确度AP低于0.8的舰船类别，通过扩充训练样本量及添加负样本，负样本指与舰船目标特征类似，对模型产生干扰的目标，包括大桥、堤坝、飞机和建筑物，通过对测试结果进行分析，将错误识别成舰船的其他目标作为负样本加入训练集；/n步骤2.3：使用YOLOv3单独训练一个分类模型，将数据集中标注的舰船目标从原始图片中截取出来，预设目标位置信息为固定值重新组成新的数据集；/n步骤3：针对Faster-RCNN与YOLOv3不同类型网络，提出基于多模型融合的决策树算法，详细步骤如下：/n首先针对神经网络目标检测模型得到的输出结果，使用内插值平均正确率(AP，Interpolated average precision)作为指标对其进行简单评估，AP表达式如下：/n...

【技术特征摘要】
1.一种基于多模型决策级融合的舰船与民船目标检测与分类方法，其特征在于包括下述步骤：
步骤1：样本数据采集及标注，构造神经网络的数据集，包括训练集和测试集；分为三步完成：
步骤1.1：搜集舰船数据集并进行目标标注，目标来源包括m类军舰及n类民船，涵盖实际应用中所有目标种类，后续通过模型的迁移学习，增加更多的舰船种类；提供一套目标自动标注工具，目标标注工具分为两步：
首先，在每种类别中随机挑选部分图片进行人工标注，包含目标的位置坐标和类别信息，训练神经网络初步模型；然后，利用神经网络初步模型对剩余图片进行自动标注；
其次，对模型标注后的图片通过人工参与的方式进行二次修正，包括目标位置的精修与舰船类别的确认；
最后，将二次修正后的图片再一次进行训练，如此反复，直到目标类别信息全部正确，位置坐标人眼可区分为止；
步骤1.2：从现有公开数据集中挑选出船只类别，按照预定的m类军舰及n类民船标签进行分类，增加数据集中不同背景目标的数目；
步骤1.3：使用所有遥感图片单独建立遥感数据集，使用YOLOv3神经网络预训练一个针对遥感数据集的神经网络模型，对于人眼无法辨认的目标类别，采用自动标注工具，经过多次训练，直至测试集检测与识别的AP值不再提升，进一步提升对遥感目标标注准确率；
步骤2：模型训练及参数调节；
采用多模型训练方法，分为两大类，Faster-RCNN和YOLOv3，两个神经网络独立训练；其中，Faster-RCNN采用残差网络resnet-101和resnet-152，通过使用残差网络，减少神经网络训练过拟合的现象；为了增加输入图片的特征信息，同时将YOLOv3的输入图片尺寸从416×416改为608×608，并改变模型训练的batchsize的大小，batchsize为每次输入神经网络的图片数目，即每次迭代同时输入batchsize张图片，使得在相同硬件条件下神经网络模型抓取到舰船目标更详细的特征属性；
步骤2.1：分别针对Faster-RCNN与YOLOv3两类网络进行训练调参；
其中，Faster-RCNN将目标检测与分类分为两步进行：
第一步，通过卷积神经网络得到输入图片的特征图，将特征图输入区域选择网络得出舰船参考位置；
Input：带标注的训练样本集；
Output：每张图片上预测到的舰船目标的坐标位置，包括左上角(xmin，ymin)和右下角(xmax，ymax)以及目标属于舰船的概率(Obiectprobability)；
第二步，根据第一步输出的舰船目标位置坐标，将舰船特征图输入目标分类网络，得到目标的军舰/民船具体分类；
Input：根据第一步输出的位置坐标将目标传入分类网络；
Output：每个目标的具体分类标签(label)和分类概率(Clsprobability)；
区域选择网络与目标分类网络共享网络参数，通过两步之间的相互迭代达到收敛，收敛条件为准确度AP值不再变化；
其中，YOLOv3将目标的位置检测当成回归问题，同时预测目标的位置信息和类别信息：
Input：带标注的训练样本集；
Output：每张图片上预测到的舰船目标的坐标位置(xmin，ymin，xmax，ymax)、每个预测框的score；
其中，score是目标概率(Obiectprobability)、分类概率(Clsprobability)以及IOU三者相乘积的结果，IOU为预测框与真实框交并比；
针对舰船目标尺寸大小的跨度较大问题，使用K-means聚类算法重新聚类，得到适合于舰船目标识别的锚点(anchors)；
步骤2.2：通过使用Fas...

【专利技术属性】
技术研发人员：粟嘉，李大伟，陶明亮，张顺，谢坚，张兆林，王伶，韩闯，宫延云，范一飞，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61