一种可见光/红外图像多平台分布式融合多目标检测方法技术

本发明专利技术公开了一种可见光/红外图像多平台分布式融合多目标检测方法。首先构建基于FSSD的可见光航拍图像和红外航拍图像多目标检测网络，并进行训练和测试，通过统计方法得到目标检测的平均准确率AP值；然后使用可见光和红外航拍图像多目标检测网络，得到目标在图像中的位置、目标类别、目标归属类别的置信度；再根据平均准确率AP值建立ECOC编码矩阵，通过检测网络给出的置信度，并结合ECOC编码矩阵，给出ECOC预测编码；最后计算预测编码与ECOC编码矩阵各行的欧氏距离，并判断最小距离得到分布式融合多目标分类结果，完成分布式多目标分类置信度融合。该方法解决了分布式融合权值选取问题，实现了权值自适应计算；提升了多目标检测的检测率、精度以及鲁棒性。

【技术实现步骤摘要】
一种可见光/红外图像多平台分布式融合多目标检测方法
本专利技术属于图像处理领域，具体涉及一种多目标检测方法。
技术介绍
通常飞行器运动存在高度、速度、姿态变化，并且航拍面临光照强度变化、光照视角变化、云雾遮挡、昼夜交替等影响，因此利用单独的可见光或红外成像传感器对航拍图像进行多目标检测，存在检测率低、精度差、鲁棒性不好的问题。可见光/红外航拍图像融合多目标检测方法具有全天时、全天候的自适应目标检测优势；深度学习通过使用多层非线性处理单元进行特征提取和转换，特征可抽象的进行多级表示，同时具有高泛化能力。将二者结合进行基于深度学习的可见光/红外航拍图像融合多目标检测方法，是目前的研究热点。基于深度学习的可见光/红外航拍图像融合多目标检测方法通常可分为像素级融合方法、特征级融合方法以及决策级融合方法。决策级融合方法采用分布式融合图像目标检测架构，分别对可见光、红外航拍图像通过深度学习网络完成多目标检测，然后利用决策级信息融合算法，对检测结果中目标类别的置信度进行融合，实现图像目标的多源信息融合检测。决策级融合能够克服像素级与特征级融合方法通信带宽、存储空间要求高、融合中心计算量大的问题。目前基于深度学习的可见光/红外航拍图像融合多目标检测方法常采用YOLO系列网络及FastRCNN系列网络。YOLO网络对每种检测目标都能给出属于该目标及其它目标的置信度，因此YOLO网络结合D-S证据理论可以完成决策级融合检测；FastRCNN系列网络对每种检测目标只能给出属于该目标的置信度，因此需要重新构造属于该目标及其它目标的置信度，并结合模糊集理论实现决策级融合图像多目标检测。但YOLO网络在目标检测精度方面不高，FastRCNN网络对目标检测速度较慢。FSSD网络在目标检测精度方面优于YOLO系列网络，在目标检测速度方面优于FastRCNN网络，因此基于FSSD网络的决策级融合图像多目标检测，为综合提高可见光/红外航拍图像融合多目标检测的精度及速度提供了依据。由于飞行器运动存在高度、速度、姿态的变化，导致航拍图像发生尺度、角度及模糊的畸变，原始的FSSD目标检测网络仅针对可见光图像，且输入图像接口大小较小，在特征提取层级中提取的图像特征有限，因此精度还有待进一步提高；同时在对红外图像进行目标检测的过程中，会遇到红外图像特征较少、不同类目标相似性较高的问题，具有一定的局限性。可见光/红外航拍图像多平台分布式融合多目标检测属于决策级融合方法，由于FSSD网络只能获得多目标某一类别置信度，而一般的决策级融合算法需要获取目标在每个类别上的置信度后，才能进行决策融合计算。并且航拍成像面临光照强度变化、光照视角变化、云雾遮挡、昼夜交替等影响，单独使用可见光或红外检测网络进行多目标检测，不能保证上述环境影响下目标检测的鲁棒性。ECOC是机器学习中的一种多分类算法框架，在每个分类器只能得到相应某一类别的置信度时，它通过对多个分类器的结果进行编编、解码，实现多类型目标的分类。因此，ECOC为基于FSSD网络的可见光/红外航拍图像多平台分布式融合多目标检测提供了一种全新的思路。
技术实现思路
为了克服现有技术的不足，本专利技术提供了一种可见光/红外图像多平台分布式融合多目标检测方法。首先构建基于FSSD的可见光航拍图像和红外航拍图像多目标检测网络，对两个网络进行训练和测试，通过统计方法得到各类别目标检测的平均准确率AP值；然后使用基于FSSD的可见光和红外航拍图像多目标检测网络，得到目标在图像中的位置、目标类别、目标归属类别的置信度；接下来根据平均准确率AP值建立ECOC编码矩阵，通过检测网络给出的置信度，并结合ECOC编码矩阵，给出ECOC预测编码；最后计算预测编码与ECOC编码矩阵各行的欧氏距离，并判断最小距离得到分布式融合多目标分类结果，完成分布式多目标分类置信度融合。该方法解决了分布式融合权值选取问题，实现了权值自适应计算；提升了多目标检测的检测率、精度以及鲁棒性。本专利技术解决其技术问题所采用的技术方案包括以下步骤：步骤1：构建基于FSSD的可见光航拍图像多目标检测网络和基于FSSD的红外航拍图像多目标检测网络；步骤1-1：构建基于FSSD的可见光航拍图像多目标检测网络，对FSSD网络结构做出如下修改：步骤1-1-1：将输入图像的大小从300*300修改为640*640；步骤1-1-2：在FSSD网络的VGG16结构后，增加大小为20*20*512的Conv6_2融合层级，并将Conv6_2融合层级提出的特征图送入到特征融合模块；步骤1-1-3：在特征融合模块中，将特征融合层尺寸大小从38*38改为80*80；步骤1-1-4：将检测层级中的fea_concat_bn_ds_16和fea_concat_bn_ds_32两个层级中的padding改为1，步长改为2；步骤1-1-5：在检测层级的最后新增大小为1*1*256的fea_concat_bn_ds_64层级；步骤1-1-6：将检测层级的先验框个数改为42675，利用kmeans算法对图像数据集中目标先验框的长宽比先验信息进行聚类，获得可见光图像中默认的目标框长宽比为5种，即0.4，0.6，1，1.6，2.8；步骤1-2：构建基于FSSD的红外航拍图像多目标检测网络，对FSSD网络结构做出如下修改：步骤1-2-1：将FSSD网络的VGG16结构中的conv3_3层级提取的特征图送入到特征融合模块；步骤1-2-2：将检测层级的先验框个数改为9700，利用kmeans算法对图像数据集中目标的先验框长宽比先验信息进行聚类，获得红外图像中默认的目标框长宽比为5种，即0.5，0.8，1，1.3，2.1；步骤1-3：使用图像数据集中的训练图像集和测试图像集对可见光航拍图像多目标检测网络和红外航拍图像多目标检测网络分别进行训练和测试，通过统计方法得到各类别目标检测的平均准确率；步骤1-4：使用训练完成的可见光航拍图像多目标检测网络和红外航拍图像多目标检测网络分别对包含目标的可见光图像和红外图像进行检测，能够得到目标外接矩形的位置、目标类别、目标归属类别的置信度；步骤2：构建分布式融合多目标检测方法；步骤2-1：构建多源图像多目标位置关联方法；步骤2-1-1：假设有m个飞行平台，将k个基于FSSD的可见光航拍图像多目标检测网络f1,f2,...,fk分别搭载在飞行平台1,2,…,k上，将m-k个基于FSSD的红外航拍图像多目标检测网络fk+1,fk+2,...,fm分别搭载在飞行平台k+1,k+2,…,m上；使用m个飞行平台进行目标图像采集，每个飞行平台采集一幅图像，分别定义为H1,H2,…,Hm；再对图像H1,H2,…,Hm进行配准；使用每个飞行平台上加载的检测网络对本飞行平台采集到的图像进行目标检测，假设在每幅图像中检测到的目标数分别为l1,l2,…,lm；步骤2-1-2：对于图像H1中检测到的第e个目标计算目标的外接矩形的中心点与图像H本文档来自技高网...

【技术保护点】
1.一种可见光/红外图像多平台分布式融合多目标检测方法，其特征在于，包括以下步骤：/n步骤1：构建基于FSSD的可见光航拍图像多目标检测网络和基于FSSD的红外航拍图像多目标检测网络；/n步骤1-1：构建基于FSSD的可见光航拍图像多目标检测网络，对FSSD网络结构做出如下修改：/n步骤1-1-1：将输入图像的大小从300*300修改为640*640；/n步骤1-1-2：在FSSD网络的VGG16结构后，增加大小为20*20*512的Conv6_2融合层级，并将Conv6_2融合层级提出的特征图送入到特征融合模块；/n步骤1-1-3：在特征融合模块中，将特征融合层尺寸大小从38*38改为80*80；/n步骤1-1-4：将检测层级中的fea_concat_bn_ds_16和fea_concat_bn_ds_32两个层级中的padding改为1，步长改为2；/n步骤1-1-5：在检测层级的最后新增大小为1*1*256的fea_concat_bn_ds_64层级；/n步骤1-1-6：将检测层级的先验框个数改为42675，利用kmeans算法对图像数据集中目标先验框的长宽比先验信息进行聚类，获得可见光图像中默认的目标框长宽比为5种，即0.4，0.6，1，1.6，2.8；/n步骤1-2：构建基于FSSD的红外航拍图像多目标检测网络，对FSSD网络结构做出如下修改：/n步骤1-2-1：将FSSD网络的VGG16结构中的conv3_3层级提取的特征图送入到特征融合模块；/n步骤1-2-2：将检测层级的先验框个数改为9700，利用kmeans算法对图像数据集中目标的先验框长宽比先验信息进行聚类，获得红外图像中默认的目标框长宽比为5种，即0.5，0.8，1，1.3，2.1；/n步骤1-3：使用图像数据集中的训练图像集和测试图像集对可见光航拍图像多目标检测网络和红外航拍图像多目标检测网络分别进行训练和测试，通过统计方法得到各类别目标检测的平均准确率；/n步骤1-4：使用训练完成的可见光航拍图像多目标检测网络和红外航拍图像多目标检测网络分别对包含目标的可见光图像和红外图像进行检测，能够得到目标外接矩形的位置、目标类别、目标归属类别的置信度；/n步骤2：构建分布式融合多目标检测方法；/n步骤2-1：构建多源图像多目标位置关联方法；/n步骤2-1-1：假设有m个飞行平台，将k个基于FSSD的可见光航拍图像多目标检测网络f...

【技术特征摘要】
1.一种可见光/红外图像多平台分布式融合多目标检测方法，其特征在于，包括以下步骤：
步骤1：构建基于FSSD的可见光航拍图像多目标检测网络和基于FSSD的红外航拍图像多目标检测网络；
步骤1-1：构建基于FSSD的可见光航拍图像多目标检测网络，对FSSD网络结构做出如下修改：
步骤1-1-1：将输入图像的大小从300*300修改为640*640；
步骤1-1-2：在FSSD网络的VGG16结构后，增加大小为20*20*512的Conv6_2融合层级，并将Conv6_2融合层级提出的特征图送入到特征融合模块；
步骤1-1-3：在特征融合模块中，将特征融合层尺寸大小从38*38改为80*80；
步骤1-1-4：将检测层级中的fea_concat_bn_ds_16和fea_concat_bn_ds_32两个层级中的padding改为1，步长改为2；
步骤1-1-5：在检测层级的最后新增大小为1*1*256的fea_concat_bn_ds_64层级；
步骤1-1-6：将检测层级的先验框个数改为42675，利用kmeans算法对图像数据集中目标先验框的长宽比先验信息进行聚类，获得可见光图像中默认的目标框长宽比为5种，即0.4，0.6，1，1.6，2.8；
步骤1-2：构建基于FSSD的红外航拍图像多目标检测网络，对FSSD网络结构做出如下修改：
步骤1-2-1：将FSSD网络的VGG16结构中的conv3_3层级提取的特征图送入到特征融合模块；
步骤1-2-2：将检测层级的先验框个数改为9700，利用kmeans算法对图像数据集中目标的先验框长宽比先验信息进行聚类，获得红外图像中默认的目标框长宽比为5种，即0.5，0.8，1，1.3，2.1；
步骤1-3：使用图像数据集中的训练图像集和测试图像集对可见光航拍图像多目标检测网络和红外航拍图像多目标检测网络分别进行训练和测试，通过统计方法得到各类别目标检测的平均准确率；
步骤1-4：使用训练完成的可见光航拍图像多目标检测网络和红外航拍图像多目标检测网络分别对包含目标的可见光图像和红外图像进行检测，能够得到目标外接矩形的位置、目标类别、目标归属类别的置信度；
步骤2：构建分布式融合多目标检测方法；
步骤2-1：构建多源图像多目标位置关联方法；
步骤2-1-1：假设有m个飞行平台，将k个基于FSSD的可见光航拍图像多目标检测网络f1，f2，...，fk分别搭载在飞行平台1，2，...，k上，将m-k个基于FSSD的红外航拍图像多目标检测网络fk+1，fk+2，...，fm分别搭载在飞行平台k+1，k+2，...，m上；使用m个飞行平台进行目标图像采集，每个飞行平台采集一幅图像，分别定义为H1，H2，...，Hm；再对图像H1，H2，...，Hm进行配准；
使用每个飞行平台上加载的检测网络对本飞行平台采集到的图像进行目标检测，假设在每幅图像中检测到的目标数分别为l1，l2，...，lm；
步骤2-1-2：对于图像H1中检测到的第e个目标e∈[1，l1]，计算目标的外接矩形的中心点与图像H2，H3，...，Hm中所有检测到目标的外接矩形中心点之间的距离g，将图像H2，H3，...，Hm中满足距离g≤∈1的任一目标分别记为的外接矩形分别记为∈1为预设阈值；
计算目标之间的交并比IoU：



若IoU＞0.5，则判定为同一目标，完成目标位置关联，目标位置为图像H1，H2，...，Hm中该目标的最大外接矩形；
若IoU≤0.5，则舍弃目标
步骤2-1-3：将e从1取到l1，重复步骤2-1-2，得到m幅图像中所有位置关联的目标：
步骤2-2：构建基于ECOC的分布式融合多目标检测方法；
步骤2-2-1：构建分布式融合多目标分类方法；
步骤2-2-1-1：建立可见光/红外分布式融合多目标分类ECOC编码矩阵；
步骤2-2-1-1-1：假设目标有n+1类，分别为C1，C2，...，Cn+1，其中C1，C2，...，Cn为n个目标类，Cn+1为背景类；对于检测网络f1，f2，...，fk，fk+1，fk+2，...，fm，采用步骤1-3的方法对测试集进行测试得到每个检测网络对每个类别的目标检测的平均准确率APij(i＝1，2，...，n+1；j＝1，...

【专利技术属性】
技术研发人员：顾一凡，程咏梅，雷鑫华，庄若望，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61