基于多源认知融合的遮挡目标检测识别方法技术

本发明专利技术公开的基于多源认知融合的遮挡目标检测识别方法，解决现有方法对于遮挡的目标无法进行精确检测的问题。实现步骤是：构建多源训练数据集和测试数据集；构建改进的多源认知融合模块；生成融合后的训练数据集与测试数据集；引入目标检测网络Faster R

【技术实现步骤摘要】
基于多源认知融合的遮挡目标检测识别方法


[0001]...本专利技术属于图像处理
，涉及多源目标检测，具体是一种基于多源认知融合的遮挡目标检测识别方法，用于对有云雾等障碍物进行遮挡的目标进行检测。

技术介绍

[0002]合成孔径雷达(SAR)可以全天时、全天候进行成像探测，具有一定的穿透能力。根据不同表面材料引起的反射强度，产生不同的灰度图像。然而，场景的纹理边缘描述并不完整，同一目标的判读能力较差。
[0003]可见光成像依赖于物体表面的反射能力，它能直接反映地物的真实纹理、颜色等信息。在良好的光照环境下，它能提供丰富的细节信息，并能获得解释力强、空间分辨率高的图像。但是，受光、雨、雾等因素的影响，会得到模糊的成像结果。
[0004]在没有云层遮挡的情况下，光学目标检测模型可以准确地完成检测任务，但在云层遮挡情况下无法检测到目标的位置；单源SAR目标检测模型在目标不是很密集的情况下也能很好地完成检测任务，但是在目标密集度不高的情况下，检测效果却很好目标密集区域较差，虚警较多。为了将这两种方法的优点结合起来，进行了雷达和光本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源认知融合的遮挡目标检测识别方法，其特征在于，包括有如下步骤：(1)构建多源训练数据集和测试数据集：输入待识别的SAR图像和光学图像，对待识别的SAR图像和光学图像进行预处理，将原始图像使用ENVI软件进行手动配准，将配准好的图像进行标注，标注出图像中的飞机目标，对标注后的图像进行分割，为避免分割时造成目标不完整，采用重叠分割，得到分割后的图像，并对分割后图像中的目标坐标进行大图像坐标到小图像坐标的转换，生成目标标签，坐标转换后生成分割后数据集，对分割后的数据集按照8:2的比例划分为训练数据集与测试数据集，数据集中每张图像大小为H
×
W
×
C，H为图像高度，W为图像宽度，C为图像通道数；(2)构建改进的多源认知融合模块，以获得融合后的特征图：改进的多源认知融合模块设有两路输入，一路输出，在输入和输出之间，除了池化和生成权重系数，还增加了特征融合；改进的多源认知融合模块的两路输入中的一路输入光学图像，另一路输入与之对应的SAR图像输入图像分别经过全局平均池化后，加入了特征融合，具体为：将两张池化后图像转置后合成为大小为1
×
C
×
2的图像，并通过卷积操作对池化转置后图像进行融合，融合后分离为仍以各自特征为主的两张特征融合后图像，此时，分离后光学图像具有SAR特征，SAR图像具有光学特征；然后分别通过sigmoid激活函数生成特征融合后图像各自通道的权重系数，权重系数再分别与同路的图像相乘，然后将两张相乘后的图像拼接后卷积生成H
×
W
×
C的一张图像，输出为一路图像结果，总体形成构建改进的多源认知融合模块；输出的结果为一张融合后的特征图；(3)生成融合后的训练数据集与测试数据集：将训练数据集与测试数据集中的所有图像都通过改进的多源认知融合模块进行操作，改进的多源认知融合模块输出图像仍归为原本数据集，称作融合后的训练数据集与融合后的测试数据集；(4)引入目标检测网络Faster R-CNN：引入目标检测网络Faster R-CNN，包括顺次连接的特征提取子网络、建议区域提取子网络、感兴趣区域池化层和分类回归子网络，其中特征提取子网络包含13个卷积层和4个池化层，建议区域提取子网络包含2个卷积层，分类回归子网络包含2个全连接层；目标检测网络Faster R-CNN的损失函数为L：其中,x为目标的边框坐标检测结果和目标标签之差；(5)用融合后的训练集对目标检测网络Faster R-CNN进行训练：在对目标检测网络Faster R-CNN初始化后，输入融合后的训练集中的所有特征图，迭代计算损失值和更新子网络权值的操作，得到训练好的目标检测网络Faster R-CNN，具体包括以下步骤：(5a)初始化目标检测网络Faster R-CNN：初始化特征提取子网络的权值为在ImageNet数据集上预训练好的VGG16模型的权值随机初始化建议区域提取子网络的权值为随机初始化分类回归子网络的权值为初始化...

【专利技术属性】
技术研发人员：杨淑媛，高全伟，常志豪，于子凡，冯志玺，翟蕾，李奕彤，李源钊，柯希鹏，高欣怡，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：