一种基于分焦平面偏振成像的伪装目标检测方法技术

本发明专利技术公开了一种基于分焦平面偏振成像的伪装目标检测方法，包括：1、数据采集与处理，获得分焦平面图像用于后续操作；2、构建使用偏振图像为输入的深度卷积神经网络，以分焦平面图像作为输入，利用深度卷积神经网络提取并归纳伪装目标的特征分布，进而得到伪装目标检测模型；3、利用训练好的模型对待检测的伪装场景进行伪装目标检测。本发明专利技术在合理的数据模型条件下，通过引入场景偏振信息，从而能有效提高复杂多变环境下伪装目标检测的准确性。复杂多变环境下伪装目标检测的准确性。复杂多变环境下伪装目标检测的准确性。

【技术实现步骤摘要】
一种基于分焦平面偏振成像的伪装目标检测方法


[0001]本专利技术属于计算机视觉、图像处理和分析领域，具体来说是一种基于分焦平面偏振成像的伪装目标检测方法。

技术介绍

[0002]伪装作为自然选择进化的一个重要例子，被野外的猎物广泛采用以减少被捕食者发现的可能性。伪装目标检测即对被伪装目标的整个范围进行分割的技术。在军事(如军事伪装图案设计)、农业(如害虫鉴定识别与防护)、医学(如息肉分割)和生态防护(如野生动物保护)等领域都有着广泛的应用。由于兼具科学价值和实际应用价值，伪装目标检测任务越来越受到研究者的重视。由于前景目标通常与其周围的物体具有非常相似的外观，用于目标检测的视觉线索如纹理、对比度、边缘、颜色和目标大小容易受到背景匹配与破坏性着色等基本伪装策略的攻击，相比一般的视觉任务，伪装目标检测任务更具有挑战性与研究性。
[0003]目前，伪装目标检测方法可简单分为传统的基于手工设计特征的方法以及基于学习的方法。传统的伪装目标检测方法主要面向军事场景应用，主要关注不同材料下的目标与环境光的光谱特性差异，再通过高光谱探测技术进行光谱分析，且传统基于手工设计特征的方法高度依赖视觉特征(如边缘、颜色、亮度、梯度、纹理等)，泛化能力有限，当环境发生重大变化造成部分视觉特征的改变，则需要对视觉特征进行重新设计、重新标记与设计模型，故而传统伪装目标检测方法不能应用于过于复杂多变的环境。基于学习的伪装目标检测方法主要通过构建规模化、标准化的数据集，利用神经网络来你和数据集中的伪装目标所体现出来的特征，最后对输入进行预测。基于学习的方法主要关注利用深度神经网络提取高层语义特征，从复杂场景中区分出隐藏对象。目前基于深度学习的伪装目标检测方法在大部分场景下都能兼顾检测精度与检测效率，拓宽了伪装目标检测的应用场景，提高其泛化能力。
[0004]但目前基于学习的方法所针对的数据几乎都是传统的强度图像，只能利用场景中的外部特征信息。在目标与背景的外部特征差异较小的挑战性场景中，这些方法难以精确分割目标。而传统方法往往通过挖掘目标与环境的内在特征差异来凸显伪装区域，但检测效率和精度都有待提高。

技术实现思路

[0005]本专利技术为解决现有技术中的不足之处，提供了一种基于分焦平面偏振成像的的伪装目标检测方法，以期得到在复杂场景下有效检测出伪装目标的泛化模型，从而能提高在复杂多变环境下伪装目标检测的精度和准确性。
[0006]为解决上述技术问题，本专利技术采用的技术方案是：
[0007]本专利技术一种基于分焦平面偏振成像的伪装目标检测方法的特点在于，是按照如下步骤进行：
[0008]步骤1、数据采集和处理；
[0009]步骤1.1、利用偏振相机拍摄第n个场景下相对偏振角度θ分别为0
°
,45
°
,90
°
,135
°
的一组原始偏振图像从而获得N个场景下的N组原始偏振图像；其中，表示第n个场景下相对偏振角度θ下的原始偏振图像，n∈[1，N]；
[0010]步骤1.2、对N组原始偏振图像，取每组原始偏振图像中对偏振角度为0
°
的原始偏振图像进行标注，得到像素级标注图像，并作为真实伪装图；
[0011]步骤1.3、采用分焦平面偏振相机传感器的微偏振阵列分布方式对第n个场景的一组原始偏振图像进行重新组合，得到第n个场景的分焦平面图像DoFP
n
；
[0012]以第n个场景的分焦平面图像DoFP
n
及其对应的真实伪装图构成一组偏振图像数据；
[0013]步骤2、构建基于分焦平面偏振成像的伪装目标检测深度卷积神经网络，包含：编码模块、解码模块；
[0014]步骤2.1、所述编码器用于对第n个场景的分焦平面图像DoFP
n
进行处理，并得到第n个场景的H个增强后特征；
[0015]步骤2.2、所述解码模块对H个增强后特征进行处理，并输出第n个场景的伪装预测图r
n
；
[0016]步骤3、训练基于分焦平面偏振成像的伪装目标检测模型；
[0017]基于N个场景的分焦平面图像及其对应的真实伪装图，利用自适应运动量随机优化方法对所述偏振图像伪装目标检测模型进行训练，并使用加权二元交叉熵损失以及加权IoU损失共同作为模型的损失函数，用于计算伪装预测图和真实伪装图之间的损失，以更新模型参数，直到模型的损失函数收敛为止，从而得到最优双输入网络使用偏振图像的伪装目标检测模型，用于实现对任意待预测的强度图像和偏振图像进行伪装目标检测。
[0018]本专利技术所述的一种基于分焦平面偏振成像的伪装目标检测方法的特点也在于，所述步骤2.1中的编码器，包括：偏振信息提取模块、Res2Net50骨干网络以及H个感受野模块，并按照如下步骤进行处理：
[0019]步骤2.1.1、所述偏振信息提取模块包括：若干个卷积层，且每个卷积层之后均连接有BN层和ReLU激活层；
[0020]第n个场景的分焦平面图像DoFP
n
经过所述偏振信息提取模块的处理后，得到第n个场景的浅层特征图x
h
,y
h
，c
h
分别表示浅层特征图的高度、宽度和通道数；
[0021]步骤2.1.2、所述Res2Net骨干网络是由H级残差卷积块构成，其中，第h级残差卷积块由第h级的X层二维卷积层Dconv2d
h
串联而成；
[0022]其中，第h级的第x层二维卷积层Dconv2d
h，x
依次包括：一个卷积层，一个BN层以及一个ReLU激活函数层组成；
[0023]当h＝1时，将输入第h级残差卷积模块的X层卷积层Dconv2d
h
中进行处理，输出第f级图像特征图
[0024]当f＝2,3,
…
,H时，将第f
‑
1级图像特征图输入第h级残差卷积模块中进行处理，并得到第f级图像特征图从而由第H级残差卷积模块输出第H
级图像特征图
[0025]步骤2.1.3、构建H个感受野模块，所述感受野模块包括K个分支、一个标准卷积层和ReLU层；
[0026]将H级残差卷积块输出的H级图像特征图分别作为H个感受野模块的输入；
[0027]当k≤2时，第h级图像特征图输入第h个感受野模块中第k个分支的一个标准2D卷积进行处理，得到第h个感受野模块的第k个分支输出的特征
[0028]当k＞2时，第h级图像特征图输入第h个感受野模块中第k个分支的若干个标准卷积层进行处理，得到第h个感受野模块的第h个分支输出的特征
[0029]将第h个感受野模块的K个分支输出的特征进行级联后通过一个标准卷积层的处理后，输出特征将第h个感受野模块的第2个分支输出的特征与相加后，再输入一个ReLU层中进行处理后，最终得到第h个感受野模块输出第n个场景的一个增强后的特征从而由H个感本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分焦平面偏振成像的伪装目标检测方法，其特征在于，是按照如下步骤进行：步骤1、数据采集和处理；步骤1.1、利用偏振相机拍摄第n个场景下相对偏振角度θ分别为0
°
,45
°
,90
°
,135
°
的一组原始偏振图像从而获得N个场景下的N组原始偏振图像；其中，表示第n个场景下相对偏振角度θ下的原始偏振图像，n∈[1,N]；步骤1.2、对N组原始偏振图像，取每组原始偏振图像中对偏振角度为0
°
的原始偏振图像进行标注，得到像素级标注图像，并作为真实伪装图；步骤1.3、采用分焦平面偏振相机传感器的微偏振阵列分布方式对第n个场景的一组原始偏振图像进行重新组合，得到第n个场景的分焦平面图像DoFP
n
；以第n个场景的分焦平面图像DoFP
n
及其对应的真实伪装图构成一组偏振图像数据；步骤2、构建基于分焦平面偏振成像的伪装目标检测深度卷积神经网络，包含：编码模块、解码模块；步骤2.1、所述编码器用于对第n个场景的分焦平面图像DoFP
n
进行处理，并得到第n个场景的H个增强后特征；步骤2.2、所述解码模块对H个增强后特征进行处理，并输出第n个场景的伪装预测图r
n
；步骤3、训练基于分焦平面偏振成像的伪装目标检测模型；基于N个场景的分焦平面图像及其对应的真实伪装图，利用自适应运动量随机优化方法对所述偏振图像伪装目标检测模型进行训练，并使用加权二元交叉熵损失以及加权IoU损失共同作为模型的损失函数，用于计算伪装预测图和真实伪装图之间的损失，以更新模型参数，直到模型的损失函数收敛为止，从而得到最优双输入网络使用偏振图像的伪装目标检测模型，用于实现对任意待预测的强度图像和偏振图像进行伪装目标检测。2.根据权利要求1所述的一种基于分焦平面偏振成像的伪装目标检测方法，其特征在于，所述步骤2.1中的编码器，包括：偏振信息提取模块、Res2Net50骨干网络以及H个感受野模块，并按照如下步骤进行处理：步骤2.1.1、所述偏振信息提取模块包括：若干个卷积层，且每个卷积层之后均连接有BN层和ReLU激活层；第n个场景的分焦平面图像DoFP
n
经过所述偏振信息提取模块的处理后，得到第n个场景的浅层特征图x
h
,y
h
,c
h
分别表示浅层特征图的高度、宽度和通道数；步骤2.1.2、所述Res2Net骨干网络是由H级残差卷积块构成，其中，第h级残差卷积块由第h级的X层二维卷积层Dconv2d
h
串联而成；其中，第h级的第x层二维卷积层Dconv2d
h，x
依次包括：一个卷积层，一个BN层以及一个ReLU激活函数层组成；当h＝1时，将输入第h级残差卷积模块的X层卷积层Dconv2d
h
中进行处理，输出第f级图像特征图当f＝2,...

【专利技术属性】
技术研发人员：王昕，许俊峰，张钊，高隽，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：