一种多层级特征融合的弱监督检测方法技术

本发明专利技术提供一种多层级特征融合的弱监督检测方法，包括：获取待分析图片；将待分析图片，输入预设的目标分类模块中，获取目标分类模块中Layer1层、Layer2层、Layer3层和Layer4层的特征图；基于Layer1层、Layer2层、Layer3层和Layer4层的特征图，生成对应的类激活图；将Layer1层、Layer2层、Layer3层的类激活图融合，形成前景区域；基于前景区域与Layer4层的类激活图，对待分析图片中的目标进行定位。本发明专利技术的多层级特征融合的弱监督检测方法，通过采用坐标注意力机制对Resnet50主干网络进行改进，用以捕获目标的关键特征，在提高模型对目标细粒度分类性能的同时，为目标定位器提供计算依据。据。据。

【技术实现步骤摘要】
一种多层级特征融合的弱监督检测方法


[0001]本专利技术涉及人工智能
，特别涉及一种多层级特征融合的弱监督检测方法。

技术介绍

[0002]近年来，随着航空业的快速发展和空中航线的不断增多，飞行器与鸟类对空域的争夺愈发激烈，世界各地鸟击事故发生概率成明显上升趋势，造成了严重的生命及财产损失。面对鸟击防范的严峻形势，国内外机场开展了广泛深入的鸟情调研，采取了多种鸟击防范措施，配备了探鸟雷达、煤气炮、超声波和激光驱鸟器等多种驱鸟设备。然而，在机场驱鸟的过程中，探鸟雷达难以获取鸟类的种类信息，通常是采用人工瞭望的方式对低空存在的鸟类进行辨识，存在检测效率低和人工成本高的问题，使得机场无法对鸟类采取有针对性的驱鸟策略，导致鸟类容易对驱鸟设备产生耐受性，降低设备的驱鸟效果。为此，使用基于视觉目标检测的方法对机场鸟类进行检测，向地面工作人员提供鸟类的种类和位置信息，这对改善现有驱鸟模式，保障民航飞机的飞行安全具有重要意义。
[0003]机场以鸟类为目标检测是一项具有挑战性的视觉任务，需要对机场低空中的鸟类进行细粒度的识别与定位，对模型检测的精度和效率都有较高的要求。一般来说，机场鸟类检测面临着如下三个困难：
[0004](1)同一鸟类在活动过程中具有不同的运动姿态，不同鸟类之间有着相似的外观和形态，存在着类内差异大、类间差异小的特点。
[0005](2)鸟类图像的采集和标注较为困难，需要专家级知识，具有一定的行业门槛，而小的数据量容易造成网络过拟合的问题。
[0006](3)鸟类栖息的环境比较复杂，受背景噪声的影响严重，增加了鸟类检测任务的难度。

技术实现思路

[0007]本专利技术目的之一在于提供了一种多层级特征融合的弱监督检测方法，通过采用坐标注意力机制对Resnet50主干网络进行改进，用以捕获目标的关键特征，在提高模型对目标细粒度分类性能的同时，为目标定位器提供计算依据。在弱监督定位任务中，以目标分类器对目标的类别的预测分值作为反向传播的起点，利用对比层级相关性传播规则获取网络浅层、中间层和深层特征图中每个位置对网络决策的贡献，再使用类激活映射算法以热力图的形式突出显示网络在目标图像提取的重要特征，并进行融合生成高分辨率类激活图，用于指示目标的轮廓和空间位置，准确、高效的完成目标的定位任务。为机场地面工作人员提供目标的种类和位置信息，从而采取有针对性的驱鸟策略，改善机场现有的驱鸟模式。
[0008]本专利技术实施例提供的一种多层级特征融合的弱监督检测方法，包括：
[0009]获取待分析图片；
[0010]将待分析图片，输入预设的目标分类模块中，获取目标分类模块中Layer1层、
Layer2层、Layer3层和Layer4层的特征图；
[0011]基于Layer1层、Layer2层、Layer3层和Layer4层的特征图，生成对应的类激活图；
[0012]将Layer1层、Layer2层、Layer3层的类激活图融合，形成前景区域；
[0013]基于前景区域与Layer4层的类激活图，对待分析图片中的目标进行定位。
[0014]优选的，目标分类模块，包括：
[0015]采用Resnet50网络作为主干；
[0016]在池化层对给定的输入按水平坐标和垂直坐标对每个通道进行编码，得到方向感知特征图，对坐标信息进行嵌入；
[0017]将提取的方向信息进行拼接，利用1
×
1卷积对信息进行转化，再沿着空间维度分解为两个单独的张量，并使用1
×
1卷积使其具有相同的通道数，生成坐标信息掩码作为注意力权重，
[0018]将注意力权重与输入向量进行逐像素的乘法作为输出结果。
[0019]优选的，目标分类模块事先采用数据集进行训练收敛获得；
[0020]其中，数据集通过如下步骤构建：
[0021]根据机场附近常见的目标的种类，使用目标类别标签及边框注释制作数据集。
[0022]优选的，目标分类模块在训练时，采用联合损失函数指导训练；
[0023]联合损失函数如下：
[0024]L＝L
ce
+λL
bp
；
[0025]式中，L表示联合损失函数；L
ce
表示交叉熵损失函数；L
bp
表示感知损失函数；λ表示预设的控制感知损失函数权重的超参数；
[0026]感知损失函数如下：
[0027][0028]式中，N表示图片样本的数量；M
FA
表示类激活图融合过程中的类激活掩码；M
HR
表示目标分类模块最后一层卷积层所有特征相应生成的激活掩码；
[0029]交叉熵损失函数如下：
[0030][0031]式中，g标示类别；G表示类别总数；u
jg
表示符号函数，当图片样本j的真实类别等于g，u
jg
＝1；否则，u
jg
＝0；v
jg
表示图片样本j属于类别g的概率。
[0032]优选的，基于Layer1层的特征图，生成对应的类激活图，包括：
[0033]类激活图的计算步骤如下：
[0034][0035][0036]式中，表示Layer1层的特征图对应的类激活图；A
k
表示Layer1层的第k个特征
图；表示利用对比层级相关性传播理论反向传递获取的Layer1层的第k个特征图中位置(x,y)关于目标类别c的贡献，表示Layer1层的第k个特征图A
k
关于目标类别c的通道级权重。
[0037]优选的，利用对比层级相关性传播理论反向传递获取的Layer1层的第k个特征图中位置(x,y)关于目标类别c的贡献，包括：
[0038]利用对比层级相关性传播获取特征图中每个位置对目标分类决策的贡献；
[0039]其中，对比层级相关性传播，包括：
[0040]初始化softmax操作前的网络输出值用于区分目标类别神经元和非目标类别神经元的比例，并作为对比层级相关性反向传播的起点，所述初始化函数计算步骤如下：
[0041][0042]式中，表示Softmax操作之前第l层中第i个神经元对应的分值，P表示第l层中神经元的总个数；
[0043]在对比层级相关性反向传递阶段，从网络的输出层一直分解到输入空间的每个变量上，从而度量每个变量和网络决策之间的相关性分数；
[0044]常用的层级相关性传播规则是z
+
和z
β
规则，其定义如下所示：
[0045][0046][0047]式中，和分别表示连接第l和第l+1层神经元的正、负权值；[U,V]表示神经元激活值的取值区间。
[0048]优选的，在确定相关性分数时，还对其进行标准化，将相关性分数的取值固定在区间[0～1]之间；标准化计算公式如下：
[0049]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多层级特征融合的弱监督检测方法，其特征在于，包括：获取待分析图片；将所述待分析图片，输入预设的目标分类模块中，获取所述目标分类模块中Layer1层、Layer2层、Layer3层和Layer4层的特征图；基于所述Layer1层、Layer2层、Layer3层和Layer4层的特征图，生成对应的类激活图；将所述Layer1层、Layer2层、Layer3层的类激活图融合，形成前景区域；基于所述前景区域与所述Layer4层的类激活图，对所述待分析图片中的目标进行定位。2.如权利要求1所述的多层级特征融合的弱监督检测方法，其特征在于，所述目标分类模块，包括：采用Resnet50网络作为主干；在池化层对给定的输入按水平坐标和垂直坐标对每个通道进行编码，得到方向感知特征图，对坐标信息进行嵌入；将提取的方向信息进行拼接，利用1
×
1卷积对信息进行转化，再沿着空间维度分解为两个单独的张量，并使用1
×
1卷积使其具有相同的通道数，生成坐标信息掩码作为注意力权重，将注意力权重与输入向量进行逐像素的乘法作为输出结果。3.如权利要求1所述的多层级特征融合的弱监督检测方法，其特征在于，所述目标分类模块事先采用数据集进行训练收敛获得；其中，所述数据集通过如下步骤构建：根据机场附近常见的目标的种类，使用目标类别标签及边框注释制作数据集。4.如权利要求1所述的多层级特征融合的弱监督检测方法，其特征在于，所述目标分类模块在训练时，采用联合损失函数指导训练；所述联合损失函数如下：L＝L
ce
+λL
bp
；式中，L表示所述联合损失函数；L
ce
表示交叉熵损失函数；L
bp
表示感知损失函数；λ表示预设的控制感知损失函数权重的超参数；所述感知损失函数如下：式中，N表示图片样本的数量；M
FA
表示类激活图融合过程中的类激活掩码；M
HR
表示目标分类模块最后一层卷积层所有特征相应生成的激活掩码；所述交叉熵损失函数如下：式中，g标示类别；G表示类别总数；u
jg
表示符号函数，当图片样本j的真实类别等于g，u
jg
＝1；否则，u
jg
＝0；v
jg
表示图片样本j属于类别g的概率。5.如权利要求1所述的多层级特征融合的弱监督检测方法，其特征在于，基于所述Layer1层的特征图，生成对应的类激活图，包括：
所述类激活图的计算步骤如下：所述类激活图的计算步骤如下：式中，表示Layer1层的特征图对应的类激活图；A
k
表示Layer1层的第k个特征图；表示利用对比层级相关性传播理论反向传递获取的Layer1层的第k个特征图中位置(x,y)关于目标类别c的贡献，表示Layer1层的第k个特征图A
k
关于目标类别c的通道级权重。6.如权利要求5所述的多层级特征融合的弱监督检测方法，其特征在于，利用对比层级相关性传播理论反向传递获取的Layer1层的第k个特征图中位置(x,y)关于目标类别c的贡献，包括：利用对比层级相关性传播获取特征图中每个位置对目标分类决策的贡献；其中，对比层级相关性传播，包括：初始化softmax操作前的网络输出值用于区分目标类别神经元和非目标类别神经元的比例，并作为对比层级相关性反向传播的起点，所述初始化函数计算步骤如下：式中，表示Softmax操作之前第l层中第i个神经元对应的分值，P表示第l层中神经元的总个数；在对比层级相关性反向传递阶段，从网络的输出层一直分解到输入空间的每个变量上，从而度量每个变量和网络决策之间的相关性分数；常用的层级相关性传播规则是z
+
和z
β
规则，其定义如下所示：规则，其定义如下所示：式中，和分别表示连接第...

【专利技术属性】
技术研发人员：孙辉，史玉龙，王蕊，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：