一种基于金字塔渐进擦除学习的自步学习排序方法技术

本发明专利技术公开了一种基于金字塔渐进擦除学习的自步学习排序方法，其包括粗金字塔网络和细金字塔网络，在粗金字塔网络中，提出金字塔对抗擦除机制，该机制逐层擦除和融合不同尺度的目标，鼓励网络发现完整的目标，以此在最后的定位图中分割出初始的目标区域；对初始目标区域进行掩码操作，提出相关得分，用于目标区域的伪标注标签；在细金字塔网络中，将初始目标区域及其伪标签用于训练，提出掩码兴趣区域网络层，该网络层可以保留输入大小的同时仅仅保留兴趣区域，最后使用金字塔对抗机制以细化更准确的目标边界，本发明专利技术有效减少了弱监督目标定位过程中对于大量精细位置注释的依赖，消耗资源较少，网络训练更稳定，应用广泛。应用广泛。应用广泛。

【技术实现步骤摘要】
一种基于金字塔渐进擦除学习的自步学习排序方法


[0001]本专利技术涉及.计算机视觉
，尤其是涉及一种基于金字塔渐进擦除学习的自步学习排序方法。

技术介绍

[0002]目标定位是计算机视觉领域一个重要的组成部分，它旨在识别场景中不同目标的位置。作为许多高级视觉任务的前提，目标定位可以应用于很多实际场景，例如视频智能监控，图像检索，机器人导航，无人机巡航，增强现实等。随着深度学习技术在计算机视觉领域的大规模应用，目标定位已经取得了巨大的突破，在识别准确度，定位准确度上已经可以应用于很多实际应用，随着大量研究人员的大投入研究，针对目标定位的研究成果层出不穷，是计算机视觉领域十分重要的研究课题。
[0003]然而，目前最先进的目标定位模型都需要大量人工标注的精细位置注释，这种位置注释需要大量人力物力来获取，意味着只有获取大量精细标注才有可能训练能够实际应用的模型。毫无疑问，这种完全监督的方式严重影响了目标定位算法的实际应用。因为在现实场景中，精细的位置注释往往难以获得，大部分获取的数据仅仅只有图像级标签，有些位置标签也存在缺失严重的情况，并且在人为的位置注释下也很容易引入人工误差影响实际模型训练。为了解决这个问题，仅仅利用图像级标签训练目标定位的弱监督算法开始成为很多研究者重点关注的热点，受到越来越多的关注。
[0004]目前，弱监督目标定位主流的方法是多实例学习(Multiple Instances Learning,MIL),这种方法通过将实例看做一个个实例，通过迭代的方式挑选置信度最高的实例。这种多实例学习方式容易引入噪声，在训练中容易陷入局部最小值。尽管已经有很多方法改进这些问题，现有的方法与全监督的方式仍然有较大差距。
[0005]类激活映射(ClassActivation Mappings,CAM)从一个新的角度提出了弱监督目标定位的新方法，直接利用了卷积网络分类器学习到的具有辨别力的特征进行目标定位。随后，在类激活映射的基础上，Wei等人通过训练一个额外的分类网络实现了对抗擦除，通过将已经擦除部分辨别力特征的图片训练另一个分支网络，然后将多个分支的定位图融合从而定位完整的目标。然而这种方法必须花费更多的训练时间和计算资源来训练几个独立的网络以获得完整的目标区域。考虑到这些问题，Zhang等人提出了一种新颖的对抗互补学习方法(Adversarial Complementary Learning，ACoL)以端到端的弱监督训练了一个精确的目标定位网络用于发现完整的语义目标。然而，这种方法仍然需要训练额外的分类器。为了实现更有效的对抗擦除学习，Choe等人又提出了ADL(Attention
‑
based Dropout Layer)层，一种轻量级但功能强大的方法，该方法利用自我注意机制来擦除对象的最有区别的部分。本专利技术在上述基础上，充分考虑上述方法的优缺点，提出基于自步对抗学习的弱监督目标定位方法，可以实现效果良好的目标定位网络。

技术实现思路

[0006]为解决上述问题，本专利技术提出了一种基于金字塔渐进擦除学习的自步学习排序方法，用于克服上述弱监督目标定位问题的多种或至少解决部分上述问题。
[0007]本专利技术所采用的技术方案是：一种基于金字塔渐进擦除学习的自步学习排序方法，包括一种基于金字塔渐进擦除学习的自步学习排序方法，其特征在于，所述自步学习排序方法包括如下步骤：
[0008]S1：提出定位网络，所述定位网络包括两个子网络，分别为粗金字塔网络和细金字塔网络；
[0009]S2：在S1中的所述粗金字塔网络中，提出金字塔对抗擦除机制，所述金字塔对抗擦除机制用于逐层擦除和融合不同尺度的目标，并鼓励所述粗金字塔网络发现完整的目标，以此在最后的定位图中分割出初始目标区域；
[0010]S3：对S2中的所述初始目标区域进行掩码操作，提出相关得分，用于对初始目标区域的伪标注标签；
[0011]S4：在S1中的所述细金字塔网络中，将S3中的所述初始目标区域及其伪标注标签用于训练，并提出掩码兴趣区域网络层，所述掩码兴趣区域网络层可以在保留输入大小的同时仅仅保留兴趣区域；
[0012]S5：使用金字塔对抗机制以细化更准确的目标边界，结束。
[0013]优选的，所述S2中的金字塔对抗擦除机制定义为：在以ResNet50为基本架构的网络中，逐步擦除四种尺寸的特征图，所述特征图的尺寸包括{56
×
56,28
×
28,14
×
14,7
×
7},进而将所述金字塔对抗擦除机制重新定义为AE step{1,2,3,4},在每一个AE step中，包括如下步骤：
[0014]步骤一：定义每个AE step i开始的第一层为最后一层为
[0015]步骤二：将和归一化到[0,1]，其输出定义为和
[0016]步骤三：在中，将最具辨别力的部分定义为特征图一系列像素点的值大于给定阈值δ的部分，通过将其像素值置为0，从而擦除中最具辨别力的部分；
[0017]步骤四：单纯地擦除无法鼓励网络发现目标的不同部分，因此，使用跳远连接(skip connection)对擦除前和擦除后的相同大小的层进行特征融合，
[0018]步骤五：令表示融合过的层，其计算方式为对和逐元素求最大值，如下式所示：
[0019]优选的，所述S2中，在最后的定位图中分割出初始目标区域的操作步骤如下：
[0020]步骤一：获取最后一层的融合定位图；
[0021]步骤二：调整定位图与原始图片一样的大小；
[0022]步骤三：使用固定的阈值分割前景和背景，用于产生相应的预测回归框用于定位；
[0023]步骤四：寻找覆盖前景像素中最大连接区域的边界框；
[0024]步骤五：生成对应的回归框。
[0025]优选的，所述S4中，使用对抗多标签损失函数对初始目标区域及其伪标注标签进行训练，所述对抗多标签损失函数定义如下：
[0026]假设训练集包含N张图片，需要识别的目标有K类，将训练集表述为其中I表示表示相应图片，L表示相应图片的标签，其可以形式化为为K维向量L＝[l1,l2,...,l
K
]T
，这里每个l用1或者0表示是否相应的目标是否在图片中出现，网络的最后输出添加了一个对抗分支，对应添加了一个对抗标签如下述公式：
[0027][0028]这里每个L显示是否图片包括相应的目标，同样的是，每个L
a
表示是否图片不包含相应的目标。为了计算最后的损失，对于输入的图片I，前向计算获取最后的两个K维向量输出P(I)以及P
a
(I)，两个输出均通过sigmoid函数实现了概率化处理，P(I)和P
a
(I)分别表示每个目标出现的概率和每个目标不会出现的概率，对于某一张输入图片，对于第i类的损失可以定义为下式：
[0029][0030]总损失通过对所有训练样例以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于金字塔渐进擦除学习的自步学习排序方法，其特征在于，所述自步学习排序方法包括如下步骤：S1：提出定位网络，所述定位网络包括两个子网络，分别为粗金字塔网络和细金字塔网络；S2：在S1中的所述粗金字塔网络中，提出金字塔对抗擦除机制，所述金字塔对抗擦除机制用于逐层擦除和融合不同尺度的目标，并鼓励所述粗金字塔网络发现完整的目标，以此在最后的定位图中分割出初始目标区域；S3：对S2中的所述初始目标区域进行掩码操作，提出相关得分，用于对初始目标区域的伪标注标签；S4：在S1中的所述细金字塔网络中，将S3中的所述初始目标区域及其伪标注标签用于训练，并提出掩码兴趣区域网络层，所述掩码兴趣区域网络层可以在保留输入大小的同时仅仅保留兴趣区域；S5：使用金字塔对抗机制以细化更准确的目标边界，结束。2.根据权利要求1所述的一种基于金字塔渐进擦除学习的自步学习排序方法，其特征在于，所述S2中的金字塔对抗擦除机制定义为：在以ResNet50为基本架构的网络中，逐步擦除四种尺寸的特征图，所述特征图的尺寸包括{56
×
56,28
×
28,14
×
14,7
×
7},进而将所述金字塔对抗擦除机制重新定义为AE step{1,2,3,4},在每一个AE step中，包括如下步骤：步骤一：定义每个AE step i开始的第一层为最后一层为步骤二：将和归一化到[0,1]，其输出定义为和步骤三：在中，将最具辨别力的部分定义为特征图一系列像素点的值大于给定阈值δ的部分，通过将其像素值置为0，从而擦除中最具辨别力的部分；步骤四：单纯地擦除无法鼓励网络发现目标的不同部分，因此，使用跳远连接(skip connection)对擦除前和擦除后的相同大小的层进行特征融合，步骤五：令表示融合过的层，其计算方式为对和逐元素求最大值，如下式所示：3.根据权利要求1所述的一种基于金字塔渐进擦除学习的自步学习排序方法，其特征在于，所述S2中，在最后的定位图中分割出初始目标区域的操作步骤如下：步骤一：获取最后一层的融合定位图；步骤二：调整定位图与原始图片一样的大小；步骤三：使用固定的阈值分割前景和背景，用于产生相应的预测回归框用于定位；步骤四：寻找覆盖前景像素中最大连接区域的边界框；步骤五：生成对应的回归框。4.根据权利要求1所述的一种基于金字塔渐进擦除学习的自步学习排序方法，其特征在于，所述S4中，使用对抗多标签损失函数对初始目标区域及其伪标注标签进行训练，所述对抗多标签损失函数定义如下：假设训练集包含N张图片，需要识别的目...

【专利技术属性】
技术研发人员：琚小明，
申请(专利权)人：浙江捷瑞电力科技有限公司，
类型：发明
国别省市：