一种基于双梯度的弱监督目标定位方法及装置制造方法及图纸

本发明专利技术提供了一种基于双梯度的弱监督目标定位方法，包括：将图像数据集作为训练集，训练原始深度学习分类模型，得到深度学习模型；图像数据集包括多个图像数据和标注向量，深度学习模型输出卷积特征图、多个类别和每个类别的概率向量；根据类别、概率向量和每个类别的标注向量，计算概率向量与标注向量的交叉熵损失；计算交叉熵损失关于卷积特征图的第一梯度；根据第一梯度对卷积特征图进行信息增强，得到类别信息增强图；计算概率向量关于卷积特征图的第二梯度；根据类别信息增强图和第二梯度，计算定位图；根据定位图和预设的阈值，确定蒙版；根据预设的函数，确定蒙版中的多个连通域；连通域具有边界线；根据边界线，确定目标定位边框。位边框。位边框。

A weak supervised target location method and device based on double gradient

【技术实现步骤摘要】
一种基于双梯度的弱监督目标定位方法及装置


[0001]本专利技术涉及深度学习和计算机视觉
，尤其涉及一种基于双梯度的弱监督目标定位方法及装置。

技术介绍

[0002]视觉是人类获取信息的重要来源，研究表明，人类通过视觉渠道获取80％以上的外界信息。图像是多媒体中的重要信息形式，形象、生动直观地承载着大量的信息，因此研究如何用计算机系统解释图像，实现类似人类视觉系统理解外部世界具有重要意义。其中，目标检测是计算机视觉中的一个基本且重要的问题，目标检测的目的是，给定一张图片，通过计算机系统准确找到目标的位置以及判别目标的类别。目标检测在很多领域都有应用需求，被广为研究的有人脸检测，行人检测，车辆检测等检测任务。
[0003]近年来，深度学习技术迅猛发展，在目标检测领域得到越来越多的关注，克服了很多基于特征的传统目标检测方法。目前基于深度学习的全监督目标检测算法有两大类：基于回归的一级目标(one
‑
stage)检测算法，以及基于候选框的二级目标(two
‑
stage)检测算法。基于候选框的two
‑
stage检测算法分为提取候选框模块和分类模块，具有代表性的算法有区域卷积神经网络(R
‑
CNN，Region Convolutional Neural Network),快速区域卷积神经网络(Faster
‑
RCNN)等方法。基于回归的one
‑
stage检测算法直接通过回归来学习目标的位置及类别，代表的算法有YOLO、(Single Shot MultiBox Detector，SSD)等算法，由于相对于基于候选框的目标检测算法而言基于回归的目标检测算法只有一步，所以大大加快了目标检测的速度。然而上述中的全监督目标检测需要大量且昂贵的边界框标注信息。有标注的数据虽然提升了基于深度学习的目标检测算法的性能，但是也耗费了大量的时间成本和人力成本。现实世界中有巨量的未标注过的数据，无法训练全监督目标检测算法。
[0004]弱监督定位算法不需要昂贵的边界框标注信息，只需要图像级别的类别标签，即可学习到图像中目标的位置信息。因此如何实现高精度的弱监督定位是有很大的研究和应用价值。目前弱监督目标定位研究通过训练一个深度学习分类模型，然后通过最后分类器的特殊类别权值对最后一层卷积特征图进行加权来获取定位图。然而由于分类模型更倾向于识别图像中物体的局部区域，导致无法定位成功。针对这一问题目前已有科研团队进行相应的研究，例如Zhang X,Wei Y,Feng J,et al.Adversarial Complementary Learning for Weakly Supervised Object Localization[J].2018提出了一种基于擦除的弱监督定位方法，该方法利用两个全连接分类器对全卷积网络提取的特征进行分类，其中分类器2所输入的特征已经擦除掉分类器1发现的显著性区域。Zhang X,Wei Y,Kang G,et al.Self
‑
produced Guidance for Weakly
‑
supervised Object Localization[J].2018提出了通过将显著性区域作为种子，再通过中间层特征作为弱监督标签，依靠种子来学习到精确的目标位置。Singh K K,Lee Y J.Hide
‑
and
‑
seek:Forcing a network to be meticulous for weakly
‑
supervised object and action localization[C]//2017 IEEE international conference on computer vision(ICCV).IEEE,2017:3544
‑
3553提出一种基于隐藏据局部
图像的数据增强方式来实现弱监督定位，但是仍然基于缺乏高级引导。授权公告号为CN108764292A的专利技术专利，引入带参可学习池化层来学习目标的特征表达。
[0005]上述现有技术的缺点为：
[0006]1，忽略了损失函数的梯度对卷积层特征的类别信息增强能力；
[0007]2，忽略了类别的梯度对卷积层特征的类别选择能力；
[0008]3，忽略了除最后一层卷积层外其他卷积层特征的目标定位能力，限制了目标位置信息搜索范围；
[0009]4，额外的网络层和数据增强操作需要更多的计算资源以及增加了定位时间；
[0010]5，定位精度低，时间长。

技术实现思路

[0011]本专利技术实施例的目的是提供一种基于双梯度的弱监督目标定位方法及装置，以解决现有技术中存在的问题。
[0012]为解决现有技术中所存在的问题，第一方面，本专利技术提供了一种基于双梯度的弱监督目标定位方法，所述方法包括：
[0013]将图像数据集作为训练集，训练原始深度学习分类模型，得到深度学习模型；所述图像数据集包括多个图像数据和每个图像数据的标注向量，所述深度学习模型输出卷积特征图、多个类别和每个类别的概率向量；
[0014]根据所述类别、概率向量和每个类别的标注向量，计算概率向量与标注向量的交叉熵损失；
[0015]计算所述交叉熵损失关于所述卷积特征图的第一梯度；
[0016]根据第一梯度对所述卷积特征图进行信息增强，得到类别信息增强图；
[0017]计算概率向量关于卷积特征图的第二梯度；
[0018]根据所述类别信息增强图和所述第二梯度，计算定位图；
[0019]根据所述定位图和预设的阈值，确定蒙版；
[0020]根据预设的函数，确定蒙版中的多个连通域；所述连通域具有边界线；
[0021]根据所述边界线，确定目标定位边框。
[0022]在一种可能的实现方式中，所述根据所述类别、概率向量和每个类别的标注向量，计算概率向量与标注向量的交叉熵损失具体包括：
[0023]根据公式计算交叉熵损失函数；其中，L(p，y
c
)表示概率向量与标注向量的交叉熵损失函数，d为类别总数，p为概率向量，y
c
为第c类别的标注向量，表示标注向量y
c
的第k个元素，p
k
表示概率向量p的第k个元素。
[0024]在一种可能的实现方式中，所述计算所述交叉熵损失关于所述卷积特征图的第一梯度具体包括：
[0025]根据公式计算交叉熵损失关于所述卷积特征图的第一梯度；其中，G1为第一梯度，α为增强系数，L(p，α*y
c
)为概率向量p与标注向量y
c
乘以增强系数α的交
叉熵损失函数，S为卷积特征图。
[0026]在一种可能的实现方式中，所述根据第一梯度对所述卷积特征图进行信息增强，得到类别信息增强图具体包括：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双梯度的弱监督目标定位方法，其特征在于，所述方法包括：将图像数据集作为训练集，训练原始深度学习分类模型，得到深度学习模型；所述图像数据集包括多个图像数据和每个图像数据的标注向量，所述深度学习模型输出卷积特征图、多个类别和每个类别的概率向量；根据所述类别、概率向量和每个类别的标注向量，计算概率向量与标注向量的交叉熵损失；计算所述交叉熵损失关于所述卷积特征图的第一梯度；根据第一梯度对所述卷积特征图进行信息增强，得到类别信息增强图；计算概率向量关于卷积特征图的第二梯度；根据所述类别信息增强图和所述第二梯度，计算定位图；根据所述定位图和预设的阈值，确定蒙版；根据预设的函数，确定蒙版中的多个连通域；所述连通域具有边界线；根据所述边界线，确定目标定位边框。2.根据权利要求1所述的方法，其特征在于，所述根据所述类别、概率向量和每个类别的标注向量，计算概率向量与标注向量的交叉熵损失具体包括：根据公式计算交叉熵损失函数；其中，L(p，y
c
)表示概率向量与标注向量的交叉熵损失函数，d为类别总数，p为概率向量，y
c
为第c类别的标注向量，表示标注向量y
c
的第k个元素，p
k
表示概率向量p的第k个元素。3.根据权利要求1所述的方法，其特征在于，计算所述交叉熵损失关于所述卷积特征图的第一梯度具体包括：根据公式计算交叉熵损失关于所述卷积特征图的第一梯度；其中，G1为第一梯度，α为增强系数，L(p，α*y
c
)为概率向量p与标注向量y
c
乘以增强系数α的交叉熵损失函数，S为卷积特征图。4.根据权利要求1所述的方法，其特征在于，所述根据第一梯度对所述卷积特征图进行信息增强，得到类别信息增强图具体包括：根据公式E＝l2(S)
‑
l2(G1)确定类别增强信息图；其中，E为类别增强信息图，l2为l2归一化函数，l2(S)为对卷积特征图S进行归一化，l2(G1)为对第一梯度进行归一化。5.根据权利要求1所述的方法，其特征在于，所述计算概率向量关于卷积特征图的第二梯度具体包括：根据公式计算第二梯度；其中，G2为第二梯度，p
c
为第c类别的概率向量，S为卷积特征图。6.根据权利要求1所述的...

【专利技术属性】
技术研发人员：薛松，罗情平，侯飞，师帅，王曙，徐磊，孟彤，李乾，
申请(专利权)人：中车青岛四方车辆研究所有限公司，
类型：发明
国别省市：