基于相关学习的图传播的弱监督细粒度图像分类算法制造技术

本发明专利技术属于计算机视觉技术领域，一种基于相关学习的图传播的弱监督细粒度图像分类算法。在判别区域定位阶段，提出了一个交叉图传播子网络以学习区域相关性，该方法建立区域之间的相关性，然后通过交叉加权其他区域的方法来增强每个区域。通过这种方式，每个区域的表示是同时对全局图像级上下文和局部空间上下文进行的编码，因此可以指导网络隐式发现对于WFGIC更有力的判别性区域组。在判别性特征表示阶段，提出了相关特征加强子网络，以探索判别性patch的特征向量间的内部语义相关性，通过迭代增强信息元素同时抑制无用元素来提高其判别能力。

A weakly supervised fine-grained image classification algorithm based on graph propagation based on correlation learning

【技术实现步骤摘要】
基于相关学习的图传播的弱监督细粒度图像分类算法
本专利技术属于计算机视觉
，以提高细粒度图像分类准确性和效率为出发点，提出基于相关学习的图传播的弱监督细粒度图像分类算法。
技术介绍
作为一个新兴的研究主题，弱监督细粒度图像分类(WFGIC)专注于判别性细微差异，其仅使用图像级标签来区分子类别的对象。由于同一子类别中的图像之间的差异细微，拥有几乎相同的整体几何形状和外观，因此区分细粒度图像仍然是一项艰巨的任务。在WFGIC中，学习如何从细粒度图像中定位判别性部分起着关键作用。最近的工作可以分为两组。第一组是基于启发式方案来定位判别性部分。启发式方案的局限性在于，它们很难保证所选区域具有足够的判别性。第二类是通过学习机制进行的端到端本地化分类方法。但是，所有先前的工作都试图独立地定位判别性区域/patch，而忽略了区域的局部空间上下文以及区域之间的相关性。利用局部空间上下文可以提高区域的判别能力，而且挖掘区域之间的相关性比单个区域更具判别性。这启发将区域的局部空间上下文和区域之间的相关性纳入判别性patch选择中。为此，提出了一个交叉图传播(CGP)子网络，以学习区域之间的相关性。具体而言，CGP以交叉方式迭代计算区域之间的相关性，然后通过对其他区域进行相关权重加权来增强每个区域。通过这种方式，每个区域的特征都是对全局图像级上下文进行编码，即整个图像中聚合区域和其他区域之间的所有相关性，以及局部空间上下文，即该区域越靠近聚合区域，交叉图传播期间的聚合频率越高。在CGP中通过学习各区域之间的相关性，可以指导网络隐式发现对WFGIC更有效的判别性区域组。图l显示了的动机，当独立考虑每个区域时，可以看到得分图(图l(b))突出显示了头部区域，而得分图(图l(d))在交错图传播的多次迭代之后加强了最具判别性的区域，这有助于对判别性区域组(头部和尾部区域)进行精确定位。判别性特征表示对于WFGIC起到了另一个关键作用。最近，一些端到端网络通过编码卷积特征向量为高阶信息来增强特征表示的判别能力。这些方法之所以有效，是因为它们对对象平移和姿势变化具有不变性，这得益于特征的无序聚合方式。这些特征编码方法的局限性在于它们忽略了局部判别特征对WFGIC的重要性。因此，某些方法结合了局部判别特征，以通过合并选定的区域特征向量来提高特征判别能力。但是，值得注意的是，所有先前的工作都忽略了判别性区域特征向量之间的内部语义相关性。此外，还有一些噪声上下文，例如图1(c)(e)中的选择判别性区域内的背景区域。这样的背景信息或是含有很少判别性的信息可能对WFGIC有害，因为所有子类别都具有相似的背景信息(例如，鸟类通常栖息在树上或在天空中飞翔)。基于以上直观但重要的观察和分析，提出了一个相关特征增强(CFS)子网络，以探索区域特征向量之间的内部语义相关性，以获得更好的判别能力。的做法是通过用选择区域的特征向量来构造图，然后在CFS中联合学习特征向量节点之间的相互依赖性，来指导判别信息的传播。图l(g)和(f)是有无CFS学习的特征向量。
技术实现思路
本专利技术提出了一个基于相关学习的图传播的弱监督细粒度图像分类算法，以充分挖掘和利用WFGIC的相关性的判别潜力。在CUB-200-2011和Cars-196数据集上的实验结果表明，提出的模型是有效的，并且达到了最佳水平。本专利技术的技术方案如下：一种基于相关学习的图传播的弱监督细粒度图像分类算法，包括四个方面：(1)交叉图传播(CGP)CGP模块的图传播过程包括两个阶段：第一阶段是CGP学习每两个区域之间的相关权重系数(即相邻矩阵计算)。在第二阶段，该模型通过交叉加权求和运算组合其相邻区域的信息，以寻找真正的判别性区域(即图更新)。具体来说，通过计算整个图像中每两个区域之间的相关性，将全局图像级上下文集成到CGP中，并通过迭代的交叉聚合操作对局部空间上下文信息进行编码。给定输入特征图Mo∈RC×H×W，其中W，H，C分别是特征图的宽，高和通道数，将它输入到CGP模块F：Ms＝F(Mo)，(1)其中F由节点表示，相邻矩阵计算和图更新组成。Ms∈RC×H×W是输出特征图。节点表示：节点表示是通过简单的卷积运算f来生成的：MG＝f(WT·Mo+bT)，(2)其中WT∈RC×1×1×C和bT分别是学习的权重参数和卷积层的偏差向量。MG∈RC×H×W表示节点特征图。具体来说，将1×1卷积核视为小区域检测器。在MG的固定空间位置上的通道的每个VT∈RC×1×1向量代表图像对应位置上的一个小区域。使用生成的小区域作为节点表示。值得注意，WT是随机初始化的，并且初始的三个节点特征图是通过三种不同的f计算获得的：相邻矩阵计算：在特征图中获得带有C维向量的W×H个节点后，构造了一个相关图以计算节点之间的语义相关性。相关图的相邻矩阵中的每个元素反映节点之间的相关强度。具体地，通过在两个特征图和之间计算节点向量内积来获得相邻矩阵。让以相邻矩阵中两个位置的一个关联为例。中的p1和中的p2的两个位置的相关性定义如下：其中和分别代表p1和p2的节点表示向量。请注意，p1和p2必须满足特定的空间限制，即p2只能位于p1的同一行或同一列(即交叉的位置)上。然后获得了中每个节点的W+H-1相关值。具体而言，组织通道中的相对位移，并获得输出相关矩阵Mc∈RK×H×W，其中K＝W+H-1。然后Mc通过softmax层以生成相邻矩阵R∈RK×H×W：其中Rijk是第i行，第j列和第k个通道的相关权重系数。在向前传播的过程中，区域越有判别性，它们之间的相关性就越大。在反向传播中，针对节点向量的每个blob实施导数。当分类的概率值较低时，惩罚将会被反向传播以降低两个节点的相关权重，并且将同时更新通过节点表示生成操作计算出的节点向量。图更新：将由节点表示生成阶段生成的和相邻矩阵R馈入更新操作：其中是中第w行第h列的节点，(w，h)在集合[(i，1)，...，(i，H)，(1，j)，...，(W，j)]中。节点可以通过在其垂直和水平方向具有相应的相关权重系数Rijk来更新。与ResNet类似，采用残差学习：Ms＝α·MU+MO(6)其中,α是自适应权重参数，它逐渐学习为判别性相关特征分配更多权重。它的范围是[0，1]，并初始化为接近0。这样，Ms会汇总相关特征和原始输入特征以挑选出更多判别性patch。然后，将Ms作为新输入输入到CGP的下一个迭代中。在多次图传播之后，每个节点可以以不同频率聚合所有区域，从而间接学习全局相关性，并且该区域越靠近聚合区域，则在图传播过程中聚合频率越高，这反映了局部空间上下文信息。(2)判别性patch的采样在这项工作中，根据目标检测中特征金字塔网络(FPN)的启发，从三个不同尺度的特征图生成默认patch。该设计可以使网络负责不同大小的判别性区域。在获得聚合了相关特征和原始输入特征的残差特征图Ms后，将其馈入判别式响应层。具体本文档来自技高网...

【技术保护点】
1.一种基于相关学习的图传播的弱监督细粒度图像分类算法，其特征在于下面四个方面：/n(1)交叉图传播CGP/nCGP模块的图传播过程包括两个阶段：第一阶段是CGP学习每两个区域之间的相关权重系数；第二阶段，该模型通过交叉加权求和运算组合其相邻区域的信息，以寻找真正的判别性区域；通过计算整个图像中每两个区域之间的相关性，将全局图像级上下文集成到CGP中，并通过迭代的交叉聚合操作对局部空间上下文信息进行编码；/n给定输入特征图M

【技术特征摘要】
1.一种基于相关学习的图传播的弱监督细粒度图像分类算法，其特征在于下面四个方面：
(1)交叉图传播CGP
CGP模块的图传播过程包括两个阶段：第一阶段是CGP学习每两个区域之间的相关权重系数；第二阶段，该模型通过交叉加权求和运算组合其相邻区域的信息，以寻找真正的判别性区域；通过计算整个图像中每两个区域之间的相关性，将全局图像级上下文集成到CGP中，并通过迭代的交叉聚合操作对局部空间上下文信息进行编码；
给定输入特征图Mo∈RC×H×W，其中W，H，C分别是特征图的宽，高和通道数，将它输入到CGP模块F：
Ms＝F(Mo)，(1)
其中F由节点表示，相邻矩阵计算和图更新组成；Ms∈RC×H×W是输出特征图；节点表示：节点表示是通过简单的卷积运算f来生成的：
MG＝f(WT·Mo+bT)，(2)
其中WT∈RC×1×1×C和bT分别是学习的权重参数和卷积层的偏差向量；MG∈RC×H×W表示节点特征图；具体来说，我们将1×1卷积核视为小区域检测器；在MG的固定空间位置上的通道的每个VT∈RC×1×1向量代表图像对应位置上的一个小区域；使用生成的小区域作为节点表示；值得注意，WT是随机初始化的，并且初始的三个节点特征图是通过三种不同的f计算获得的：
相邻矩阵计算：在特征图中获得带有C维向量的W×H个节点后，构造了一个相关图以计算节点之间的语义相关性；相关图的相邻矩阵中的每个元素反映节点之间的相关强度；通过在两个特征图和之间计算节点向量内积来获得相邻矩阵；
以相邻矩阵中两个位置的一个关联为例；中的p1和中的p2的两个位置的相关性定义如下：



其中和分别代表p1和p2的节点表示向量；p1和p2必须满足特定的空间限制，即p2只能位于p1的同一行或同一列上；然后我们获得了中每个节点的W+H-1相关值；组织通道中的相对位移，并获得输出相关矩阵Mc∈RK×H×W，其中K＝W+H-1；然后Mc通过softmax层以生成相邻矩阵R∈RK×H×W：



其中Rijk是第i行，第j列和第k个通道的相关权重系数；
图更新：将由节点表示生成阶段生成的和相邻矩阵R馈入更新操作：



其中是中第w行第h列的节点，(w，h)在集合[(i，1)，...，(i，H)，(1，j)，...，(W，j)]中；节点通过在其垂直和水平方向具有相应的相关权重系数Rijk来更新；
与ResNet类似，采用残差学习：
Ms＝α·MU+MO(6)
其中，α是自适应权重参数，它逐渐学习为判别性相关特征分配更多权重；它的范围是[0，1]，并初始化为接近0；Ms会汇总相关特征和原始输入特征以挑选出更多判别性patch；将Ms作为新输入输入到CGP的下一个迭代中；
(2)判别性patch的采样
根据目标检测中特征金字塔网络的启发，从三个不同尺度的特征图生成默认patch；
在获得聚合了相关特征和原始输入特征的残差特征图Ms后，将其馈入判别式响应层...

【专利技术属性】
技术研发人员：王智慧，王世杰，李豪杰，唐涛，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21