基于结构化代理的深度度量学习方法和装置制造方法及图纸

本发明专利技术提出一种基于结构化代理的深度度量学习方法和装置，其中，方法包括：获取多个样本图像集；提取多个样本图像集中每个样本图像的图像特征向量；根据预设的结构化损失函数对多个样本图像集中所有样本图像的图像特征向量计算，获取计算结果；根据梯度下降算法和计算结果筛选出每个样本图像集中的代理样本图像；根据所有的代理样本图像训练预设的深度卷积网络，并根据训练好的深度卷积网络提取目标图像在度量空间中的目标特征向量，以便于根据目标特征向量确定目标图像与其他图像的相似性。由此，解决了现有深度度量学习技术中构建代理时使用信息不充分的问题。代理时使用信息不充分的问题。代理时使用信息不充分的问题。

【技术实现步骤摘要】
基于结构化代理的深度度量学习方法和装置


[0001]本专利技术涉及计算机视觉与机器学习
，尤其涉及一种基于结构化代理的深度度量学习方法和装置。

技术介绍

[0002]深度度量学习的目标是学习一种高效的距离度量来衡量图片的相似性，使得图片类内距离小于类间距离。目前常用的方法是用深度卷积网络来提取图片的特征向量，然后使用欧氏距离来度量特征向量相似性。深度度量学习在图像聚类、行人识别、房间布局估计和实例分割中都有广泛的应用。深度度量学习中基本的目标是减小同类样本的距离、增大不同类样本的距离。
[0003]相关技术中，直接将同类样本拉近，不同类推远。但是这种方法涉及到多元组的采样问题，可能导致收敛缓慢。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]为此，本专利技术的第一个目的在于提出一种基于结构化代理的深度度量学习方法，以解决了现有深度度量学习技术中构建代理时使用信息不充分的问题。
[0006]本专利技术的第二个目的在于提出一种基于结构化代理的深度度量学习装置。
[0007]本专利技术的第三个目的在于提出一种计算机设备。
[0008]本专利技术的第四个目的在于提出一种非临时性计算机可读存储介质。
[0009]本专利技术的第五个目的在于提出一种计算机程序产品。
[0010]为达上述目的，本专利技术第一方面实施例提出了一种基于结构化代理的深度度量学习方法，包括：获取多个样本图像集，其中，每个所述样本图像集中包括多张同一个类别的样本图像，不同样本图像集的类别不同；提取所述多个样本图像集中每个样本图像的图像特征向量；根据预设的结构化损失函数对所述多个样本图像集中所有样本图像的图像特征向量计算，获取计算结果；根据梯度下降算法和所述计算结果筛选出每个样本图像集中的代理样本图像；根据所有的所述代理样本图像训练预设的深度卷积网络，并根据训练好的深度卷积网络提取目标图像在度量空间中的目标特征向量，以便于根据所述目标特征向量确定目标图像与其他图像的相似性。
[0011]为达上述目的，本专利技术第二方面实施例提出了一种基于结构化代理的深度度量学习装置，包括：获取模块，用于获取多个样本图像集，其中，每个所述样本图像集中包括多张同一个类别的样本图像，不同样本图像集的类别不同；提取模块，用于提取所述多个样本图像集中每个样本图像的图像特征向量；计算模块，用于根据预设的结构化损失函数对所述多个样本图像集中所有样本图像的图像特征向量计算，获取计算结果；筛选模块，用于根据梯度下降算法和所述计算结果筛选出每个样本图像集中的代理样本图像；相似度处理模块，用于根据所有的所述代理样本图像训练预设的深度卷积网络，并根据训练好的深度卷
积网络提取目标图像在度量空间中的目标特征向量，以便于根据所述目标特征向量确定目标图像与其他图像的相似性。
[0012]为达上述目的，本专利技术第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述第一方面实施例所述的基于结构化代理的深度度量学习方法。
[0013]为了实现上述目的，本专利技术第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面实施例所述的基于结构化代理的深度度量学习方法。
[0014]为了实现上述目的，本专利技术第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上述第一方面实施例所述的基于结构化代理的深度度量学习方法。
[0015]本专利技术的实施例，至少具有如下的技术效果：
[0016]一方面，从真实性、代表性和判别性三个方面来评价代理，而现有的方法很难兼顾三者，本专利技术则通过使用结构化损失函数来进行权衡；另一方面，现有方法仅适用小批数据获取代理，不能充分利用全局信息，而本专利技术使用全局数据来获取代理。首先，本专利技术使用深度卷积网络提取图片的特征向量，固定网络参数，使用全部的特征向量求解结构化代理。其次，使用这些代理引导网络参数的学习，得到最终的度量函数。
[0017]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0018]本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0019]图1为本专利技术实施例所提供的一种基于结构化代理的深度度量学习方法的流程示意图；
[0020]图2为本专利技术实施例所提供的一种度量空间的图像特征图像特征向量的示意图；
[0021]图3为本专利技术实施例所提供的另一种基于结构化代理的深度度量学习方法的流程示意图；以及
[0022]图4为本专利技术实施例所提供的一种基于结构化代理的深度度量学习装置的结构示意图。
具体实施方式
[0023]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0024]下面参考附图描述本专利技术实施例的基于结构化代理的深度度量学习方法和装置。
[0025]针对
技术介绍
中所提到的技术问题，相关技术中，采用一些基于代理的方法，通过约束代理与样本间距离，而非样本与样本间距离，增加收敛速度，其中，代理类理解为样本图像中的代理样本图像，代理样本图像通常训练效果较好，作为训练模型的代表。
[0026]目前构建代理的方法主要分为两类：基于采样的方法和基于梯度更新的方法。
[0027]其中，基于采样的方法：传统的度量学习方法直接在训练样本上施加距离限制，相当于直接将采样的样本作为代理。对比损失函数尝试尽可能拉近正样本对，并推远负样本对。三元组损失函数通过对包含锚样本、正样本、负样本的三元组仅施加距离排序的限制来放宽约束条件。最近提出的方法通过使用更复杂结构来构建多元组，同时施加更强的约束。
[0028]样本间的组合会产生数量巨大的多元组，因此采样问题非常重要。对代理的选择能够很大程度上使得方法更具有代表性或者判别性。一种常见的采样策略是难负样本对挖掘，这种方法认为距离较小的负样本对能够提供更充分的信息。为了产生包含信息更充分的样本，一些方法提出通过使用GAN、VAE或者线性差值的方法来合成样本。然而，所有这些方法都是在训练集上随机选择代理，同时仅在小批数据中选择代理，从而不能全面代表样本分布的全局结构。
[0029]基于梯度更新的方法：采样得到的代理能够更多程度上保持数据的真实性，但是分散的训练信号可能导致收敛缓慢。这促使一些方法维护代理集合，在代理和样本间施加约束，并且使用梯度方法进行更新。
[0030]除此之外，对于广泛使用的softmax损失函数以及其变体(SphereFace、Cos本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结构化代理的深度度量学习方法，其特征在于，包括：获取多个样本图像集，其中，每个所述样本图像集中包括多张同一个类别的样本图像，不同样本图像集的类别不同；提取所述多个样本图像集中每个样本图像的图像特征向量；根据预设的结构化损失函数对所述多个样本图像集中所有样本图像的图像特征向量计算，获取计算结果；根据梯度下降算法和所述计算结果筛选出每个样本图像集中的代理样本图像；根据所有的所述代理样本图像训练预设的深度卷积网络，并根据训练好的深度卷积网络提取目标图像在度量空间中的目标特征向量，以便于根据所述目标特征向量确定目标图像与其他图像的相似性。2.如权利要求1所述的方法，其特征在于，不同类别的所述样本图像包含不同的实体。3.如权利要求1所述的方法，其特征在于，所述提取所述多个样本图像集中每个样本图像的图像特征向量，包括：根据预先训练的深度卷积网络，提取所述每个样本图像的128维的图像特征向量。4.如权利要求1所述的方法，其特征在于，所述预设的结构化损失函数，包括:其中，k表示样本图像集对应的类别的数目，P表示全部代理样本的集合，P
k
表示第k类的代理样本集合，|P
k
|是P
k
的数目，P
+
和P
‑
分别表示正负代理样本集合，λ
r
和λ
d
是两个用来权衡真实性、代表性和判别性的超参数，x
i
表示真实样本，s(
·
，
·
)表示相似度函数，特别地，对于使用欧氏距离的情况，其中f(
·
)为含参数θ的变换。5.如权利要求1所述的方法，其特征在于，所述根据梯度下降算法和所述计算结果筛选出每个样本图像集中的代理样本图像，包括：根据所述预设的一般损失函数和当前计算得到的代理样本集合P更新模型参数θ，从而...

【专利技术属性】
技术研发人员：周杰，鲁继文，郑文钊，张博睿，
申请(专利权)人：清华大学，
类型：发明
国别省市：