自适应样本合成的深度度量学习及装置制造方法及图纸

本发明专利技术公开了一种自适应样本合成的深度度量学习方法及装置，其中，该方法包括以下步骤：从训练集中提取出图像的深度特征，并生成样本多元组；通过线性插值自适应调整样本难度；通过生成器生成保持难度的样本；根据保持难度的样本获取生成难样本在度量空间下的表示信息，同时训练整个网络，以获取图片在度量空间下的表示信息。该方法使用生成器，将原始的样本特征转化为对度量的训练有信息的特征，并控制生成样本的难度自适应地训练度量网络，进而可以整合多数深度度量学习模型中的自适应生成器模块，实现对深度度量学习方法性能的提高。

【技术实现步骤摘要】
自适应样本合成的深度度量学习及装置
本专利技术涉及计算机视觉与机器学习
，特别涉及一种自适应样本合成的深度度量学习方法及装置。
技术介绍
度量学习在计算机视觉中具有重要的地位。图像中传递的语义信息一般通过特征向量来表达，但特征向量之间的距离通常不能很好地反映图像之间的真实语义距离，而大量任务如图像检索、人脸验证等都依赖于对图像相似性的度量。因此，如何学习出一个准确、鲁棒的距离度量是一个极为关键的问题。相关技术中的度量学习主要分为两类：线性及非线性度量的学习。传统的线性度量学习方法主要通过学习出一个马氏距离来衡量样本之间的度量，如LMNN(Largemarginnearestneighbor，大间隔最近邻居)、ITML(InformationTheoryMetricLearning，信息理论学习)；而非线性的度量学习方法则通过核方法或神经网络方法来对更高阶的关系进行建模。从另一方面，度量学习方法又可以分为非监督与监督两类。非监督的度量学习主要希望学习一个从高维到低维的映射，而使得在低维空间中尽可能地保留高维中样本之间的距离信息。而监督的度量学习则主要基于一个目标，即最大化类间距离以及最小化类内距离。不同的监督度量学习方法，基本上都是对该目标的不同刻画与建模。随着深度神经网络在图像识别上取得了巨大的成功，度量学习目前的主要研究方法也转向深度网络。大多数深度度量学习方法也被看作深度嵌入学习，它们利用深度神经网络构建从图像空间到嵌入空间的映射，使得该空间中的欧几里德距离能够反映图像数据的真实语义距离。深度度量学习的大致框架与主要步骤如下：1)设计深度网络模型，将图片或视频提转化为特征与其嵌入；2)从训练集中构建出多个样本多元组等；3)通过最小化多元组等上定义的损失函数来训练深度网络；4)最终的距离度量即为在深度网络嵌入空间下的欧式距离。如Hu等人基于样本对训练出了一个具有判别力的度量用于自然条件下的人脸识别。Song等人通过计算一批训练样本之间的距离矩阵，设计了一种能够充分利用一批样本中信息的优化目标，在三个图像识别库上取得了不错的结果。Wang等人通过限制每个训练集中由三元组组成的三角形中负样本顶点处的角度来设计优化目标，利用了样本之间的三阶几何信息，进一步提高了基于深度网络的度量学习方法的性能。深度度量学习方法的目标为学习出一个有效的度量来精确、鲁棒地衡量两个样本数据之间的相似度，而深度量度学习模型整体的优化目标可以看做是使用其所采样样本加权的损失函数，这使得采样策略成为其模型中一个重要的组成部分。关于采样策略的一个主要问题是缺乏有信息的样本(通常被称为“难”样本)。训练集中的大部分样本可能已经满足损失函数施加的约束，因此不能传递有效的监督信息。随着训练的进行，越来越多的样本将会被归类为简单样本，因而导致更慢的训练速度。这就使得许多深度度量学习方法来设计高效的难样本挖掘策略。这些策略通常对训练集中的样本进行降采样，选择可以提供较大梯度的样本，这样既可以加快模型的收敛速度，也可以提高最终学习出的度量的效果。如Schroff等人在一批样本中选择“半难”的负样本，即使得三元组中负样本对的距离较小，但依然大于正样本对之间距离，用这样的三元组来训练基于三元组损失函数的网络。Wang等人使用一种线上的重要性采样方法，利用样本之间的相似度来选择训练使用的三元组。Harwood等人使用近似最近邻搜索的样本挖掘方法，自适应地选择更具挑战性的训练样本，可以更为高效地训练模型。Yuan等人提出通过一组具有不同复杂性的模型级联来挖掘多个难度等级的样本，并使用更难的样本训练更复杂的模型。然而，难样本挖掘策略仅在训练集的一个子集中选择样本，而这个集合可能不足以准确地刻画度量空间的整体几何结构。也就是说，一些数据点被多次重复采样，而另一些数据点可能永远也不会被采样，导致度量空间在过采样的数据点附近过拟合，同时又在欠采样的数据点附近欠拟合。由于简单样本通常占据了训练集中的大部分，这样的难样本挖掘策略相当于忽略了一大部分数据。本专利技术通过合成自适应难度的样本来解决上述问题。合成样本的难度应根据模型的训练状态来确定，本专利技术根据模型的训练状态来控制合成样本的难度，使得对训练较为充分时的模型使用较难的合成样本来训练。合成自适应难度样本的必要性在于以下两个方面。首先，在训练的初期，度量空间并不具有准确的语义结构，因此当前的难样本可能并不真正地包含有意义的信息。在这种情况下，合成的难样本可能甚至会是一些矛盾的样本。此外，难样本通常会导致网络参数发生较大的变化，因此使用无意义的样本很容易破坏度量空间的结构，导致一个从一开始就以错误方向训练的模型。另一方面，随着训练的进行，模型可以很容易地应对更难的样本，因此应该生成越来越难的合成样本来维持保持高的学习效率。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种自适应样本合成的深度度量学习方法，该方法能够更好地训练网络，通过使用统一的优化函数整体地对网络进行训练，最终学习出一个精确、鲁棒的度量。本专利技术的另一个目的在于提出一种自适应样本合成的深度度量学习装置。为达到上述目的，本专利技术一方面提出了自适应样本合成的深度度量学习方法，包括以下步骤：步骤S1，从训练集中提取出图像的深度特征，并生成样本多元组；步骤S2，通过线性插值自适应调整样本难度；步骤S3，通过生成器生成保持难度的样本；步骤S4，根据所述保持难度的样本获取生成难样本在度量空间下的表示信息，同时训练整个网络，以获取图片在度量空间下的表示信息。本专利技术实施例的自适应样本合成的深度度量学习方法，通过神经网络将原始的样本特征转化为有信息的样本，对已有的难样本进行了补充，从而充分利用全部样本的信息；同时，通过线性插值来控制生成样本的难度，并且通过与度量网络的相互作用，生成适用于相关技术中模型状态的难样本，并整合相关技术中深度度量学习模型中的自适应生成器模块，最终实现对深度度量学习方法性能的提高。另外，根据本专利技术上述实施例的自适应样本合成的深度度量学习方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述步骤S1包括：将所述训练集分图像前传入深度卷积神经网络，并在通过特征提取网络的最后全连接层后，获取图像的1024维的深度特征，以及根据样本标签和度量使用的目标函数得到三元组或多元组。进一步地，在本专利技术的一个实施例中，所述步骤S2包括：在度量空间下，对负样本对通过改变距离调整所述样本难度，其中，根据度量模型性能得到所述目标样本难度；根据当前的损失函数值衡量度量模型的当前状态，并控制生成样本的所述距离。进一步地，在本专利技术的一个实施例中，所述生成器的整体损失函数为：其中，λ为平衡因子，y为样本特征，y'为未调整长度的合成特征，为调整长度后的合成特征，Y、Y'和分别为它们所对应的特征分布，l为样本对应的类别标签，c(y,y')为重构损失，Jsoft为Softmax损失函数。进一步地，在本专利技术的一个实施例中，所述步骤S4包括：将所述生成难样本通过度量网络获取在度量空间下的所述表示信息；将特征提取网络、度量网络与生成器网络连接，以得到训练后的整个网络；由样本图片通过所述特征提取网络与所述度量网本文档来自技高网...

【技术保护点】
1.一种自适应样本合成的深度度量学习方法，其特征在于，包括以下步骤：步骤S1，从训练集中提取出图像的深度特征，并生成样本多元组；步骤S2，通过线性插值自适应调整样本难度；步骤S3，通过生成器生成保持难度的样本；以及步骤S4，根据所述保持难度的样本获取生成难样本在度量空间下的表示信息，同时训练整个网络，以获取图片在度量空间下的表示信息。

【技术特征摘要】
1.一种自适应样本合成的深度度量学习方法，其特征在于，包括以下步骤：步骤S1，从训练集中提取出图像的深度特征，并生成样本多元组；步骤S2，通过线性插值自适应调整样本难度；步骤S3，通过生成器生成保持难度的样本；以及步骤S4，根据所述保持难度的样本获取生成难样本在度量空间下的表示信息，同时训练整个网络，以获取图片在度量空间下的表示信息。2.根据权利要求1所述的自适应样本合成的深度度量学习方法，其特征在于，所述步骤S1包括：将所述训练集分图像前传入深度卷积神经网络，并在通过特征提取网络的最后全连接层后，获取图像的1024维的深度特征，以及根据样本标签和度量使用的目标函数得到三元组或多元组。3.根据权利要求1所述的自适应样本合成的深度度量学习方法，其特征在于，所述步骤S2包括：在度量空间下，对负样本对通过改变距离调整所述样本难度，其中，根据度量模型性能得到所述目标样本难度；根据当前的损失函数值衡量度量模型的当前状态，并控制生成样本的所述距离。4.根据权利要求1所述的自适应样本合成的深度度量学习方法，其特征在于，所述生成器的整体损失函数为：其中，λ为平衡因子，y为样本特征，y'为未调整长度的合成特征，为调整长度后的合成特征，Y、Y'和分别为它们所对应的特征分布，l为样本对应的类别标签，c(y,y')为重构损失，Jsoft为Softmax损失函数。5.根据权利要求1所述的自适应样本合成的深度度量学习方法，其特征在于，所述步骤S4包括：将所述生成难样本通过度量网络获取在度量空间下的所述表示信息；将特征提取网络、度量网络与生成器网络连接，以得到训练后的整个网络；由样本图片通过所述特征提取网络与所述度量网络得到测试样本的在度量空间下的表示信息。6.一种自适...

【专利技术属性】
技术研发人员：鲁继文，周杰，郑文钊，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11