基于双向对抗训练与关系度量约束的广义零样本学习方法技术

基于双向对抗训练与关系度量约束的广义零样本学习方法，涉及图像处理领域。1)建立零样本学习的数据集；2)使用预训练好的神经网络提取可见类图像的视觉特征，并对视觉特征进行预处理；3)使用步骤2)提取的视觉特征通过双向对抗训练特征生成网络和属性生成网络，属性生成网络的训练过程同时加入关系度量约束；4)使用特征生成网络来合成不可见类的视觉特征，将可见类和不可见类的视觉特征通过属性生成网络进行微调，使用微调后视觉特征通过交叉熵损失训练分类器。对视觉特征进一步的微调使得视觉特征与语义属性之间由更紧密的联系。基于类间关系的度量学习方式，有效提升特征可判别性的同时提升模型在不可见类缺失情况下的泛化性。性。性。

【技术实现步骤摘要】
基于双向对抗训练与关系度量约束的广义零样本学习方法


[0001]本专利技术涉及图像处理领域，尤其是涉及可用于目标识别，未知类别物体识别，未知类别的图像检索等的一种基于双向对抗训练与关系度量约束的广义零样本学习方法。

技术介绍

[0002]零样本学习因为其应用前景以及研究价值，近年来受到广泛的关注，并涌现出了许多优秀的算法。这些算法大致可以分为两大类：基于语义属性嵌入的零样本学习方法、基于特征生成的零样本学习方法。相比基于语义嵌入的零样本学习方法，基于特征生成的零样本学习方法受到的关注度较高。它首先训练以类别的语义属性为条件的视觉特征生成器，然后利用不可见类的语义属性来合成视觉特征，以此弥补训练阶段不可见类样本的缺失，最后，利用已知的可见类视觉特征和合成的不可见类视觉特征来训练分类器。这类方法仅使用了语义属性来合成视觉特征这一单向的对抗训练，这使得语义属性与视觉特征之间的联系非常有限，而零样本学习以语义属性作为可见类与不可见类之间视觉知识迁移的桥梁，所以现有生成类方法并没有有效缓解零样本学习中的强偏问题。此外，现有方法忽略了不同类别之间关系的挖掘，这严重制约了模型的泛化能力，尤其是在训练阶段缺失不可见类的零样本学习设定下。
[0003]语义属性是零样本学习中知识迁移的重要线索，每个类别都有其对应的语义属性，语义属性作为对类别的描述以向量的形式存在，一般由人工标记获得，每个维度都代表相应的属性信息，比如，特定的颜色、形状等。语义属性不仅包含了对图像的描述信息还包含了大量的跨类别信息。
[0004]度量学习是当前深度学习中增强实例类内聚合度和类间区分度一种常用手段，通常通过与正负样本之间的对比来实现，通过一种度量标准(一般为欧式距离)，将同一类别的实例空间距离拉近，不同类别实例之间的距离拉远。

技术实现思路

[0005]本专利技术的目的在于提供对未知类别的目标识别，在增强视觉特征与语义属性直接按的联系同时，增强不同类别视觉特征之间的类内聚合度和类间区分度，得到强判别性特征的一种基于双向对抗训练与关系度量约束的广义零样本学习方法。可用于目标识别，未知类别物体识别，未知类别的图像检索等。
[0006]本专利技术包括以下步骤：
[0007]1)建立数据集：建立零样本学习的数据集，针对每个类别，零样本学习引入语义属性作为线索；
[0008]2)视觉特征提取：使用预训练好的神经网络提取可见类图像的原始视觉特征；
[0009]3)双向对抗训练与关系度量约束：使用步骤2)提取的原始视觉特征通过双向对抗训练特征生成网络和属性生成网络，属性生成网络的训练过程同时加入关系度量约束；
[0010]4)训练分类器：使用特征生成网络来合成不可见类的视觉特征，将可见类和不可
见类的视觉特征通过属性生成网络进行微调，使用微调后视觉特征通过交叉熵损失来训练分类器。
[0011]在步骤1)中，所述零样本学习的数据集为N代表数据集的样本数量，x
i
表示由预训练的骨干神经网络提取的图像的视觉特征，y
i
表示其对应的类别标签，代表可见类的类别集合；针对每个类别，零样本学习引入语义属性作为线索，其中表示不可见类的类别集合，且
[0012]在步骤2)中，所述视觉特征提取的具体步骤可为：将所有骨干网络提取好的视觉特征进行预处理，对数据集进行采样，每个批次中取N1个类别，每个类别选取N2种不同样本以及其对对应的语义属性a作为网络的输入；
[0013]在步骤3)中，所述双向对抗训练特征生成网络和属性生成网络的具体步骤可为：
[0014](1)将语义属性a和一个随机采样的高斯噪音∈组合输入特征生成器G
F
中，特征生成器根据语义属性a和高斯噪音∈合成一个伪造的视觉特征将伪造的视觉特征和真实的视觉特征x分别与语义属性a组合后输入特征判别器D
F
中，特征判别器学习判别(x，a)和的真假并通过对抗损失迭代交叉完成训练；对于伪造的视觉特征，计算同一个批次中伪造视觉特征之间的余弦相似度矩阵，计算其对应语义属性之间的相似度矩阵，使用图正则化损失约束两个相似度矩阵；
[0015](2)将骨干神经网络提取的原始视觉特征x输入编码器E得到微调后的视觉特征h，将微调后的视觉特征h输入属性生成器GA中合成伪造的语义属性通过类别间的语义属性相似度设计软标签将伪造的语义属性和真实的语义属性a分别与软标签组合后输入属性判别器DA，属性判别器学习判别和的真假并通过对抗损失与属性生成器迭代交叉完成训练；对于伪造的语义属性通过infoNCE损失进行约束，以保证其在属性空间的可判别性；
[0016]进一步的，所述属性生成网络的训练，具体步骤可为：
[0017]对于可见类图像，经过视觉特征提取后得到对应的原始视觉特征x；对原始视觉特征x通过编码器E进行微调得到微调后的视觉特征h：h＝E(x)；以微调后的视觉特征h为条件输入到属性生成器G
A
中来合成伪造的属性微调后的视觉特征h对应的真实语义属性a和伪造的语义属性分别与h对应的软标签组合后输入属性判别器D
A
中，属性判别器D
A
学习区分真实的成对数据和伪造的成对数据并与属性生成器交叉对抗完成训练，对抗损失函数如下：
[0018][0019]其中，β～U(0，1)，η是梯度惩罚项的权重。
[0020]所述软标签是具有跨类别信息的类别标签，通过不同类别之间的语义属性相似度设计，计算方式如下：
[0021][0022]其中，M表示所有类别个数，表示第k个类别的软标签；表示第i个类别的语义属性(向量)，D表示a
i
的维度；
[0023]为了保证伪造属性在属性空间中的可判别性，采用infoNCE损失通过对比学习的方式来约束具体损失函数如下：
[0024][0025]其中，τ表示温度超参数，M是所有类别属性向量的总数a
+
，分别表示对应的正样本和负样本。
[0026]所述属性生成网络的训练过程同时加入关系度量约束，是在属性生成网络训练过程中设计一种基于关系的度量学习来约束微调后的视觉特征h，随机抽样微调后的视觉特征h的正样本h
+
和负样本h
‑
通过可学习度量函数F预测h与h
+
以及h与h
‑
之间的相似度概率，然后以样本对应的语义属性之间的余弦相似度作为ground truth通过交叉熵损失训练整个过程；通过挖掘语义属性之间的相似度，视觉特征受到类别之间关系的约束，从而使模型的泛化性得到提升；具体步骤包括：
[0027](1)为了保证微调特征实例间的可判别性，提出基于关系的度量学习对其进行约束，考虑不同类别之间的关系并以语义属性之间的相似度作为视觉特征实例间的度量标准，通过类别间关系的挖掘提升模型的泛化性能，从而有利于可见类到不可见类的知识迁移；具体地，
[0028]首先通过一个可学习的度量函数F本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双向对抗训练与关系度量约束的广义零样本学习方法，其特征在于包括以下步骤：1)建立数据集：建立零样本学习的数据集，针对每个类别，零样本学习引入语义属性作为线索；2)视觉特征提取：使用预训练好的神经网络提取可见类图像的视觉特征，并对视觉特征进行预处理；3)双向对抗训练与关系度量约束：使用步骤2)提取的视觉特征通过双向对抗训练特征生成网络和属性生成网络，属性生成网络的训练过程同时加入关系度量约束；4)训练分类器：使用特征生成网络来合成不可见类的视觉特征，将可见类和不可见类的视觉特征通过属性生成网络进行微调，使用微调后视觉特征通过交叉熵损失来训练分类器。2.如权利要求1所述基于双向对抗训练与关系度量约束的广义零样本学习方法，其特征在于在步骤1)中，所述零样本学习的数据集为N代表数据集的样本数量，x
i
表示由预训练的骨干神经网络提取的图像的视觉特征，y
i
表示其对应的类别标签，代表可见类的类别集合；针对每个类别，零样本学习引入语义属性作为线索，其中表示不可见类的类别集合，且3.如权利要求1所述基于双向对抗训练与关系度量约束的广义零样本学习方法，其特征在于在步骤2)中，所述视觉特征提取的具体步骤为：将所有骨干网络提取好的视觉特征进行预处理，对数据集进行采样，每个批次中取N1个类别，每个类别选取N2种不同样本以及其对对应的语义属性a作为网络的输入。4.如权利要求1所述基于双向对抗训练与关系度量约束的广义零样本学习方法，其特征在于在步骤3)中，所述双向对抗训练特征生成网络和属性生成网络的具体步骤为：(1)将语义属性a和一个随机采样的高斯噪音∈组合输入特征生成器G
F
中，特征生成器根据语义属性a和高斯噪音∈合成一个伪造的视觉特征将伪造的视觉特征和真实的视觉特征x分别与语义属性a组合后输入特征判别器D
F
中，特征判别器学习判别(x,a)和的真假并通过对抗损失迭代交叉完成训练；对于伪造的视觉特征，计算同一个批次中伪造视觉特征之间的余弦相似度矩阵，计算其对应语义属性之间的相似度矩阵，使用图正则化损失约束两个相似度矩阵；(2)将骨干神经网络提取的真实的视觉特征x输入编码器E得到微调后的视觉特征h，将微调后的视觉特征h输入属性生成器GA中合成伪造的语义属性通过类别间的语义属性相似度设计软标签将伪造的语义属性和真实的语义属性a分别与软标签组合后输入属性判别器DA，属性判别器学习判别和的真假并通过对抗损失与属性生成器迭代交叉完成训练；对于伪造的语义属性通过infoNCE损失进行约束，以保证其在属性空间的可判别性。5.如权利要求4所述基于双向对抗训练与关系度量约束的广义零样本学习方法，其特征在于所述属性生成网络的训练，具体步骤为：对于可见类图像，经过视觉特征提取后得到对应的原始视觉特征x；对原始视觉特征x
通过编码器E进行微调得到微调后的视觉特征h：h＝E(x)；以微调后的视觉特征h为条件输入到属性生成器G
A
中来合成伪造的属性微调后的视觉特征h对应的真实语义属性a和伪造的语义属性分别与h对应的软标签组合后输入属性判别器D
A
中，属性判别器D
A
学习区分真实的成对数据和伪造的成对数据并与属性生成器交叉对抗完成训练，对抗损失函数如下：其中，β～U(0,1，η是梯度惩罚项的权重。6.如权利要求5所述基于双向对抗训练与关系度量约束的广义零样本学习方法，其特征在于所述软标签是具有跨类别信息的类别标签，通过不同类别之间的语义属性相似度设计，计算方式如下：其中，M表示所有类别个数，表示第k个类别的软标签；＝1,...,表示第i个类别的语义属性(向量)，D表示a
t
的维度。7.如权利要求5...

【专利技术属性】
技术研发人员：曲延云，李晓凡，张亚超，边诗然，
申请(专利权)人：厦门大学，
类型：发明
国别省市：