【技术实现步骤摘要】
一种基于对齐变分自编码器与三元组结合的零样本学习方法
[0001]本专利技术属于零样本图像分类
，具体涉及一种基于对齐变分自编码器与三元组结合的零样本学习方法。
技术介绍
[0002]深度学习已经在各个领域取得了广泛的应用，例如在图像分类问题下，其准确率目前可以达到不错的成绩，但其高准确率建立在有监督的基础上。大多数深度模型是通过大量有标签的训练样本进行学习，侧重于对已经在训练过程中出现过的标签类别样本进行分类。然而，现实的对象类别通常遵循长尾分布，其中一些类别有丰富的训练样本，而其他大部分类别只有很少甚至没有可用的训练样本。当需要模型对这些训练样本很少甚至没有训练样本的类别进行分类时，原有训练方法不再适用。另外，为数据进行标注的成本非常大。所以零样本学习的研究具有重要的意义。零样本学习的训练集和测试集之间没有交集，训练期间需要借助辅助信息，如属性，来建立训练集和测试集之间的联系，从而使得模型有效。传统零样本学习和广义零样本学习的训练集都只包括已知类别。传统零样本学习的测试集只包括未知类别，而广义零样本学习测试集包括已...
【技术保护点】
【技术特征摘要】
1.一种基于对齐变分自编码器与三元组结合的零样本学习方法，其特征在于：该零样本学习方法将图像特征变分自编码器和属性变分自编码器作为骨干网络，将它们进行对齐，并与三元组结合，构建一个完整的模型，该零样本学习方法具体包括如下步骤：S1，在已知类别数据集中随机选取P个已知类别，每个类别选取K个图像特征样本及其对应的属性特征和标签Y，组成一个训练数据集，其中N
s
＝P
×
K，d和d
a
以分别是图像特征和属性特征的维度；S2，根据特定的三元组选择方式为S1图像特征样本X
s
中的每个样本x在X
s
中选择符合条件的正样本和负样本组成三元组(x,x
p
,x
n
)，将三元组(x,x
p
,x
n
)与x对应的属性特征a一起输入模型；S3，定义所有的编码器和解码器都是具有一个隐藏层的多层感知器；图像特征变分自编码器的编码器E
img
和解码器D
img
隐藏层神经元个数分别为n_hidden_E_img和n_hidden_D_img；属性变分自编码器的编码器E
att
和解码器D
att
隐藏层神经元个数分别为n_hidden_E_att和n_hidden_D_att；S4，E
img
输入为图像特征x，则输出为(2
×
d
z
)维的向量，前d
z
维设为x的均值μ，后d
z
维设为x的方差Σ，从高斯分布N(μ,Σ)中采样得到d
z
维的潜在空间特征z～N(0,I)；E
att
输入为属性a，输出N(μ
a
,Σ
a
)，并采样得到z
a
～N(0,I)，z
a
维度与z相同；解码器输入为潜在空间特征，输出为重建的输入特征；S5，根据S4计算得到图像特征和属性变分自编码器的重建损失L1；S6，将S4中E
img
和E
att
输出参数进行对齐，计算得到参数对齐损失L2；S7，将S4中x的潜在空间特征z输入到D
att
中，同时将a的潜在空间特征z
a
输入到D
img
，进行交叉重建，计算得到交叉重建损失L3；S8，对S2中三元组(x,x
p
,x
n
)在图像特征变分自编码器的重建特征计算三元组损失，计算得到三元组损失为L4；S9，根据重建损失L1、参数对齐损失L2、交叉重建损失L3和三元组损失L4计算模型整体损失L，对模型进行反向传播优化参数；S10，利用S9中学习到的模型为已知类和未知类生成潜在空间特征；S11，在模型潜在空间中训练一个Softmax分类器，将S10中生成的潜在空间特征作为分类器的输入；S12，将S11中训练好的分类器对测试集进行测试，得到分类精度。2.根据权利要求1所述基于对齐变分自编码器与三元组结合的零样本学习方法，其特征在于：所述S2中的三元组(x,x
p
,x
n
)，x为锚点，x
p
为与锚点属于同一类的正样本，(x,x
p
)称为正样本对，x
n
为与锚点属于不同类的负样本，(x,x
n
)称为负样本对。3.根据权利要求1所述基于对齐变分自编码器与三元组结合的零样本学习方法，其特征在于：所述S2中的特定的三元组选择方式具体为四种；第一种：选取所有可能的三元组，可能的三元组即所有满足负样本对之间距离小于正样...
【专利技术属性】
技术研发人员：李群，沈亚营，肖甫，徐鼎，周剑，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。