一种基于自编码器的零样本图像识别算法及系统技术方案

本发明专利技术涉及一种图像识别的技术领域，揭露了一种基于自编码器的零样本图像识别算法及系统，算法包括：使用预训练的Arc‑SENet网络提取源域中已知类样本的特征向量；利用预设的自编码器在源域中学习出源域的投影矩阵和解码投影矩阵；在目标域使用预设的自编码器将未知样本的属性投影到特征空间；将源域的自编码器和目标域的编码器关联起来，通过迭代计算得到目标域中未知类样本的属性矩阵和特征矩阵；分别利用正向标签预测和反向标签预测两种方式对未知样本进行标签预测，若两种方式得到标签结果相同，则所得标签即为图像样本识别结果。本发明专利技术还提出一种基于自编码器的零样本图像识别算法的系统。本发明专利技术实现了对图像的识别。

【技术实现步骤摘要】
一种基于自编码器的零样本图像识别算法及系统
本专利技术涉及图像识别的
，尤其涉及一种基于自编码器的零样本图像识别算法及系统。
技术介绍
图像识别作为人工智能主要的研究方向之一，随着人工智能的蓬勃发展，图像识别已经广泛应用于缺陷检测、无人驾驶、医学诊断等人工智能领域。当前图像识别的研究主要针对图像的分类问题，但随着社交网络和社会标签系统的飞速发展，新的标签和概念不断涌现，随之而来的是人们使用这些新标签对图像进行标记的需求。而已有的监督学习方法需要大量标记信息才能进行有效分类，因此不能适用于这种没有标记信息的情况，而无监督的方法虽然可行，但却不能充分利用已有的相关领域中的信息来提高目标领域中的分类性能，针对上述情况，相关研究者提出了零样本学习。在零样本学习中，源领域和目标领域含有不同的标签集，并且对于目标领域含有不同的标签集，没有存在标签的训练样本可用。因此，零样本学习的目标主要是将从有充足训练样本的源领域中的已知类中学到的知识有效地迁移到目标领域中，以此来为在训练过程中没有出现过的新类构建有效的分类模型。零样本学习的过程可以看做是图本文档来自技高网...

【技术保护点】
1.一种基于自编码器的零样本图像识别算法，其特征在于，所述方法包括：/n使用预训练的Arc-SENet网络提取源域中已知类样本的特征向量；/n将所述多个已知类样本的特征向量拼接为已知类样本的特征矩阵，利用预设的自编码器在源域中学习出源域的投影矩阵和解码投影矩阵；/n在目标域通过最小化自编码器的目标函数，将未知样本的属性投影到特征空间；/n将源域的自编码器和目标域的编码器关联起来，得到结合源域和目标域的自编码器目标函数；/n通过对目标函数进行迭代计算，得到目标域中未知类样本的属性矩阵和特征矩阵；/n根据所述目标域中未知类样本的属性矩阵和特征矩阵，分别利用正向标签预测和反向标签预测两种方式对未知样...

【技术特征摘要】
1.一种基于自编码器的零样本图像识别算法，其特征在于，所述方法包括：
使用预训练的Arc-SENet网络提取源域中已知类样本的特征向量；
将所述多个已知类样本的特征向量拼接为已知类样本的特征矩阵，利用预设的自编码器在源域中学习出源域的投影矩阵和解码投影矩阵；
在目标域通过最小化自编码器的目标函数，将未知样本的属性投影到特征空间；
将源域的自编码器和目标域的编码器关联起来，得到结合源域和目标域的自编码器目标函数；
通过对目标函数进行迭代计算，得到目标域中未知类样本的属性矩阵和特征矩阵；
根据所述目标域中未知类样本的属性矩阵和特征矩阵，分别利用正向标签预测和反向标签预测两种方式对未知样本进行标签预测，若两种方式得到标签结果相同，则所得标签即为图像样本识别结果，否则则将未知类样本重新输入自编码进行样本空间投影计算。


2.如权利要求1所述的基于自编码器的零样本图像识别算法，其特征在于，所述Arc-SENet网络的训练过程为：
所述Arc-SENet网络由多个SE模块构成，网络的第一个SE模块接收源域中已知样本类别的图像，并对其进行卷积和Squeeze操作，以完成第一个SE模块对图像特征的提取，并将提取内容输入至下一个模块，最后一个模块的输出值即为源域中已知样本类别图像的特征向量，并使用本发明所提出的ArcLoss损失函数进行训练；
1)SE模块接收图像样本矩阵X，其中X＝[x1，...，xc]，并在卷积层进行卷积转换操作，令V＝[v1，...vc]表示网络学习到卷积核的集合，因此卷积层的输出为U＝[u1，...uc]，所述第i个卷积核进行卷积操作的公式为：



其中：
*表示卷积操作；


是一个二维空间核，表示vi中的一个通道信息，此通道信息作用于X对应的通道信息上；
X为SE模块的输入值；
2)通过H×W的空间维度对卷积的输出U进行压缩，将维度为H×W×C的卷积输出U转换为1×1×C的输出，以将多个空间维度的特征图进行聚合，从而产生一个通道描述器z，并将所述通道描述器z作为提取的图像样本特征向量，并输出到下一个SE模块中。其中，图像样本特征向量z中每一个元素c的计算公式如下：



其中：
uc为第c个卷积核进行卷积操作的输出值；
H、W为卷积输出U的维度；
3)计算各特征向量之间归一化的互信息，本发明所提出的归一化互信息的计算公式为：



其中：
p(cg，fei)为特征向量fei出现的频次与类别cg中包含所有特征向量出现总频次的比值；
p(fei)为特征向量fei出现的频率；
p(cg)为类别cg所包含特征的数量与总特征数量的比值；
4)计算各特征向量的特征贡献因子



其中：
t(fei，cg)为类别cg中特征fei出现的频次；
5)利用基于归一化互信息的特征选择目标函数，对上述所提取出的特征向量进行计算，选取目标函数值最大的k个特征向量fei作为本发明所选择的特征向量，所述基于归一化互信息的特征选择目标函数为：



其中：
N为样本数量；
C为样本类别集合；
S为特征向量集合；
6)利用本发明所提出的Arc损失函数进行模型训练，所述Arc损失函数的计算公式为：



约束条件为：



其中：
m为训练图像样本的个数；
xi为第i个图像中所提取的特征向量；
yi为第i个图像的已知类别；
Wj为第j类别的权重；
θj为权重Wj和特征向量xi之间的夹角；
s为特征归一化时的缩放参数。


3.如权利要求2所述的基于自编码器的零样本图像识别算法，其特征在于，利用预设的自编码器在源域中学习出源域的投影矩阵和解码投影矩阵，包括：
将输入特征矩阵记为其中d为样本的特征维度，Ns为源域样本数量，隐藏层的信息记作k表示样本的属性维度；
使用投影矩阵将Xs投影到隐藏层，并用将隐藏层信息S投影到特征矩阵中，得到重构特征
为使重构特征和输入特征之间的误差达到最小，在源域中设置自编码器的目标函...

【专利技术属性】
技术研发人员：汪金玲，
申请(专利权)人：汪金玲，
类型：发明
国别省市：湖南;43