一种基于自编码器的未知类别图像标签预测方法技术

本发明专利技术揭示了一种基于自编码器的未知类别图像标签预测方法，该方法包括以下步骤：S1步骤：利用图像数据库，该数据库中包括一个源域和一个目标域，通过源域的自编码器，学出一个源域投影矩阵；S2步骤：在源域和样本标签未知的目标域同时使用自编码器，将源域知识迁移学习到目标域，将S1步骤训练出的源域投影矩阵作为迭代算法中目标域投影矩阵的初值，通过迭代算法训练得到目标域中未知类别样本的属性；S3步骤：利用余弦相似性将训练出样本属性进行对比，从而预测得到未知类样本的标签。本发明专利技术应用了自编码原理在源域和目标域上同时学习从特征空间到属性空间的投影矩阵，通过迭代可以直接得到目标域样本图像的属性，有效缓解域迁移问题的影响。

An unknown class label prediction method based on self encoders

The invention discloses an unknown class image label prediction method based on a self-encoder, which comprises the following steps: S1 step: using an image database, which includes a source domain and a target domain, a source domain projection matrix is learned through the self-encoder of the source domain; S2 step: in the source domain and the sample label The source domain projection matrix trained by S1 step is used as the initial value of the target domain projection matrix in the iterative algorithm, and the attributes of unknown class samples in the target domain are trained by the iterative algorithm. The sample attributes are compared to predict the labels of unknown class samples. The invention applies the self-coding principle to simultaneously learn the projection matrix from the feature space to the attribute space in the source domain and the target domain, and obtains the attribute of the target domain sample image directly through iteration, thus effectively alleviating the influence of the domain migration problem.

【技术实现步骤摘要】
一种基于自编码器的未知类别图像标签预测方法
本专利技术涉及一种基于自编码器的未知类别图像标签预测方法，属于模式识别中的图像识别领域。
技术介绍
在模式识别中，图像识别是其重要的组成部分，最初的实验样本标签和标注信息是靠人工标注的方式完成的，然而随着互联网和计算机的迅猛发展，大数据的出现给这种人工标注的方式带来了更多的挑战。对于图像、声音和视频等样本而言，人工完成这些样本的分类和标注的代价是难以估量的，并且人工的方式也无法对日益增加的样本的信息进行及时更新，所以解决零样本识别问题就显得极为重要，而且这个问题越来越受到工业界的关注。由于标记样本的缺乏，已标记类别不可能涉及所有的对象类，即零样本问题中的未知类别与已知类别不相交，上述问题看似难以处理。然而，在现实中即使不知道对象类别，人们仍能对对象进行一些特征描述。例如人们未见过老虎，但仍然能将其描述为“有皮毛的”，“有条纹”，“不吃草”等。在零样本识别中这些描述性的信息被称为语义知识，具体可分为语义属性和语义词向量，简称属性和词向量。在上例中，属性可以用二值矢量进行表示[110]。零样本识别中所遇到的关键问题是已知的类与未知类之间的关系，以及如何精确地预测未知类样本。研究者把语义知识作为中间桥梁，实现已标记类别和未标记类别之间的知识传递，从而解决零样本识别问题。在图像识别中所谓零样本识别，简单来说就是源域中图像样本的特征、属性和标签以及目标域中图像样本的特征和未知类原型是已知的，预测目标域图像的标签。解决零样本图像识别问题的传统方法大多数是建立在属性基础上的。直接属性预测(DAP)是直接在已知标签特征与已知标签属性之间训练分类器，然后用该分类器直接预测未知标签的属性，最后进行标签预测。ESZSL将兼容性分数和类标签集成到一个线性框架中，其中兼容性分数是用双线性表达式获得的视觉特征和类语义属性之间的相似度。SJE使用双线性兼容函数关联样本特征和语义属性，并采用结构化支持向量机启发的加权近似排序损失。度量零样本识别(MLZSC)通过提高语义嵌入的一致性，将零样本分类转化为度量学习问题。语义自编码(SAE)采用编码-解码原理解决零样本识别问题。以上的方法都是基于属性的具有代表性且被广泛引用的零样本识别方法。它们学习目标域模型时没有考虑目标域样本的信息，只是在源域上以监督学习方式学习一个模型直接应用到目标域，这会导致域迁移问题。这是因为已知类与未知类不相交，两个域间的样本数据分布也不同，显然简单的认为由源域学习得到的分类器完全适用于目标类是不合理的。尽管不同类别可能具有部分相同的属性，但是该属性在不同类别上的视觉效果不同。例如老虎和斑马都有条纹这个属性，但是它们条纹的视觉效果是不同的。当通过传统的方法从源域上学习模型应用到目标域上，目标域得到的样本属性和它的类原型可能分开，从而导致分类效果不理想。
技术实现思路
本专利技术的目的就是为了解决现有技术中存在的上述问题，提出一种基于自编码器的未知类别图像标签预测方法。本专利技术的目的将通过以下技术方案得以实现：一种基于自编码器的未知类别图像标签预测方法，该方法包括以下步骤：S1步骤：利用一已知图像数据库，该图像数据库中包括一个源域和一个目标域，且所述源域和目标域中没有共同的类，源域的特征、属性、标签都是已知的，通过源域的目编码器，学出一个源域投影矩阵；S2步骤：在源域和样本标签未知的目标域同时使用自编码器，并将源域知识迁移学习到目标域，将所述S1步骤训练出的源域投影矩阵作为迭代算法中目标域投影矩阵的初值，通过迭代算法训练得到目标域中未知类别样本的属性、未知类别样本特征空间到属性空间的投影矩阵；S3步骤：在未知类别图像标签预测阶段，利用余弦相似性将训练出的未知类样本属性与未知类原型属性进行对比，或者利用训练得到的目标域投影矩阵，通过未知类原型得到预测的样本特征，利用余弦相似性将训练出的未知类样本特征与未知类真实特征进行对比，从而预测得到未知类样本的标签。优选地，所述源域由若干已知类别的图像组成。优选地，所述目标域由若干未知类别的图像组成。优选地，在所述S1步骤中，假设Ds＝{Xs，Ps，Zs}是带有标签的源域数据，{1，...，c}是已知类别数，假设Ds＝{Xt，Pt，Zt}是标签未知的目标域数据，{1，...，q}是未知类别数；是源域图像特征向量，其中d是图像的特征维度，Ns是源域的图片数量；是目标域图像特征向量，其中d是图像的特征维度，Nt是目标域的图片数量；是已知类原型属性，是未知类原型属性；Pi∈Rk×1是第i类的维度为k的原型属性，Zs和Zt分别是c个已知类和q个未知类的标签，并且是k维Ns幅已知类图像的属性矩阵，假设As由已知类的原型属性构成，即同个类别的不同图片的属性相同，是k维Nt幅未知类图像的属性，假设Ds、As、Xt、Pt是已知的，At、Zt是未知的；该模型为线性的，Ws∈Rk×d是源域的编码投影矩阵，即将源域样本，用WsT∈Rd×k表示源域解码投影矩阵，模型如下：第一项是解码的损失项，解码是将语义属性投影到特征空间，第二项是正则化项，防止模型过度拟合，λ是超调参数，对上述公式求导得：优选地，利用自编码在源域和目标域联合学习，该模型如下：上述模型中是在源域中使用编码器，是在目标域中使用编码器，是假设源域投影适应目标域投影，模型中有三个未知量，分别是Ws，Wt，At，求解时固定Ws，Wt求At，具体过程如下：固定Ws，Wt，求At：对公式(3)求导得At＝(WtWtT+λ2I)-1(1+λ2)(WtXt)(4)利用公式(2)的Ws值作为公式(4)中Wt的迭代初始值。固定Ws，At，求Wt：对公式(3)求导得公式(5)是Sylvester方程，令可通过MATLAB计算Sylvester方程，即：Wt＝sylvester(A，B，C)(6)固定Wt，At，求Ws：对公式(3)求导得优选地，通过余弦相似性预测未知类别样本的标签，利用余弦相似性将训练出的未知类样本属性与未知类原型属性进行对比，从而预测得到未知类样本的标签；是目标域第i个样本的预测属性，是第j个未知类的原型属性，d是余弦距离方程，f(g)是得到的样本标签。优选地，通过将未知类原型投影到特征空间，利用余弦相似性将训练出的未知类样本特征与未知类真实特征进行对比，从而预测得到未知类样本的标签。是目标域第i个样本特征，是第j个未知类原型属性投影在特征空间的预测特征，d是余弦距离方程，f(g)是得到的样本标签。本专利技术技术方案的优点主要体现在：1.在相同的实验数据条件下，通过双自编码能获得更高的识别率。2.用两种识别方法分别在特征空间和属性空间预测样本的标签。3.自编码可以尽可能的保留类别的数据信息结构，客观上可以提高零样本识别的精度，并且简洁高效。本专利技术最大的亮点在于应用自编码原理在源域和目标域上同时学习从特征空间到属性空间的投影矩阵，假设源域投影矩阵和目标域投影矩阵应该接近但不相同。通过迭代可以直接得到目标域样本图像的属性，从而有效地缓解域迁移问题的影响。附图说明图1为本专利技术的一种基于自编码器的未知类别图像标签预测方法的工作流程图。具体实施方式本专利技术的目的、优点和特点，将通过下面优选实施例的非限制性说明进行图示和解释。这些实施例仅是应用本专利技术技术方案的典型本文档来自技高网...

【技术保护点】
1.一种基于自编码器的未知类别图像标签预测方法，其特征在于：该方法包括以下步骤：S1步骤：利用一已知图像数据库，该图像数据库中包括一个源域和一个目标域，且所述源域和目标域中没有共同的类，源域的特征、属性、标签都是已知的，通过源域的自编码器，学出一个源域投影矩阵；S2步骤：在样本标签未知的目标域和源域同时使用自编码器，并将源域知识迁移学习到目标域，将所述S1步骤训练出的源域投影矩阵作为迭代算法中目标域投影矩阵的初值，通过迭代算法训练得到目标域中未知类别样本的属性、未知类别样本特征空间到属性空间的投影矩阵；S3步骤：在未知类别图像标签预测阶段，利用余弦相似性将训练出的未知类样本属性与未知类原型属性进行对比，或者利用训练得到的目标域投影矩阵，通过未知类原型得到预测的样本特征，利用余弦相似性将训练出的未知类样本特征与未知类真实特征进行对比，从而预测得到未知类样本的标签。

【技术特征摘要】
1.一种基于自编码器的未知类别图像标签预测方法，其特征在于：该方法包括以下步骤：S1步骤：利用一已知图像数据库，该图像数据库中包括一个源域和一个目标域，且所述源域和目标域中没有共同的类，源域的特征、属性、标签都是已知的，通过源域的自编码器，学出一个源域投影矩阵；S2步骤：在样本标签未知的目标域和源域同时使用自编码器，并将源域知识迁移学习到目标域，将所述S1步骤训练出的源域投影矩阵作为迭代算法中目标域投影矩阵的初值，通过迭代算法训练得到目标域中未知类别样本的属性、未知类别样本特征空间到属性空间的投影矩阵；S3步骤：在未知类别图像标签预测阶段，利用余弦相似性将训练出的未知类样本属性与未知类原型属性进行对比，或者利用训练得到的目标域投影矩阵，通过未知类原型得到预测的样本特征，利用余弦相似性将训练出的未知类样本特征与未知类真实特征进行对比，从而预测得到未知类样本的标签。2.根据权利要求1所述的一种基于自编码器的未知类别图像标签预测方法，其特征在于：所述源域由若干已知类别的图像组成。3.根据权利要求1所述的一种基于自编码器的未知类别图像标签预测方法，其特征在于：所述目标域由若干未知类别的图像组成。4.根据权利要求1所述的一种基于自编码器的未知类别图像标签预测方法，其特征在于：在所述S1步骤中，假设Ds＝{Xs，Ps，Zs}是带有标签的源域数据，{1，...，c}是已知类别数，假设Ds＝{Xt，Pt，Zt}是标签未知的目标域数据，{1，...，q}是未知类别数；是源域图像特征向量，其中d是图像的特征维度，Ns是源域的图片数量；是目标域图像特征向量，其中d是图像的特征维度，Nt是目标域的图片数量；是已知类原型属性，是未知类原型属性；Pi∈Rk×1是第i类的维度为k的原型属性，Zs和Zt分别是c个已知类和q个未知类的标签，并且是k维Ns幅已知类图像的属性矩阵，假设As由已知类的原型属性构成，即同个类别的不同图片的属性相同，是k维Nt幅未知...

【专利技术属性】
技术研发人员：吴松松，孙广成，王堃，荆晓远，岳东，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32