一种基于结构传播的零样本图像分类方法技术

本发明专利技术公开的一种基于结构传播的零样本图像分类方法，步骤1，分别计算所有类别的语义结构和图像结构；步骤2，根据步骤1中语义结构和图像结构的计算式，建立适用于零样本图像分类的结构关系模型，并求解优化式；步骤3，根据步骤2中的优化式，继续更新图像结构；步骤4，循环迭代步骤2‑3，进行正向结构传播，直至得到稳定的未可见类别的标记。本发明专利技术基于结构传播的零样本图像分类方法的平均识别率最高，提高了分类的准确率和效率，获得了更好的零样本图像分类的效果。

【技术实现步骤摘要】
一种基于结构传播的零样本图像分类方法
本专利技术属于图像分类方法
，具体涉及一种基于结构传播的零样本图像分类方法。
技术介绍
近年来，深度学习在图像目标识别方面取得了突破性进展，在某些实验条件下，甚至已经超越人的判别能力，但是深度学习大多数都属于监督的学习方法，在训练深度模型时需要大量标注类别的训练样本。而在实际应用中，大多数时候，我们并不能获取大量标注类别的样本或者需要大量的人力和物力的投入才能获取这样的样本，因此，为了解决如何识别没有视觉图像训练样本类别的问题，零样本学习被提出。在零样本分类问题中，已知信息是可见类别的图像样本和所有类别(可见和未可见类别)的语义信息，不可知信息是未可见类别和其图像样本。我们期望利用可见和未可见类别的视觉相关性、语义相关性和视觉与语义的相关性对未可见图像样本进行分类。为了建模类别视觉和语义的相关性，当前方法思路是利用线性或非线性将视觉映射到语义、或将语义映射到视觉、或视觉语义映射到共同空间中，以此建立相关性，获得为可见类别的识别；但是视觉和语义的分布结构和描述方式造成两者间割裂，而现有方法未能考虑将视觉和语义的分布结构统一融合并挖掘它们的相关关系。
技术实现思路
本专利技术的目的是提供一种基于结构传播的零样本图像分类方法，将视觉和语义的分布结构统一融合并整理出两者之间的关系，解决了现有零样本图像分类方法不准确的问题。本专利技术所采用的技术方案是，一种基于结构传播的零样本图像分类方法，包括以下步骤：步骤1，分别计算所有类别的语义结构和图像结构；步骤2，根据步骤1中语义结构和图像结构的计算式，建立适用于零样本图像分类的结构关系模型，并求解优化式；步骤3，根据步骤2中的优化式，继续更新图像结构；步骤4，循环迭代步骤2-3，进行正向结构传播，直至得到稳定的未可见类别的标记。本专利技术的特征还在于，步骤1具体为：步骤1.1，所有类别的语义结构的计算过程如下：设可见类别的语义特征表示为{bs|s∈1,...,S}，其中s为可见类别的索引，S为可见类别数目；设未可见类别的语义特征表示为{bu|u∈1,...,U}，其中u为未可见类别的索引，U为未可见类别数目；构建可见类别的语义特征和未可见类别的语义特征两者之间的关系为语义特征结构，表示为Wb，见公式(1)，公式(1)中，参数表示可见类别的语义特征bs和未可见类别的语义特征bu的相似度量值，表示式为公式(2)，其中参数d(bs,bu)＝(bs-bu)TσbI(bs-bu)，σb为语义度量尺度，取值为0.1；步骤1.2，所有类别的图像结构的计算过程如下：设可见类别的图像特征表示为{xs|s∈1,...,S}，其中s为可见类别的索引；设未可见类别的图像特征表示为{xu|u∈1,...,U}，其中u为未可见类别的索引；构建可见类别的图像特征和未可见类别的图像特征两者之间的关系为图像特征结构，表示为Wx，见公式(3)，公式(3)中，表示可见类别的图像特征xs和不可见类别的图像特征xu的相似度量值，表示式为公式(4)，因为未可知图像类，故初值赋值步骤2具体操作为：步骤2.1，建立适用于零样本图像分类的结构关系模型为公式(5)，公式(5)中，参数N是可见类别的样本数；变量β＝[β1β2]T为图像结构和语义结构的线性系数向量；变量ac∈RD为c类的变换向量，D为维度值；变量vj∈RD为第j未可见类在模型中的表示，1≤j≤U；λ和γ是折中参数，分别在{2-24，2-23，...,2-9}取值，通过分割训练集为5个互斥的集合，在其中4个训练，1个测试，进行交叉验证，取最好结果对应的λ和γ取值；变量当yn＝c时而当yn≠c时步骤2.2，求解步骤2.1中的公式(5)，首先设β＝[β1β2]T＝[0.50.5]T，vz＝[11...1]T∈RD且z＝{1，2，...,j-1,j+1,...,U}，则公式(5)等价为公式(6)，其中为步骤2.1中vj(j＝1,2,...,U)在公式(6)中得到的最优值；通过拉格朗日乘子法，由公式(6)式可得：其中，公式(7)中将公式(7)显式的求解代入公式(5)等价变换成公式(8)：再次通过拉格朗日乘子法，由公式(8)可得公式(9)：其中中通过公式(9)显式的求解β*，β*是β在公式(9)中的最优值。步骤2.2中公式(9)的变量β*的最优值，通过交替求解公式(7)和(9)五次即可得。步骤3具体为：首先，获取步骤2.2公式(9)中c类的变换向量ac，如公式(10)，其次，根据公式(10)的计算结果，估计未可见类的样本的分类标记即将第k个样本估计成c类别，如公式(11)：最后当完成估计，通过式(4)更新图像结构，通过公式(12)继续更新计算每个未可见类别的图像类表征xu：步骤4循环迭代50次能得到稳定的未可见类别的标记。本专利技术的有益效果是：本专利技术一种基于结构传播的零样本图像分类方法，不仅考虑语义类别的分布结构，而且考虑图像类别的分布结构，并将这两种结构统一到一种模型框架下获取其融合编码和图像到标记的非线性映射，通过迭代传播挖掘逼近图像特征和语义信息类间的真实分布结构，获得准确率高的零样本图像分类的效果。具体实施方式下面通过具体实施方式对本专利技术进行详细说明。本专利技术一种基于结构传播的零样本图像分类方法，包括以下步骤：步骤1，分别计算所有类别的语义结构和图像结构，具体为：步骤1.1，所有类别的语义结构的计算过程如下：设可见类别的语义特征表示为{bs|s∈1,...,S}，其中s为可见类别的索引，S为可见类别数目；设未可见类别的语义特征表示为{bu|u∈1,...,U}，其中u为未可见类别的索引，U为未可见类别数目；构建可见类别的语义特征和未可见类别的语义特征两者之间的关系为语义特征结构，表示为Wb，见公式(1)，公式(1)中，参数表示可见类别的语义特征bs和未可见类别的语义特征bu的相似度量值，表示式为公式(2)，其中参数d(bs,bu)＝(bs-bu)TσbI(bs-bu)，σb为语义度量尺度，取值为0.1；步骤1.2，所有类别的图像结构的计算过程如下：设可见类别的图像特征表示为{xs|s∈1,...,S}，其中s为可见类别的索引；设未可见类别的图像特征表示为{xu|u∈1,...,U}，其中u为未可见类别的索引；构建可见类别的图像特征和未可见类别的图像特征两者之间的关系为图像特征结构，表示为Wx，见公式(3)，公式(3)中，表示可见类别的图像特征xs和不可见类别的图像特征xu的相似度量值，表示式为公式(4)，因为未可知图像类，故初值赋值步骤2，根据步骤1中语义结构和图像结构的计算式，建立适用于零样本图像分类的结构关系模型，并求解优化式；步骤2.1，建立适用于零样本图像分类的结构关系模型为公式(5)，公式(5)中，参数N是可见类别的样本数；变量β＝[β1β2]T为图像结构和语义结构的线性系数向量；变量ac∈RD为c类的变换向量，D为维度值；变量vj∈RD为第j未可见类在模型中的表示，1≤j≤U；λ和γ是折中参数，分别在{2-24，2-23，...,2-9}取值，通过分割训练集为5个互斥的集合，在其中4个训练，1个测试，进行交叉验证，取最好结果对应的λ和γ取值；变量当yn＝c时而当yn≠c时步骤2.2，求解步骤2.1中的公式(5)，本文档来自技高网...

【技术保护点】
1.一种基于结构传播的零样本图像分类方法，其特征在于，包括以下步骤：步骤1，分别计算所有类别的语义结构和图像结构；步骤2，根据步骤1中语义结构和图像结构的计算式，建立适用于零样本图像分类的结构关系模型，并求解优化式；步骤3，根据步骤2中的优化式，继续更新图像结构；步骤4，循环迭代步骤2‑3，进行正向结构传播，直至得到稳定的未可见类别的标记。

【技术特征摘要】
1.一种基于结构传播的零样本图像分类方法，其特征在于，包括以下步骤：步骤1，分别计算所有类别的语义结构和图像结构；步骤2，根据步骤1中语义结构和图像结构的计算式，建立适用于零样本图像分类的结构关系模型，并求解优化式；步骤3，根据步骤2中的优化式，继续更新图像结构；步骤4，循环迭代步骤2-3，进行正向结构传播，直至得到稳定的未可见类别的标记。2.根据权利要求1所述的一种基于结构传播的零样本图像分类方法，其特征在于，所述步骤1具体为：步骤1.1，所有类别的语义结构的计算过程如下：设可见类别的语义特征表示为{bs|s∈1,...,S}，其中s为可见类别的索引，S为可见类别数目；设未可见类别的语义特征表示为{bu|u∈1,...,U}，其中u为未可见类别的索引，U为未可见类别数目；构建可见类别的语义特征和未可见类别的语义特征两者之间的关系为语义特征结构，表示为Wb，见公式(1)，公式(1)中，参数表示可见类别的语义特征bs和未可见类别的语义特征bu的相似度量值，表示式为公式(2)，其中参数d(bs,bu)＝(bs-bu)TσbI(bs-bu)，σb为语义度量尺度，取值为0.1；步骤1.2，所有类别的图像结构的计算过程如下：设可见类别的图像特征表示为{xs|s∈1,...,S}，其中s为可见类别的索引；设未可见类别的图像特征表示为{xu|u∈1,...,U}，其中u为未可见类别的索引；构建可见类别的图像特征和未可见类别的图像特征两者之间的关系为图像特征结构，表示为Wx，见公式(3)，公式(3)中，表示可见类别的图像特征xs和不可见类别的图像特征xu的相似度量值，表示式为公式(4)，因为未可知图像类，故初值赋值3.根据权利要求2所述的一种基于结构传播的零样本图像分类方法，其特征在于，所述步骤2具体操作为：步骤2.1，建立适用于零样本图像分类的结构关系模型为公式...

【专利技术属性】
技术研发人员：蔺广逢，缪亚林，范引娣，陈万军，张二虎，朱虹，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西,61