一种基于生成式鉴别性对比优化的零样本分类方法技术

本发明专利技术公开了一种基于生成式鉴别性对比优化的零样本分类方法，包括以下步骤：利用重构损失及对比损失控制生成特征具有关联性与鉴别性的生成式网络，所述生成式网络包括特征编码器E、特征生成器G、真伪判别器D及分类器C；构建重构损失函数及对比损失函数；利用重构损失函数、对比损失函数并联合真伪判别器对生成式网络进行对抗训练；通过训练后的特征生成器G为各不可见类别生成相应的不可见类别的视觉特征，然后将生成样本与对应语义组成对，再与训练数据集中的样本组合，以形成新的训练数据集，再利用新的训练数据集对分类器进行训练，最后利用训练后的分类器进行零样本分类，该方法的分类精度较高。

【技术实现步骤摘要】
一种基于生成式鉴别性对比优化的零样本分类方法
本专利技术属于计算机视觉
，涉及基于生成式的鉴别性对比优化的零样本分类方法。
技术介绍
随着移动互联网络的日益增长，硬件设备不断迭代和更新，计算机性能不断提升，大规模数据表现出爆发式增长，在这些增长的数据里蕴藏着诸多可以被用来服务人类生活和预测未来世界的基础性信息。本文重点关注图像视觉特征数据的处理与应用。随着深度学习技术的发展和大量有标签的训练数据的出现，监督学习的性能出现了巨大的提升。然而，有监督学习通常需要为每个目标类搜集数百个甚至上千个有标签的训练样本，需要大量带标签的数据。然而在许多实际场景中缺乏这些数据。目前机器学习领域存在一些以有标签训练数据少为主要特征的解决方法，更加符合人类的学习机制，也使得检测识别更具有智能。为了解决对缺少或完全缺少有标签的训练数据的学习，提出了小样本学习(one/fewshotlearning)与零样本学习任务。该任务在使得机器学习系统具备不断学习的能力以及利用已知数据推断未知数据中起了重要作用，基于零样本学习将成为未来多个研究领域的热点问题。在没有任何观测数据的情况下进行分类识别任务被称为零样本学习(zeroshotlearningZSL)，其关键思想在于探索和利用未知类与已知类在语义或其他高层特征间的相关知识，从而达到知识迁移的目的。一般经典的零样本学习在测试阶段只有不可见类不含可见类别。这显然与实际情况不符，现实生活中我们需要对见过或未见过都需要识别出来，所以推广零样本学习任务。当模型接收到一个新的图像时，并不知道它是来自于可见类还是不可见类，因此它需要能够从可见类和不可见类的组合中对图像进行分类，称为广义零样本学习(generalizedzeroshotlearningGZSL)。现有零样本学习方法大致分为三大类，一是嵌入式方法，二是生成式方法，三是图卷积方法。本专利技术是基于生成式方法进行改进优化。由于零样本学习面临着域漂移问题。产生域漂移问题，本文认为存在两个方面的原因。一方面，是因为当同一种属性在不同的类别中，视觉特征表达可能差别很大。复杂的视觉特征很难和语义信息一一对应，使得分类困难。另一方面，是因为零样本学习设置中可见类别和不可见类别之间互不相交，对于一些类来说，它们的数据样本互不相关，它们的数据分布不尽相同，这样就导致了它们之间数据域存在着很大的差距。因此，仅仅使用来自可见类的数据样本学习不同空间的映射函数而不对不可见类做出任何调整，必将导致数据存在严重的域漂移问题。生成式零样本学习方法利用对抗生成网络(GAN)来处理零样本学习任务。零样本学习的主要挑战来自于在训练阶段没有可见的视觉样本。通过利用GAN，人们可以从噪音中合成看不见的视觉特征。虽然生成式方法可以在零样本学习中作为基线应用，但在之前的生成式方法中仍然存在两方面的问题。一是生成的特征过于随意，完全远离真实的特征分布。二是合成的不可见特征容易被混淆，因为GAN主要针对可见的样本进行训练。我们将此问题命名为特征功能性混淆问题。在传统的零样本学习中，特征功能性混淆问题并不一定很严重，因为只有不可见的样本测试才会涉及到。然而，在GZSL中，特性混淆是一个致命的问题，因为测试数据由可见和不可见的样本组成。如果合成的不可见特征容易产生可见特征，则不可见样本会被误分类为可见类别，导致不可见类分类准确率非常低，总体模型分类精度不可避免的变低。
技术实现思路
本专利技术的目的在于克服上述现有技术的缺点，提供了一种基于生成式鉴别性对比优化的零样本分类方法，该方法的分类精度较高。为达到上述目的，本专利技术所述的基于生成式鉴别性对比优化的零样本分类方法包括以下步骤：利用重构损失及对比损失控制生成特征具有关联性与鉴别性的生成式网络，所述生成式网络包括特征编码器E、特征生成器G、真伪判别器D及分类器C；构建重构损失函数及对比损失函数；利用重构损失函数及对比损失函数并联合真伪判别器对生成式网络进行对抗训练；通过训练后的特征生成器G为各不可见类别生成相应的不可见类别的视觉特征，然后将生成样本与对应语义组成对，再与训练数据集中的样本组合，以形成新的训练数据集，再利用新的训练数据集对分类器进行训练，最后利用训练后的分类器进行零样本分类。重构损失函数为：其中，P(z):N(0,1)，x:P(x)和a:P(a)，P(x)和P(a)分别为真实特征及语义嵌入的先验分布，DKL为Kullback-Leibler散度，a为语义属性，x为视觉特征，为虚拟特征。对比损失函数为：其中，a'为特征生成器G的输入语义符号。当a'＝a时，则采用重构损失函数训练优化生成式网络。当a'≠a时，则采用对比损失函数训练优化生成式网络。在对生成时网络进行训练时，真伪判别器D根据式(3)判断训练数据(x,a)的真实性，其中，对于特征生成器G与真伪判别器D的对抗性损失函数为：基于式(5)利用新的训练数据集对分类器C进行训练，其中，其中，y为样本真实标签，为分类器输出的预测结果。取最高的分类得分为最终结果。本专利技术具有以下有益效果：本专利技术所述的基于生成式鉴别性对比优化的零样本分类方法在具体操作时，构建特征编码器及特征生成器，为保证生成特征的质量稳定性，构建重构损失函数及对比损失函数，以保证生成特征与原数据域的关联性及鉴别性，再通过真伪判别器判断是否为原数据，再进行对抗性训练，以提升判别器判别真伪的能力，同时提升特征生成器生成特征靠近真实的能力，使得模型充分学习现有数据分布，以挖掘出接近于真实的隐藏规则，并作为权重信息保留到模型中，从而达到优化网络正确分类可见类及不可见类数据的目的，继而提高分类精度。附图说明图1为本专利技术中零样本学习和广义零样本学习示意图；图2为鉴别性对比特征网络DCF-Net示意图；图3为在AwA2数据集上原图特征与生成鉴别性特征对比示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，不是全部的实施例，而并非要限制本专利技术公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本专利技术公开的概念。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。本专利技术构建利用重构损失和对比损失控制生成特征具有关联性与鉴别性的生成式网络，参考图1，所述生成式网络包括以下几个神经网络模块：1)特征编码器E，特征编码器E通过映射数据点编码的方式E(x,a):x×a→z，将一对图像的视觉特征x及类别语义嵌入a作为特征编码器PE(z|x,a)的输入，通过pE(z|x,a)计算在给定视觉特征x及其对应语义属性a上的隐藏变量由于网络模型较为复杂，而全连接层结构本文档来自技高网...

【技术保护点】
1.一种基于生成式鉴别性对比优化的零样本分类方法，其特征在于，包括以下步骤：/n利用重构损失及对比损失控制生成特征具有关联性与鉴别性的生成式网络，所述生成式网络包括特征编码器E、特征生成器G、真伪判别器D及分类器C；/n构建重构损失函数及对比损失函数；/n利用重构损失函数、对比损失函数联合真伪判别器对生成式网络进行对抗训练；/n通过训练后的特征生成器G为各不可见类别生成相应的不可见类别的视觉特征，然后将生成样本与对应语义组成对，再与训练数据集中的样本组合，以形成新的训练数据集，再利用新的训练数据集对分类器进行训练，最后利用训练后的分类器进行零样本分类。/n

【技术特征摘要】
1.一种基于生成式鉴别性对比优化的零样本分类方法，其特征在于，包括以下步骤：
利用重构损失及对比损失控制生成特征具有关联性与鉴别性的生成式网络，所述生成式网络包括特征编码器E、特征生成器G、真伪判别器D及分类器C；
构建重构损失函数及对比损失函数；
利用重构损失函数、对比损失函数联合真伪判别器对生成式网络进行对抗训练；
通过训练后的特征生成器G为各不可见类别生成相应的不可见类别的视觉特征，然后将生成样本与对应语义组成对，再与训练数据集中的样本组合，以形成新的训练数据集，再利用新的训练数据集对分类器进行训练，最后利用训练后的分类器进行零样本分类。


2.根据权利要求1所述的基于生成式鉴别性对比优化的零样本分类方法，其特征在于，重构损失函数为：



其中，P(z):N(0,1)，x:P(x)和a:P(a)，P(x)和P(a)分别为真实特征及语义嵌入的先验分布，DKL为Kullback-Leibler散度，a为语义属性，x为视觉特征，为虚拟特征。


3.根据权利要求2所述的基于生成式鉴别性对比优化的零样本分类方法，其特征在于，对比损失函数为：<...

【专利技术属性】
技术研发人员：张琳，庞善民，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61