基于生成对抗网络的零样本图像分类模型及其方法技术

本发明专利技术涉及一种基于生成对抗网络的零样本图像分类模型，包括生成对抗网络模块，用于获取视觉误差信息；视觉特征提取网络处理模块，用于得到图像一维视觉特征向量；属性语义转换网络模块，用两层的线性激活层将低维的属性语义向量映射到与视觉特征向量维度相同的高维特征向量；视觉‑属性语义衔接网络，实现视觉特征向量与属性语义特征向量的融合；得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果。本发明专利技术能够有效的解决图像类别标签缺失问题。

Zero sample image classification model and its method based on generation countermeasure network

【技术实现步骤摘要】
基于生成对抗网络的零样本图像分类模型及其方法
本专利技术涉及零样本图像分类模型，具体涉及一种基于生成对抗网络的零样本图像分类模型及其方法。
技术介绍
当前，在进行图像分类的过程中，如若想准确对图像进行分类则需要告知模型每个类别的图像标签。然而，图像类别数往往非常大，而且有可能不定时增加新的类别，如果每次都采用人工去标注每个类别标签，那么工作量将会极其巨大。在这过程中，有些类别也只有少量或者没有训练样本标签，而整个类别没有训练标签的属于零样本，这样的零样本采用传统的机器学习方法构造分类器是无法奏效的。零样本学习图像分类目的是为了解决整个类别标签缺失问题，对训练图像数据没有见过的类别进行分类。当前，零样本图像分类思想和迁移学习是一样的，通过训练已有的视觉类别信息迁移到新图像类别，并实现对其分类。人类能够通过学习已见过的视觉信息与语义信息，让这些建立联系，通过这样的联系去判别新图像类别，使得具备识别未见过图像类别的能力。假设要教会一名儿童可以识别出一匹斑马但从来没有认识过斑马，而当他被告诉说马与斑马外形非常相似，颜色有点像企鹅一样黑白色，外表条纹有点像老虎一样黑白相间的才是斑马。鉴于这名儿童已经学习过马的视觉信息，于是，在这名儿童再看马和斑马的时候，就可能准确辨认出哪些是斑马哪些是马。在零样本学习图像分类中，未知的图像类别并没有已知的原图像训练样本，但可以通过对已知图像类别相关知识的学习，然后迁移到未知的图像类别当中，从而对未知的图像类别样本进行结果预测。当前，零样本图像分类越来越受到研究者的关注，通过研究图像分类的相关工作可以发现，在随着互联网的快速发展，图片数据大量增加与传播下，借助计算机快速给定分类标签的需求也随之增加，一个重要的问题的就是如何有效的解决图像类别标签缺失问题。目前较为前沿的方法大都对见过的源数据进行训练，然后将训练结果泛化到未见过的类别。区分目标数据中见过的类别和未见过的类别仅仅利用的是属性语义的指导，并没有用到视觉信息来辨别。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于生成对抗网络的零样本图像分类模型及其方法，能够有效的解决图像类别标签缺失问题。为实现上述目的，本专利技术采用如下技术方案：一种基于生成对抗网络的零样本图像分类模型，包括生成对抗网络模块，用于获取视觉误差信息；视觉特征提取网络处理模块，用于得到图像一维视觉特征向量；属性语义转换网络模块，用两层的线性激活层将低维的属性语义向量映射到与视觉特征向量维度相同的高维特征向量；视觉-属性语义衔接网络，实现视觉特征向量与属性语义特征向量的融合；得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果。进一步的，所述所述视觉特征网络采用ResNet101。进一步的，所述属性语义转换网络用于产生所有类别的属性特征表征。进一步的，所述视觉-属性语义衔接网络采用完全拼接方式，将有标签数据中每一种图像类别视觉特征与所有有标签数据类别的属性语义特征拼接，将无标签数据中每一种图像类别视觉特征与所有无标签数据类别的属性语义特征拼接。进一步的，所述模型的损失函数的优化分为生成器LG和判别器LD表示为：其中，ωb、ωc、ωd和ωe是调节各损失的参数；Lb为深度视觉向量间的误差优化函数：Lc为差距损失函数：Ld为特征匹配误差损失函数：Le为二进制交叉熵损失函数：其中y∈{0，1}，“1”表示优化判断是源数据x而“0”表示判断为重构数据一种基于生成对抗网络的零样本图像分类方法，包括以下步骤：步骤S1:将全量数据分为源数据和目标数据；步骤S2:将源数据集和目标数据集输入视觉特征网络，将原始图像映射到视觉特征空间,得到图像视觉特征向量；步骤S3:根据得到的图像视觉特征向量，利用生成对抗网络获取视觉误差信息；步骤S4:将原始图像的低维属性语义通过语义转换网络映射到高维，得到语义特征向量；步骤S5:根据得到的图像视觉特征向量和语义特征向量，利用视觉-属性语义衔接网络完成融合，得到拼接结果；步骤S6:根据拼接结果和视觉误差信息，通过得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果。进一步的，所述生成对抗网络包括视觉特征网络，生成网络GE(x)和GD(z)，判别网络和重构编码网络(1)视觉特征网络，采用深度残差网络，去掉最后的分类层和池化层，提取到深度特征图；(2)生成网络由编码器GE(x)和解码器GD(z)构成，对于送入深度特征图数据x经过编码器GE(x)得到深度视觉向量z，z经过解码器GD(z)得到x的重构数据(3)判别网络网络与编码器GE(x)相同，对原始图像x判为真，重构图像判为假，不断优化重构数据与原数据x的差距，直至满足预设要求；(4)重构编码网络对重构图像再编码，由编码器得到重构图像编码的深度视觉向量使用Lb可以不断缩小深度视觉向量z与的差距，直至满足预设要求。本专利技术与现有技术相比具有以下有益效果：1、本专利技术生成器网络使得模型能够将输入图像映射到较低维度的矢量，该较低维度矢量用于重建所生成的输出图像；然后，在训练期间最小化这些图像与深度视觉向量之间的距离有助于学习正常样本的数据分布。2、本专利技术利用了有标签无数也利用了无标签数据，能够有效缓解强偏问题，同时也能够提升模型区分目标数据中已见过的类别和未见过的类别。附图说明图1是本专利技术一实施例中分类模型原理图；图2是本专利技术一实施例中视觉-属性语义嵌入网络；图3是本专利技术一实施例中生成对抗网络架构。具体实施方式下面结合附图及实施例对本专利技术做进一步说明。请参照图1，本专利技术提供一种基于生成对抗网络的零样本图像分类模型，包括生成对抗网络模块，用于获取视觉误差信息；视觉特征提取网络处理模块，用于得到图像一维视觉特征向量；属性语义转换网络模块，用两层的线性激活层将低维的属性语义向量映射到与视觉特征向量维度相同的高维特征向量；视觉-属性语义衔接网络，实现视觉特征向量与属性语义特征向量的融合；得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果。在本实施例中，模块均采用双层非线性形式，都是可微分的，包括卷积层，全连接层，ReLU层和Softmax层。在本实施例中，全量数据所属领域分别是鸟类与动物类的，每一类的图像数据相对均衡，数据划分比例也基本均衡，具本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的零样本图像分类模型，其特征在于，包括/n生成对抗网络模块，用于获取视觉误差信息；/n视觉特征提取网络处理模块，用于得到图像一维视觉特征向量；/n属性语义转换网络模块，用两层的线性激活层将低维的属性语义向量映射到与视觉特征向量维度相同的高维特征向量；/n视觉-属性语义衔接网络，实现视觉特征向量与属性语义特征向量的融合；/n得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果。/n

【技术特征摘要】
1.一种基于生成对抗网络的零样本图像分类模型，其特征在于，包括
生成对抗网络模块，用于获取视觉误差信息；
视觉特征提取网络处理模块，用于得到图像一维视觉特征向量；
属性语义转换网络模块，用两层的线性激活层将低维的属性语义向量映射到与视觉特征向量维度相同的高维特征向量；
视觉-属性语义衔接网络，实现视觉特征向量与属性语义特征向量的融合；
得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果。


2.根据权利要求1所述的基于生成对抗网络的零样本图像分类模型，其特征在于：所述所述视觉特征网络采用ResNet101。


3.根据权利要求1所述的基于生成对抗网络的零样本图像分类模型，其特征在于：所述属性语义转换网络用于产生所有类别的属性特征表征。


4.根据权利要求1所述的基于生成对抗网络的零样本图像分类模型，其特征在于：所述视觉-属性语义衔接网络采用完全拼接方式，将有标签数据中每一种图像类别视觉特征与所有有标签数据类别的属性语义特征拼接，将无标签数据中每一种图像类别视觉特征与所有无标签数据类别的属性语义特征拼接。


5.根据权利要求1所述的基于生成对抗网络的零样本图像分类模型，其特征在于：所述模型的损失函数的优化分为生成器LG和判别器LD表示为：



其中，ωb、ωc、ωd和ωe是调节各损失的参数；
Lb为深度视觉向量间的误差优化函数：



Lc为差距损失函数：



Ld为特征匹配误差损失函数：



Le为二进制交叉熵损失函数：...

【专利技术属性】
技术研发人员：廖祥文，肖永强，苏锦河，徐戈，陈开志，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35