基于生成对抗网络的零样本图像分类模型及其方法技术

本发明专利技术涉及一种基于生成对抗网络的零样本图像分类模型，包括生成对抗网络模块，用于获取视觉误差信息；视觉特征提取网络处理模块，用于得到图像一维视觉特征向量；属性语义转换网络模块，用两层的线性激活层将低维的属性语义向量映射到与视觉特征向量维度相同的高维特征向量；视觉‑属性语义衔接网络，实现视觉特征向量与属性语义特征向量的融合；得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果。本发明专利技术能够有效的解决图像类别标签缺失问题。

Zero sample image classification model and its method based on generation countermeasure network

【技术实现步骤摘要】
基于生成对抗网络的零样本图像分类模型及其方法
本专利技术涉及零样本图像分类模型，具体涉及一种基于生成对抗网络的零样本图像分类模型及其方法。
技术介绍
当前，在进行图像分类的过程中，如若想准确对图像进行分类则需要告知模型每个类别的图像标签。然而，图像类别数往往非常大，而且有可能不定时增加新的类别，如果每次都采用人工去标注每个类别标签，那么工作量将会极其巨大。在这过程中，有些类别也只有少量或者没有训练样本标签，而整个类别没有训练标签的属于零样本，这样的零样本采用传统的机器学习方法构造分类器是无法奏效的。零样本学习图像分类目的是为了解决整个类别标签缺失问题，对训练图像数据没有见过的类别进行分类。当前，零样本图像分类思想和迁移学习是一样的，通过训练已有的视觉类别信息迁移到新图像类别，并实现对其分类。人类能够通过学习已见过的视觉信息与语义信息，让这些建立联系，通过这样的联系去判别新图像类别，使得具备识别未见过图像类别的能力。假设要教会一名儿童可以识别出一匹斑马但从来没有认识过斑马，而当他被告诉说马与斑马外形非常相似，颜色有点像企鹅一样黑白色，外表本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的零样本图像分类模型，其特征在于，包括/n生成对抗网络模块，用于获取视觉误差信息；/n视觉特征提取网络处理模块，用于得到图像一维视觉特征向量；/n属性语义转换网络模块，用两层的线性激活层将低维的属性语义向量映射到与视觉特征向量维度相同的高维特征向量；/n视觉-属性语义衔接网络，实现视觉特征向量与属性语义特征向量的融合；/n得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果。/n

【技术特征摘要】
1.一种基于生成对抗网络的零样本图像分类模型，其特征在于，包括
生成对抗网络模块，用于获取视觉误差信息；
视觉特征提取网络处理模块，用于得到图像一维视觉特征向量；
属性语义转换网络模块，用两层的线性激活层将低维的属性语义向量映射到与视觉特征向量维度相同的高维特征向量；
视觉-属性语义衔接网络，实现视觉特征向量与属性语义特征向量的融合；
得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果。


2.根据权利要求1所述的基于生成对抗网络的零样本图像分类模型，其特征在于：所述所述视觉特征网络采用ResNet101。


3.根据权利要求1所述的基于生成对抗网络的零样本图像分类模型，其特征在于：所述属性语义转换网络用于产生所有类别的属性特征表征。


4.根据权利要求1所述的基于生成对抗网络的零样本图像分类模型，其特征在于：所述视觉-属性语义衔接网络采用完全拼接方式，将有标签数据中每一种图像类别视觉特征与所有有标签数据类别的属性语义特征拼接，将无标签数据中每一种图像类别视觉特征与所有无标签数据类别的属性语义特征拼接。


5.根据权利要求1所述的基于生成对抗网络的零样本图像分类模型，其特征在于：所述模型的损失函数的优化分为生成器LG和判别器LD表示为：



其中，ωb、ωc、ωd和ωe是调节各损失的参数；
Lb为深度视觉向量间的误差优化函数：



Lc为差距损失函数：



Ld为特征匹配误差损失函数：



Le为二进制交叉熵损失函数：...

【专利技术属性】
技术研发人员：廖祥文，肖永强，苏锦河，徐戈，陈开志，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35