基于广义零样本学习的图像生成方法及装置制造方法及图纸

本申请公开了基于广义零样本学习的图像生成方法及装置，方法包括：采用k

【技术实现步骤摘要】
基于广义零样本学习的图像生成方法及装置


[0001]本申请涉及图像处理
，尤其涉及基于广义零样本学习的图像生成方法及装置。

技术介绍

[0002]在零样本学习(Zero
‑
ShotLearning)中，数据集被划分为可见类和不可见类两个部分；而且，零样本学习可以分为传统零样本学习(ZSL)和广义零样本学习(GZSL)；由于在大部份情况下，训练好的模型需要同时适用于可见和不可见类，所以GZSL已经成为主流的研究点。根据是否生成不可见类的视觉特征将零样本学习转化为有监督任务，零样本学习还可以分为非生成方法和生成方法。
[0003]非生成方法主要利用嵌入策略将视觉特征和语义特征进行关联；早期的方法是训练一个映射器，将视觉特征映射到语义空间；然而，后来的研究者认为将视觉特征映射到语义空间会造成严重的枢纽问题。尽管现有的基于生成方法的GZSL模型在许多任务上取得了显著的成果，但它们往往没有充分考虑实例级别特征信息的重要性。例如，语义信息中对一匹马的描述包括有四肢、头部、尾巴等，然而，生成器只能生成包含所有语义信息的视觉特征；假设有一张正面拍摄的马匹照片，此时由于尾巴被角度遮挡，分类器可能将其错误分类。

技术实现思路

[0004]本申请提供了基于广义零样本学习的图像生成方法及装置，用于解决现有技术忽略了实例级特征的重要性，导致广义零样本学习分类过程判别性不足，使得分类结果缺乏准确性的技术问题。
[0005]有鉴于此，本申请第一方面提供了基于广义零样本学习的图像生成方法，包括：
[0006]采用k
‑
means算法和预设视觉
‑
语义映射器根据初始可见视觉特征图生成可见实例语义特征，所述初始可见视觉特征图包括对应的初始可见语义特征；
[0007]基于趋同进化理论分析所述可见实例语义特征与所述初始可见语义特征之间的差异性，并将所述差异性迁移至不可见语义特征中，得到增强不可见语义特征；
[0008]采用预设WGAN根据所述可见实例语义特征和所述增强不可见语义特征生成优化视觉特征图，所述预设WGAN包括基础损失、分类损失和对比损失。
[0009]优选地，所述采用k
‑
means算法和预设视觉
‑
语义映射器根据初始可见视觉特征图生成可见实例语义特征，包括：
[0010]采用k
‑
means算法基于预设平方差损失将初始可见视觉特征图聚类为多个簇，其中每个所述簇包括簇聚类中心；
[0011]通过预设视觉
‑
语义映射器将所述簇聚类中心映射至语义空间，得到可见实例语义特征。
[0012]优选地，所述基于趋同进化理论分析所述可见实例语义特征与所述初始可见语义
特征之间的差异性，并将所述差异性迁移至不可见语义特征中，得到增强不可见语义特征，包括：
[0013]计算所述可见实例语义特征与所述初始可见语义特征之间的差异性，同时计算所述初始可见语义特征与初始不可见语义特征之间的距离值；
[0014]基于趋同进化理论根据所述距离值将所述差异性迁移至不可见语义特征中，得到增强不可见语义特征。
[0015]优选地，所述采用预设WGAN根据所述可见实例语义特征和所述增强不可见语义特征生成优化视觉特征图，包括：
[0016]通过预设对比嵌入层的映射器将所述可见实例语义特征和所述增强不可见语义特征映射至嵌入层，得到嵌入层特征；
[0017]基于预设高斯噪声和所述预设对比嵌入层中的对比网络层，采用预设WGAN根据所述可见实例语义特征和所述增强不可见语义特征生成优化视觉特征图。
[0018]优选地，所述采用预设WGAN根据所述可见实例语义特征和所述增强不可见语义特征生成优化视觉特征图，所述预设WGAN包括基础损失、分类损失和对比损失，之后还包括：
[0019]结合所述优化视觉特征图和真实视觉特征图对广义零样本学习分类器进行分类训练，得到优化分类器。
[0020]本申请第二方面提供了基于广义零样本学习的图像生成装置，包括：
[0021]可见增强单元，用于采用k
‑
means算法和预设视觉
‑
语义映射器根据初始可见视觉特征图生成可见实例语义特征，所述初始可见视觉特征图包括对应的初始可见语义特征；
[0022]不可见增强单元，用于基于趋同进化理论分析所述可见实例语义特征与所述初始可见语义特征之间的差异性，并将所述差异性迁移至不可见语义特征中，得到增强不可见语义特征；
[0023]视觉生成单元，用于采用预设WGAN根据所述可见实例语义特征和所述增强不可见语义特征生成优化视觉特征图，所述预设WGAN包括基础损失、分类损失和对比损失。
[0024]优选地，所述可见增强单元，具体用于：
[0025]采用k
‑
means算法基于预设平方差损失将初始可见视觉特征图聚类为多个簇，其中每个所述簇包括簇聚类中心；
[0026]通过预设视觉
‑
语义映射器将所述簇聚类中心映射至语义空间，得到可见实例语义特征。
[0027]优选地，所述不可见增强单元，具体用于：
[0028]计算所述可见实例语义特征与所述初始可见语义特征之间的差异性，同时计算所述初始可见语义特征与初始不可见语义特征之间的距离值；
[0029]基于趋同进化理论根据所述距离值将所述差异性迁移至不可见语义特征中，得到增强不可见语义特征。
[0030]优选地，所述视觉生成单元，具体用于：
[0031]通过预设对比嵌入层的映射器将所述可见实例语义特征和所述增强不可见语义特征映射至嵌入层，得到嵌入层特征；
[0032]基于预设高斯噪声和所述预设对比嵌入层中的对比网络层，采用预设WGAN根据所述可见实例语义特征和所述增强不可见语义特征生成优化视觉特征图。
[0033]优选地，还包括：
[0034]模型训练单元，用于结合所述优化视觉特征图和真实视觉特征图对广义零样本学习分类器进行分类训练，得到优化分类器。
[0035]从以上技术方案可以看出，本申请实施例具有以下优点：
[0036]本申请中，提供了基于广义零样本学习的图像生成方法，包括：采用k
‑
means算法和预设视觉
‑
语义映射器根据初始可见视觉特征图生成可见实例语义特征，初始可见视觉特征图包括对应的初始可见语义特征；基于趋同进化理论分析可见实例语义特征与初始可见语义特征之间的差异性，并将差异性迁移至不可见语义特征中，得到增强不可见语义特征；采用预设WGAN根据可见实例语义特征和增强不可见语义特征生成优化视觉特征图，预设WGAN包括基础损失、分类损失和对比损失。
[0037]本申请提供的基于广义零样本学习的图像生成方法，不仅对可见类样本和不可见类进行增强处理，同时还提取可视觉特征图中的实例语义特征，通过实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于广义零样本学习的图像生成方法，其特征在于，包括：采用k
‑
means算法和预设视觉
‑
语义映射器根据初始可见视觉特征图生成可见实例语义特征，所述初始可见视觉特征图包括对应的初始可见语义特征；基于趋同进化理论分析所述可见实例语义特征与所述初始可见语义特征之间的差异性，并将所述差异性迁移至不可见语义特征中，得到增强不可见语义特征；采用预设WGAN根据所述可见实例语义特征和所述增强不可见语义特征生成优化视觉特征图，所述预设WGAN包括基础损失、分类损失和对比损失。2.根据权利要求1所述的基于广义零样本学习的图像生成方法，其特征在于，所述采用k
‑
means算法和预设视觉
‑
语义映射器根据初始可见视觉特征图生成可见实例语义特征，包括：采用k
‑
means算法基于预设平方差损失将初始可见视觉特征图聚类为多个簇，其中每个所述簇包括簇聚类中心；通过预设视觉
‑
语义映射器将所述簇聚类中心映射至语义空间，得到可见实例语义特征。3.根据权利要求1所述的基于广义零样本学习的图像生成方法，其特征在于，所述基于趋同进化理论分析所述可见实例语义特征与所述初始可见语义特征之间的差异性，并将所述差异性迁移至不可见语义特征中，得到增强不可见语义特征，包括：计算所述可见实例语义特征与所述初始可见语义特征之间的差异性，同时计算所述初始可见语义特征与初始不可见语义特征之间的距离值；基于趋同进化理论根据所述距离值将所述差异性迁移至不可见语义特征中，得到增强不可见语义特征。4.根据权利要求1所述的基于广义零样本学习的图像生成方法，其特征在于，所述采用预设WGAN根据所述可见实例语义特征和所述增强不可见语义特征生成优化视觉特征图，包括：通过预设对比嵌入层的映射器将所述可见实例语义特征和所述增强不可见语义特征映射至嵌入层，得到嵌入层特征；基于预设高斯噪声和所述预设对比嵌入层中的对比网络层，采用预设WGAN根据所述可见实例语义特征和所述增强不可见语义特征生成优化视觉特征图。5.根据权利要求1所述的基于广义零样本学习的图像生成方法，其特征在于，所述采用预设WGAN根据所述可见实例语义特征和所述增强不可见语义特...

【专利技术属性】
技术研发人员：房小兆，胡曦，曾峙翔，胡妍，刘源源，韩娜，周郭许，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：