一种基于高斯混合分布VAE的广义零样本识别方法技术

本发明专利技术涉及一种基于高斯混合分布VAE的广义零样本识别方法，该方法包括以下步骤：步骤1：预训练res101网络后，经过该网络对样本图片特征提取并转化得到视觉特征；步骤2：针对样本图片的文本信息通过标注和设定得到语意特征；步骤3：建立分别用于处理视觉特征和语意特征的两种VAE模型，并进一步构建混合高斯分布VAE网络模型；步骤4：利用混合高斯分布VAE网络模型进行训练，分别将两类特征映射到对应的隐藏空间，并服从混合高斯分布，完成模型训练；步骤5：利用训练完成模型对实际待测试的特征进行分类，经过验证测试得到识别结果。与现有技术相比，本发明专利技术具有识别准确度高，识别速度快等优点。

A generalized zero sample recognition method based on VAE of Gaussian mixture distribution

【技术实现步骤摘要】
一种基于高斯混合分布VAE的广义零样本识别方法
本专利技术涉及一种广义零样本识别方法，尤其是涉及一种基于高斯混合分布VAE的广义零样本识别方法。
技术介绍
近几年来，人工智能的热潮席卷世界，并且取得了很多优秀和标志性的成果。然而，人工智能的发展不得不依赖于庞大的数据库。在人工智能的计算中，数据库质量的重要性有时甚至超越了算法本身的重要性。当前，数据库存在一个很大的问题就是：样本的更新，如何能让计算机在满足识别旧的样本的同时，又识别出新的样本，成为一项具有挑战又十分具有研究意义的一项课题和任务。为了解决上述问题，人们开始着手零样本学习。所谓零样本学习，就是识别出训练集中不存在的类别。例如：为了识别猫、狗和猪，就需要提供大量的猫、狗和猪的图片用以模型训练，然后给定一张新的图片，就能判定属于猫、狗或猪的其中哪一类。但是对于之前训练图片未出现的类别牛、老虎等，这个模型便无法将牛、老虎识别出来。在过去的十几年中，人们开始着手零样本学习，主要工作包括课题的基本定义、算法性能的评估，算法的改进和创新。但是，之前绝大多数零样本学习的算法都是只测试新的类别，对于旧的类别没有一个较确切的评估，即测试时，不测试旧的类别猫、狗、猪，只测试新的类别牛、老虎。这并不符合现实生活中新旧类别同时检测的情景。因而，人们进一步提出了广义零样本学习这一更具有现实意义的概念，即在测试时加入了旧的类别的评估，将猫、狗、猪、牛和老虎放在一起进行测试。零样本学习的主要方法是视觉特征和语意特征的联系，广义零样本学习在之前研究工作的基础上，也形成了三种解决该问题的方法。第一种是视觉特征到语意特征的映射，该方法一般是视觉特征通过简单的特征提取，然后通过全连接层映射到与语意特征，最后实现目标的识别。但是，高纬度的信息映射的低纬度必然造成信息的丢失，为了缓解这一问题人们进一步提出了第二种方法，即语意特征到视觉特征的映射。该方法主要是通过数据生成器，将语意特征映射到视觉特征。第三种方法是两种特征变量的交叉映射，典型的方法是将两种变量映射到一个隐藏空间，在同一个隐藏空间里，实现了两种特征的联系。因此，综上所述，目前针对广义零样本识别的方法选择较少，并且现有的相关识别方法的准确度以及速度等性能不佳，大量的方法出现有准确度和综合性能评估结果不均衡的现象。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于高斯混合分布VAE的广义零样本识别方法。本专利技术的目的可以通过以下技术方案来实现：一种基于高斯混合分布VAE的广义零样本识别方法，该方法包括以下步骤：步骤1：预训练res101网络后，经过该网络对样本图片特征提取并转化得到视觉特征；步骤2：针对样本图片的文本信息通过标注和设定得到语意特征；步骤3：建立分别用于处理视觉特征和语意特征的两种VAE模型，并进一步构建混合高斯分布VAE网络模型；步骤4：利用混合高斯分布VAE网络模型进行训练，分别将两类特征映射到对应的隐藏空间，并服从混合高斯分布，完成模型训练；步骤5：利用训练完成模型对实际待测试的特征进行分类，经过验证测试得到识别结果。进一步地，所述的步骤1具体包括：采用经过Imagenet训练的res101网络针对样本图片进行特征提取并转化得到视觉特征。进一步地，所述的步骤2具体包括：针对样本图片的文本信息，通过标注转换为文字向量后，再通过数字信息设定转换得到向量形式的语意特征。进一步地，所述的步骤3中的混合高斯分布VAE网络模型包括softmax层和与其分别连接的两个VAE模型，每个所述VAE模型包括通过连接层相互连接的编码器、隐藏空间和解码器。进一步地，所述的编码器包括多个注意力权重层、用于表示高斯分布方差和均值的多个Σ层和多个μ层。进一步地，所述的步骤4中利用混合高斯分布VAE网络模型进行训练过程的loss函数为：L＝λ1*LCA+λ2*LDA+λ3*LVAE式中，L表示loss函数，LCA为VAE模型恢复两种特征的能力，λ1为LCA在整个loss函数中的影响因素，LDA为视觉特征和语意特征两个分布的相似程度，λ2为LDA在整个loss函数中的影响因素，LVAE为视觉特征和语意特征理论概率分布与实际概率分布的相似程度，λ3为LVAE在整个loss函数中的影响因素。进一步地，所述的VAE模型恢复两种特征的能力LCA的计算公式为：式中，k和j表示特征的类型，x(j)和x(k)表示同一个类别中某一个样本的第j个和第k个类型特征，Ek和Dj分别表示第k类特征的编码器和第j类特征的解码器。进一步地，所述的视觉特征和语意特征两个分布的相似程度LDA的计算公式为：式中，A和V分别表示语意特征和视觉特征，k和j表示特征的类型，μ和∑分别表示概率分布的方差和均值。进一步地，所述的视觉特征和语意特征理论概率分布与实际概率分布的相似程度LVAE的计算公式为：式中，qφ和pθ分别表示模拟的概率分布和实际数据本身的概率分布。与现有技术相比，本专利技术具有以下优点：(1)本专利技术方法将混合高斯分布应用与VAE模型中，适用于广义零样本识别，并且取得了较高的综合性能。(2)本专利技术方法包括步骤1：预训练res101网络后，经过该网络对样本图片特征提取并转化得到视觉特征；步骤2：针对样本图片的文本信息通过标注和设定得到语意特征；步骤3：建立分别用于处理视觉特征和语意特征的两种VAE模型，并进一步构建混合高斯分布VAE网络模型；步骤4：利用混合高斯分布VAE网络模型进行训练，分别将两类特征映射到对应的隐藏空间，并服从混合高斯分布，完成模型训练；步骤5：利用训练完成模型对实际待测试的特征进行分类，经过验证测试得到识别结果，识别速度快且准确度高。(3)本方法(AGM-VAE)适用于广义零样本识别，从另一个角度证明了，注意力机制和多通道思想的有效性。附图说明图1为本专利技术预训练RES101的过程示意图；图2为本专利技术中基于混合高斯VAE网络模型示意图；图3为本专利技术中混合高斯VAE模型中的ENCODER结构图；图4为本专利技术实施例中最大注意力权值对本专利技术方法的影响变化示意图；图5为本专利技术实施例中高斯分布个数对本专利技术方法的影响变化示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本专利技术保护的范围。本专利技术采用的方案是：1、Imagenet预训练res101网络，输入经过该网络特征提取的视觉特征；2、输入经过人为标注和设定的语意特征；3、建立两种VAE模型，一类用于处理视觉特征，一类用于处理语意特征；4、分别将两类特征映射到本文档来自技高网...

【技术保护点】
1.一种基于高斯混合分布VAE的广义零样本识别方法，其特征在于，该方法包括以下步骤：/n步骤1：预训练res101网络后，经过该网络对样本图片特征提取并转化得到视觉特征；/n步骤2：针对样本图片的文本信息通过标注和设定得到语意特征；/n步骤3：建立分别用于处理视觉特征和语意特征的两种VAE模型，并进一步构建混合高斯分布VAE网络模型；/n步骤4：利用混合高斯分布VAE网络模型进行训练，分别将两类特征映射到对应的隐藏空间，并服从混合高斯分布，完成模型训练；/n步骤5：利用训练完成模型对实际待测试的特征进行分类，经过验证测试得到识别结果。/n

【技术特征摘要】
1.一种基于高斯混合分布VAE的广义零样本识别方法，其特征在于，该方法包括以下步骤：
步骤1：预训练res101网络后，经过该网络对样本图片特征提取并转化得到视觉特征；
步骤2：针对样本图片的文本信息通过标注和设定得到语意特征；
步骤3：建立分别用于处理视觉特征和语意特征的两种VAE模型，并进一步构建混合高斯分布VAE网络模型；
步骤4：利用混合高斯分布VAE网络模型进行训练，分别将两类特征映射到对应的隐藏空间，并服从混合高斯分布，完成模型训练；
步骤5：利用训练完成模型对实际待测试的特征进行分类，经过验证测试得到识别结果。


2.根据权利要求1所述的一种基于高斯混合分布VAE的广义零样本识别方法，其特征在于，所述的步骤1具体包括：采用经过Imagenet训练的res101网络针对样本图片进行特征提取并转化得到视觉特征。


3.根据权利要求1所述的一种基于高斯混合分布VAE的广义零样本识别方法，其特征在于，所述的步骤2具体包括：针对样本图片的文本信息，通过标注转换为文字向量后，再通过数字信息设定转换得到向量形式的语意特征。


4.根据权利要求1所述的一种基于高斯混合分布VAE的广义零样本识别方法，其特征在于，所述的步骤3中的混合高斯分布VAE网络模型包括softmax层和与其分别连接的两个VAE模型，每个所述VAE模型包括通过连接层相互连接的编码器、隐藏空间和解码器。


5.根据权利要求4所述的一种基于高斯混合分布VAE的广义零样本识别方法，其特征在于，所述的编码器包括多个注意力权重层、用于表示高斯分布方差和均值的多个Σ层和多个μ层。

【专利技术属性】
技术研发人员：邵洁，李晓瑞，
申请(专利权)人：上海电力大学，
类型：发明
国别省市：上海;31