双重批标准化的零实例图像分类方法技术

本申请提供一种双重批标准化的零实例图像分类方法，将待训练图像数据集输入至特征提取模块中得到图像的特征向量；利用全连接模块将类别的语义信息映射到视觉空间中得到类别表示向量；将有标签图像的特征向量和无标签图像的特征向量与类别表示向量进行拼接得到多对第一表示对向量和多对第二表示对向量；将第一表示对向量和第二表示对向量进行批标准化处理得到第一标准表示对向量和第二标准表示对向量；利用全连接模块学习第一标准表示对向量，再输入第二标准表示对向量计算得到第二标准表示对向量配对概率；选择每一无标签图像中配对概率最高的第二表示对向量中无标签图像的类别输出。本申请能够校准分布差异，从而实现较高性能的零实例图像分类。现较高性能的零实例图像分类。现较高性能的零实例图像分类。

【技术实现步骤摘要】
双重批标准化的零实例图像分类方法


[0001]本申请涉及机器学习
，尤其涉及一种双重批标准化的零实例图像分类方法及分类模型学习方法与终端。

技术介绍

[0002]在图像分类领域，机器学习模型需要学习各类别的训练图像才能正确识别测试图像所属类别。当需要识别的类别缺乏训练数据时，传统的机器学习模型不能有效训练图像分类器。零实例图像分类方法旨在训练一个模型能够正确识别没有出现在训练数据集中的不可见类别图像。现有零实例图像分类方法大致有如下两种。
[0003]第一种：基于生成对抗网络的零实例图像分类方法。基于生成对抗网络的零实例图像分类方法的大致工作原理如下：首先通过卷积神经网络，提取训练图像的特征；随后通过生成网络，根据类别的描述信息模拟生成训练图像的特征，并利用对抗判别器，使生成的特征模仿由卷积神经网络学习到的真实特征；通过学习好的生成网络，输入不可见类别的描述信息，产生模拟的不可见类别图像特征；最后，利用模拟的不可见类别图像特征和真实的可见类别图像特征训练零实例图像分类器，从而实现对不可见类别的图像识别。该方法的缺点如下：由于类别的描述信息通常不足以完全描绘出对于类别的视觉形象，相比于卷积神经网络学习到的图像特征包含了广泛的视觉信息，生成对抗网络通过类别的描述信息生成的不可见类图像特征不完全，使得模拟特征与真实特征存在较大差距，从而导致利用模拟不可见类别图像特征训练的零实例图像分类器在真实零实例场景下不能取得较好性能。同时，利用模拟的图像特征训练零实例图像分类器，其分类边界受样本类别比例影响较大，而基于生成对抗网络的零实例图像分类方法无法获得不可见类别的分布信息，造成了分类边界的误差。
[0004]第二种：基于判别网络的零实例图像分类方法。基于判别网络的零实例图像分类方法的大致工作原理如下：首先通过卷积神经网络，提取训练图像的特征；随后通过度量模型，度量图像特征与类别语义表示之间的距离；最后，选择距离最近的类别作为图像的类别标注。该方法的缺点如下：由于类别语义表示在没有不可见类别训练样本的情况下通常由文本训练得到，或是专家收集的专业属性，因此类别语义表示的分布与视觉信息中类别特征的分布有显著差异，导致匹配图像特征与类别语义有较大困难。其次，由于训练图像属于可见类别而测试图像属于不可见类别，训练与测试图像之间存在分布差异，对零实例图像分类性能造成负面影响。

技术实现思路

[0005]有鉴于此，实有必要提供一种双重批标准化的零实例图像分类方法及分类模型学习方法与终端，可实现较高性能的零实例图像分类。
[0006]第一方面，本申请实施例提供一种双重批标准化的零实例图像分类模型学习方法，所述双重批标准化的零实例图像分类模型学习方法包括下面步骤:将待训练图像数据
集输入至所述特征提取模块中计算得到所述待训练图像数据集中每张图像的特征向量，所述待训练图像数据集包括带有标签的有标签图像和没有带标签的无标签图像，所述待训练集图像属于预设的多个类别，所述多个类别包括可见类和不可见类，所述可见类存在于所述标签表示的类别中，所述不可见类不存在于所述标签表示的类别中；将预设的多个类别的语义信息输入至所述全连接模块中计算使预设的多个类别的语义信息映射到视觉空间中得到多个类别表示向量；将每一有标签图像的特征向量与所述多个类别表示向量进行拼接得到每一有标签图像的多对第一表示对向量；将每一无标签图像的特征向量与所述多个类别表示向量进行拼接得到每一无标签图像的多对第二表示对向量；将所述第一表示对向量和所述第二表示对向量进行批标准化处理得到维度相同的第一标准表示对向量和第二标准表示对向量；将每一个所述第一标准表示对向量输入至所述全连接模块中训练后再将所述第二标准表示对向量输入全连接模块中计算得到每一个所述第二标准表示对向量的配对概率；选择每一无标签图像中配对概率最高的第二表示对向量所对应类别向量所对应的类别作为所述无标签图像的类别并输出。
[0007]第二方面，本申请实施例提供一种双重批标准化的零实例分类方法，所述分类方法包括下面步骤:将待分类图像输入至双重批标准化的零实例图像分类模型中，所述待分类图像为无标签图像，所述双重批标准化的零实例图像分类模型由如上所述的双重批标准化的零实例图像分类模型的学习方法获得；所述双重批标准化的零实例图像分类模型对所述待分类图像进行类别分析得到所述待分类图像的类别；以及所述双重批标准化的零实例图像分类模型输出所述待分类图像的类别。
[0008]第三方面，本申请实施例提供一种终端，其特征在于，所述终端设备包括：计算机可读存储介质，用于存储程序指令，处理器，用于执行所述程序指令以实现双重批标准化的零实例图像分类模型的学习方法。
[0009]上述双重批标准化的零实例图像分类模型的学习方法及其分类方法、终端，利用预设的多个类别的语义信息映射到视觉空间中得到多个类别表示向量；从而建立了可见类到不可见类的桥梁，实现可见类到不可见类的知识迁移。另外，将有标签图像和无标签图像的特征向量分别与多个类别表示向量进行拼接得到第一表示对向量和第二表示对向量，从而校准了第一表示对向量和第二表示对向量之间的分布差异，从而显著提升了双重批标准化的零实例图像分类的性能，实现了再面对各种训练时未训练过的语义类别能保持可靠的识别性能，即提高了双重批标准化的零实例图像分类模型的零实例图像的分类性能。
附图说明
[0010]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0011]图1为本申请实施例提供的双重批标准化的零实例图像分类模型的学习方法的流程图。
[0012]图2为本申请实施例提供的双重批标准化的零实例图像分类模型的学习方法的第一子流程图。
[0013]图3为本申请实施例提供的双重批标准化的零实例图像分类模型的学习方法的第二子流程图。
[0014]图4为本申请实施例提供的双重批标准化的零实例图像分类模型的学习方法的第三子流程图。
[0015]图5为本申请实施例提供的双重批标准化的零实例图像分类模型的学习方法的初始神经网络的内部结构示意图。
[0016]图6为本申请实施例提供的双重批标准化的零实例图像分类模型的学习方法的配对方法的示意图。
[0017]图7为本申请实施例提供的双重批标准化的零实例图像分类模型的学习方法的有标签图像特征向量与多个类别表示向量拼接示意图。
[0018]图8为本申请实施例提供的双重批标准化的零实例图像分类模型的学习方法的无标签图像特征向量与多个类别表示向量拼接示意图。
[0019]图9为本申请实施例提供的双重批标准化的零实例分类方法的流程图。
[0020]图10为本申请实施例提供的终端的内部结构示意图。
[0021]本申请目的的实现、功能特点及优点将结合实施例，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双重批标准化的零实例图像分类模型的学习方法，用于对初始神经网络进行学习得到双重批标准化的零实例图像分类模型，其特征在于，所述初始神经网络包括特征提取模块以及全连接模块，所述双重批标准化的零实例图像分类模型的学习方法包括：将待训练图像数据集输入至所述特征提取模块中计算得到所述待训练图像数据集中每张图像的特征向量，所述待训练图像数据集包括带有标签的有标签图像和没有带标签的无标签图像，所述待训练集图像属于预设的多个类别，所述多个类别包括可见类和不可见类，所述可见类存在于标签表示的类别中，所述不可见类不存在于所述标签表示的类别中；将预设的多个类别的语义信息输入至所述全连接模块中计算，使预设的多个类别的语义信息映射到视觉空间中得到多个类别表示向量；将每一有标签图像的特征向量与所述多个类别表示向量进行拼接得到每一有标签图像的多对第一表示对向量；将每一无标签图像的特征向量与所述多个类别表示向量进行拼接得到每一无标签图像的多对第二表示对向量；将所述第一表示对向量和所述第二表示对向量进行批标准化处理得到维度相同的第一标准表示对向量和第二标准表示对向量；将每一个所述第一标准表示对向量输入至所述全连接模块中训练后再将所述第二标准表示对向量输入全连接模块中计算得到每一个所述第二标准表示对向量的配对概率；以及选择每一无标签图像中配对概率最高的第二表示对向量所对应类别向量所对应的类别作为所述无标签图像的类别并输出。2.如权利要求1所述的双重批标准化的零实例图像分类模型的学习方法，其特征在于，所述将每一有标签图像的特征向量与所述多个类别表示向量进行拼接得到每一有标签图像的多对第一表示对向量包括：将每一有标签图像的特征向量复制N份，所述N份为可见类类别表示向量的个数；以及将每一有标签图像的N份特征向量与多个类别表示向量进行一一拼接得到多对第一表示对向量。3.如权利要求1所述的双重批标准化的零实例图像分类模型的学习方法，其特征在于，所述将每一无标签图像的特征向量与所述多个类别表示向量进行拼接得到每一无标签图像的多对第二表示对向量包括：将每一无标签图像的特征向量复制M份，所述M为不可见类类别表示向量的个数；以及将每一无标签图像的M份特征向量与多个类别表示向量进行一一拼接得到多对第二表示对向量。4.如权利要求1所述的双重批标准化的零实例图像分类模型的学习方法，其特征在于，所述双重批标准化的零实...

【专利技术属性】
技术研发人员：刘国清，杨广，王启程，郑伟，张见阳，杨国武，
申请(专利权)人：深圳佑驾创新科技有限公司，
类型：发明
国别省市：