基于局部无关区域筛选图神经网络的小样本图像分类方法技术

本发明专利技术公开了一种基于局部无关区域筛选图神经网络的小样本图像分类方法，该方法包括：通过随机裁剪并输入特征嵌入网络中获取到图像的全局特征和局部特征；将全局特征和局部特征按照相关性构造出图结构用于图神经网络的更新；构建基于局部无关区域筛选图神经网络模型，通过模型获取到每个图像的最终特征以及每个局部子图的重要性；基于分类损失和局部重要性损失构成的损失函数进行模型训练；使用模型获取到的特征用于计算图像属于每个类的概率。本发明专利技术通过在局部特征聚合时对图像背景等无关区域增加限制参数降低其对分类的影响，解决现有基于度量学习方法中无关的局部信息干扰的技术问题，用于小样本图像分类任务时，能有效提升预测准确性。有效提升预测准确性。有效提升预测准确性。

【技术实现步骤摘要】
基于局部无关区域筛选图神经网络的小样本图像分类方法


[0001]本专利技术涉及计算机视觉领域，具体涉及一种基于局部无关区域筛选图神经网络的小样本图像分类方法。

技术介绍

[0002]现有对小样本学习主流的方法是基于元学习的方法，而元学习的方法主要分为3种：1、基于模型的方法；2、基于优化的方法；3、基于度量学习的方法。
[0003]针对基于模型的方法，该方法在传统的深度学习利用大量的数据进行训练的基础上设计一个新的模型，将学习到的知识保存起来，在遇到样本较少的新任务时能通过已保存的知识对模型的参数进行更新。基于模型的方法需要额外的存储空间进行存储，网络模型较为复杂、灵活性较差并且不适合迁移，具有一定的局限性。
[0004]针对基于优化的方法，该方法对参数的优化函数进行修改，让模型在遇到新的任务时只需要通过很少的几次梯度下降操作就能快速适应新的任务。该方法的目标在于通过很少次数的优化就能得到能拟合新任务的模型，解决了深度学习需要使用大量数据训练的问题。基于优化的方法需要为每个训练任务的基学习器进行优化操作，使得计算复杂度较高。
[0005]基于度量学习的方法，利用网络模型将输入图像数据投影到一个度量空间中，然后通过比较图像在度量空间中相互的距离来判断图像之间类别相似的概率。基于度量学习的方法的模型设计相对简单、参数更新方式也使用的是简单的反向传播，并且在小样本图像分类任务上的分类效果优于前两种方法。然而，由于新任务的样本数量很少，模型往往无法提取到太多有效特征。全局特征能够描绘出图像的整体信息，大量的训练也能让模型学会如何分别其中的有用信息，但是在样本数量较少的时候，全局信息中无关的信息的干扰就不可避免，这时候局部特征这种可区分性强的特征可以获取到更好的效果。

技术实现思路

[0006]本专利技术针对上述现有技术存在图像局部无关区域干扰的问题，提供一种基于局部无关区域筛选图神经网络的小样本图像分类方法，旨在解决现有基于度量学习方法中无关的局部信息干扰的技术问题，最终实现小样本图像的准确分类。
[0007]为达到上述目的，本专利技术采用的技术方案如下：
[0008]本专利技术提出了一种基于局部无关区域筛选图神经网络的小样本图像分类方法，包括如下步骤：
[0009]步骤1、小样本任务采样。小样本学习的数据集包含训练集、支持集和查询集。其中，训练集用于预训练图像分类器，包含大量图像数据；支持集和查询集中包含不同于训练集的新类别的图像数据，并且图像数据很少。小样本图像分类就是将在训练集中训练好的预训练图像分类器在支持集上再次训练，并在查询集中验证分类准确率的任务。在测试阶段直接使用支持集和查询集作为数据集即可；在训练阶段，将大量的训练集图像数据按照
支持集和查询集的分布进行多次采集，从而构成多组小样本学习任务用于后续训练。
[0010]每组小样本学习任务会分别进行训练，并通过损失函数优化整个网络模型，接下来是一组小样本学习任务训练过程。
[0011]步骤2、将支持集图像和查询集图像数据进行随机裁剪操作，使得每一个支持集图像或查询集图像都获得多个局部子图像；
[0012]步骤3、将一组小样本学习任务的数据集(支持集和查询集两个集合一起作为数据集)中图像的原图(数据集中的图像没经过其他操作进行变换就是原图，进行了裁剪就得到了子图像)和步骤2中提取到的数据集中每一个支持集图像或查询集图像对应的局部子图像一起输入一个嵌入网络中分别得到每一个支持集图像或查询集图像的全局特征和局部特征，每一个支持集图像或查询集图像都会获取到n个局部子图像，这里将全部的原图和全部的局部子图像都输入到嵌入网络，原图经过嵌入网络处理后得到的是全局特征，局部子图像经过嵌入网络处理后得到的称为局部特征；
[0013]步骤4、将步骤3获得的全局特征和局部特征进行建图，最终形成一个图结构，用于后续的图神经网络训练；
[0014]步骤5、将步骤4所得的图结构通过局部无关区域筛选图神经网络模型进行更新，得到更新后的图结构，其包含全局节点特征、局部节点特征和边特征；
[0015]步骤6、小样本图像分类。基于步骤5输出所述局部无关区域筛选图神经网络模型最后一层的图结构，该图结构的全局节点特征E
G
(X)将作为一组小样本学习任务的数据集中支持集图像X或查询集图像X最终的特征(在步骤6中简称为特征)用于图像分类，图像分类就是通过特征之间的距离度量来计算的，每个图像都会通过前面的步骤得到一个最终的特征E
G
(X)，然后再比较查询集图像的特征和支持集中图像特征之间的相似度，判断这个查询集图像与哪个支持集图像相似度最大，那么这个查询集图像就属于这个相似度最大的图像的类别，其中支持集的图像的类别是已知的，查询集图像的类别是未知的)。分类模块通过计算查询集图像X
q
的特征与支持集中每个类别的图像的特征之间的距离度量(特征之间的余弦相似度)，来判断查询集图像X
q
与支持集中哪个类别图像的相似度最高，从而进行分类(距离度量越小表示相似度越高，X
q
属于这个类别的概率就越大)；
[0016]步骤7、图神经网络模型的训练。在模型训练过程中采用的损失函数由两部分组成，分别为分类损失函数L1和局部特征重要性损失L2，模型的总损失即为两者之和：L＝L1+L2。
[0017]将多组小样本任务依次进行步骤2
‑
7的训练过程，最终图神经网络模型训练结束后得到训练好的图神经网络模型。
[0018]训练阶段需要利用步骤6的分类结果等数据来计算损失函数，从而优化整个图神经网络模型，使得图神经网络模型分类更加准确。
[0019]步骤8、将待分类的支持集和查询集输入训练好的图神经网络模型，按照步骤2
‑
步骤6进行处理得到待分类的查询集中每一个图像数据的分类预测结果。
[0020]本专利技术基于图神经网络，针对局部特征进行筛选，提供一种基于局部无关区域筛选图神经网络的小样本图像分类方法。通过在局部特征聚合时对图像背景等无关区域增加限制参数降低其对分类的影响，解决现有基于度量学习方法中无关的局部信息干扰的技术问题，从而提高了预测效果。
附图说明
[0021]图1为本专利技术的模型总体结构图；
[0022]图2为本专利技术的小样本任务采样过程图；
[0023]图3为本专利技术的初始图结构示意图；
[0024]图4为本专利技术的图神经网络更新步骤图。
具体实施方式
[0025]为使本专利技术的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本专利技术作进一步地详细描述。
[0026]在本实施例中，本专利技术提出的基于局部无关区域筛选图神经网络的小样本图像分类方法包含元训练和元测试两个阶段，元训练阶段用于获得训练好的(即训练完善的)网络模型；获得训练完成的网络模型后，输入需要进行分类的小样本任务(小样本任务包括支持集和查询集)，即可得到每个查询集图像的分类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部无关区域筛选图神经网络的小样本图像分类方法，其特征在于，该方法包括以下步骤：步骤1：小样本任务采样小样本学习的数据集包含训练集、支持集和查询集，其中训练集用于预训练图像分类器，包含大量图像数据；支持集和查询集中包含不同于训练集的新类别的图像数据，并且图像数据比训练集中的图像数据少；小样本图像分类就是将在训练集中训练好的预训练图像分类器在支持集上再次训练，并在查询集中验证分类准确率的任务，在测试阶段直接使用支持集和查询集作为数据集即可；首先，在训练阶段，将大量的训练集图像数据按照支持集和查询集的分布进行多次采集，从而构成多组小样本学习任务；每组小样本学习任务分别进行训练，并通过损失函数优化整个网络模型，接下来是一组小样本学习任务训练过程；步骤2：将一组小样本学习任务中的支持集图像和查询集图像进行随机裁剪操作，使得每一个支持集图像或查询集图像都获得多个局部子图像；步骤3：将该组小样本学习任务的数据集中的支持集图像和查询集图像与步骤2中提取到的数据集中每一个支持集图像或查询集图像对应的局部子图像一起输入一个嵌入网络中，分别得到每一个支持集图像或查询集图像的全局特征和局部特征，支持集图像和查询集图像经过嵌入网络处理后得到全局特征，局部子图像经过嵌入网络处理后得到局部特征；步骤4：将步骤3获得的全局特征和局部特征进行建图，最终形成一个图结构，用于后续的图神经网络训练；步骤5：将步骤4所得的图结构通过局部无关区域筛选图神经网络模型进行更新，得到更新后的图结构，其包含全局节点特征、局部节点特征和边特征；步骤6：小样本图像分类基于步骤5输出所述局部无关区域筛选图神经网络模型最后一层的图结构，该图结构的全局节点特征作为支持集图像或查询集图像最终的特征用于图像分类，图像分类通过特征之间的距离度量进行计算，比较查询集图像的特征和支持集图像特征之间的相似度，判断这个查询集图像与哪个支持集图像相似度最大，那么这个查询集图像就属于这个相似度最大的支持集图像的类别，由此得到查询集图像的分类结果，其中支持集图像的类别是已知的，查询集图像的类别是未知的；步骤7：局部无关区域筛选图神经网络模型的训练基于步骤6的分类结果计算损失函数，在模型训练过程中采用的损失函数由两部分组成，分别为分类损失函数L1和局部特征重要性损失L2，局部无关区域筛选图神经网络模型的总损失函数即为两者之和：L＝L1+L2；将步骤1得到的多组小样本学习任务依次进行步骤2
‑
7的训练过程，训练过程结束后得到训练好的局部无关区域筛选图神经网络模型；步骤8：将待分类的支持集图像和查询集图像输入训练好的局部无关区域筛选图神经网络模型，处理后得到待分类的查询集中每一个图像数据的分类预测结果。2.根据权利要求1所述的基于局部无关区域筛选图神经网络的小样本图像分类方法，其特征在于，所述步骤1将大量的训练集图像数据按照支持集和查询集的分布进行多次采集中的每一次采样为：从训练集中按照现有的n
‑
way k
‑
shot规则采样获取到支持集图像和
查询集图像，由此组成一组小样本学习任务，其中，小样本学习任务的支持集包含n个类别，每个类别包含k个样本；查询集包含若干待查询的图像，这些图像都属于支持集所包含的n个类别。3.根据权利要求2所述的基于局部无关区域筛选图神经网络的小样本图像分类方法，其特征在于，所述步骤2中随机裁剪操作的随机裁剪范围为(0.08,1.0)，裁剪后的图像缩放成裁剪之前图像的尺寸。4.根据权利要求3所述的基于局部无关区域筛选图神经网络的小样本图像分类方法，其特征在于，所述步骤3中的嵌入网络为ResNet
‑
12。5.根据权利要求4所述的基于局部无关区域筛选图神经网络的小样本图像分类方法，其特征在于，所述步骤4中所述图结构由节点和边构成，每个全局特征和局部特征都作为图结构中的一个节点，分别叫做全局节点和局部节点；图结构的边按照如下规则进行构造：1、所有的全局节点之间相互连接构成全连接图；2、所有的局部节点与它对应图像的全局节点相连。6.根据权利要求5所述的基于局部无关区域筛选图神经网络的小样本图像分类方法，其特征在于，所述步骤5中局部无关区域筛选图神经网络模型对图结构中的全局特征和局部特征进行聚合更新，得到区分能力更强的特征用于图像分类，并在聚合局部特征时通过判断此时的局部是无关区域的概率，根据概率大小作为系数对该局部增加限制参数，降低无关区域对分类的影响；所述局部无关区域筛选图神经网络模型分为N层，每一层的更新步骤如下：步骤501：全局特征聚合将所有的全局节点进行聚合，首先对于其中一个全局节点i，计算它与其他全局节点j之间的边特征e
i,j
：其中，E(X
i
)是全局节点i的节点特征，E(X
j
)是全局节点j的节点特征，i≠j，是一个特征转换网络，然后将图结构中与全局节点i相连的其他全局节点特征...

【专利技术属性】
技术研发人员：秦科，段贵多，卢国明，罗光春，李雅俊，徐希玮，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：