一种关系网络小样本图像分类方法、系统、装置及介质制造方法及图纸

本发明专利技术公开了一种关系网络小样本图像分类方法、系统、装置及介质，其中方法包括：划分数据集，在每个训练批次中，将数据集划分为训练集和测试集，训练集的样本标注有样本标签；采用嵌入模块提取数据集中图像的图片特征表示；利用自注意力模块学习任务间的上下文信息，将任务无关的图片特征表示转化为任务相关的图片特征表示；根据任务相关的图片特征表示，以基于原学习的关系网络度量方式训练神经网络，采用训练后的神经网络进行图像分类。本发明专利技术通过注意力机制，将任务无关特征向量转化为任务相关的特征向量，具有考虑任务上下文信息、缩小类内距离的优点，更有利于进行后面的度量计算相似度得分，可广泛应用于计算机视觉领域。领域。领域。

【技术实现步骤摘要】
一种关系网络小样本图像分类方法、系统、装置及介质


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种关系网络小样本图像分类方法、系统、装置及介质。

技术介绍

[0002]小样本学习是人工智能中的重要研宄方向之一，人类具有从少数样本中快速学习和快速归纳的能力。以图片分类任务为例，人类可以通过观察少数几张图片样本，从这些样本中学习特征，迅速分辨出与其同一类或不同类的图片。孩子在小时候学习辨认不同的动物时，通常仅需看一两张这种动物的图像就能在不同的场景下认出这个物种，因为他已经学习到了很多经验知识，利用这些经验知识很快就能完成对新目标的辨认。这种从少数样本中快速学习，并且利用已学到的经验学习新的知识，而不是面对每个任务都从头学的能力，称为小样本学习。
[0003]通过有限样本完成模型的训练，然后在面对训练过程中没有出现过的新样本同样具有识别能力。随着深度学习的发展，深度学习技术己在视频分类、身份识别、自动驾驶M等视觉领域得到了广泛应用，然而在这些领域中常常面对数据稀缺的问题，同时对一些数据的采集也具有较高的难度，对采集来的数据进行标注也是费时费力的事情。人类能够从单个或少数样本中学习新概念，而且能够从稀疏的数据中获得极其丰富的表征，并且可以通过之前的学习经验，进一步增强未来的学习能力。如何让机器具备这种能力，对于人工智能至关重要。然而目前此领域大多是从特征提取网络直接提取特征向量来进行度量，这类装置的缺点是没有充分考虑每个任务中各个类别的联系，进而提取最符合这个任务的一个比较有代表性辨别性的特征向量，如猫和老虎相比较与猫和狗相比较，这两个任务所提取到的代表性特征向量是不相同的。

技术实现思路

[0004]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种关系网络小样本图像分类方法、系统、装置及介质。
[0005]本专利技术所采用的技术方案是：
[0006]一种关系网络小样本图像分类方法，包括以下步骤：
[0007]划分数据集，在每个训练批次中，将数据集划分为训练集和测试集，训练集的样本标注有样本标签；
[0008]采用嵌入模块提取数据集中图像的图片特征表示；
[0009]由于嵌入模块提取的图片特征表示是任务无关型，利用自注意力模块学习任务间的上下文信息，将任务无关的图片特征表示转化为任务相关的图片特征表示；
[0010]根据任务相关的图片特征表示，以基于原学习的关系网络度量方式训练神经网络，采用训练后的神经网络进行图像分类。
[0011]进一步地，所述划分数据集，在每个训练批次中，将数据集划分为训练集和测试
集，包括：
[0012]每一个批次对应一个任务，每个批次将数据集划分为训练集和测试集，将训练集中的支持集输入嵌入模块获取图片特征表示，训练集中的查询集带有标签，负责衡量与支持集中样本的距离；
[0013]训练集中的支持集和查询集负责不断更新网络模型的参数。
[0014]进一步地，所述嵌入模块采用残差网络来实现，所述残差网络包含4个依次连接基础模块，每个基础模块包含三个卷积小模块，在每个基础模块的输出端附加一个2
×
2最大池化层，在最后一个最大池化层的输出端附加一个2
×
2平均池化层；
[0015]将支持集D
support
和查询集D
query
中的图像数据输入嵌入模块f
θ
中，获得相应的图片特征表示R
p
，其中p＝c
×
h
×
w，c、h和w分别相应地表示特征表示的通道数、高度和宽度。
[0016]进一步地，还包括多分类学习的步骤：
[0017]定义n表示类别，z代表该类别中的一张图片；
[0018]计算每个类别的特征表示中心点，即将同一类图片特征表示相加起来取平均，表示为：
[0019][0020]如果每个类别只有一个样本，将该样本的图片特征表示充当类中心特征表示；
[0021]定义每个批次的类向量C＝[c1,c2,c3,
…
,c
N
](C∈R
N
×
c
×
h
×
w
)，将类向量C输入自注意力模块f
β
之前，先改变类向量C的形状，即C∈R
N
×
l
×
d
，其中，d是隐藏层的一个超参数，N是类别数量。
[0022]进一步地，所述利用自注意力模块学习任务间的上下文信息，将任务无关的图片特征表示转化为任务相关的图片特征表示，包括：
[0023]将嵌入模块输出的图片特征表示与三个预设的待训练矩阵相乘，获得查询向量d
q
、键向量d
k
和值向量d
v
；
[0024]根据查询向量d
q
和键向量d
k
获取注意得分矩阵M
H
，将值向量d
v
乘以注意得分矩阵M
H
后，执行softmax操作，获得更具区分性的任务相关的图片特征表示C
′
。
[0025]进一步地，为加快计算速度，采用矩阵形式代替向量形式进行计算，将向量形式转换为矩阵形式的公式为：
[0026][0027][0028][0029]式中，Q表示查询矩阵，K表示键矩阵，V表示值矩阵，C表示支持集嵌入，W
Q
表示查询线性映射矩阵，W
K
表示键线性映射矩阵，W
V
表示值线性映射矩阵，表示输入输出维度，输入维度为d，输出维度为d
model
，d
model
是隐藏层的维数；
[0030]任务相关的图片特征表示C
′
的定义公式为：
[0031][0032]式中，
T
表示键矩阵的转置。Attn(Q,K,V)表示自注意力模块的计算。
[0033]进一步地，所述根据任务相关的图片特征表示，以基于原学习的关系网络度量方式训练神经网络，包括：
[0034]采用关系网络的度量方式来衡量样本间的距离，从度量的角度出发，将任务相关的图片特征表示与查询集的样本拼接的方式来约束判断样本的相似度；
[0035]其中，度量的公式为：
[0036]Loss(s
m,n
,y
m
)＝(s
m,n
‑
1(n＝＝y
m
))2[0037]式中，y
m
是查询集的样本的标准标签，n是这个查询集的类别，s
m,n
代表任务相关特征向量与查询特征向量的相似度得分。
[0038]本专利技术所采用的另一技术方案是：
[0039]一种关系网络小样本图像分类方法系统，包括：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关系网络小样本图像分类方法，其特征在于，包括以下步骤：划分数据集，在每个训练批次中，将数据集划分为训练集和测试集，训练集的样本标注有样本标签；采用嵌入模块提取数据集中图像的图片特征表示；由于嵌入模块提取的图片特征表示是任务无关型，利用自注意力模块学习任务间的上下文信息，将任务无关的图片特征表示转化为任务相关的图片特征表示；根据任务相关的图片特征表示，以基于原学习的关系网络度量方式训练神经网络，采用训练后的神经网络进行图像分类。2.根据权利要求1所述的一种关系网络小样本图像分类方法，其特征在于，所述划分数据集，在每个训练批次中，将数据集划分为训练集和测试集，包括：每一个批次对应一个任务，每个批次将数据集划分为训练集和测试集，将训练集中的支持集输入嵌入模块获取图片特征表示，训练集中的查询集带有标签，负责衡量与支持集中样本的距离；训练集中的支持集和查询集负责不断更新网络模型的参数。3.根据权利要求2所述的一种关系网络小样本图像分类方法，其特征在于，所述嵌入模块采用残差网络来实现，所述残差网络包含4个依次连接基础模块，每个基础模块包含三个卷积小模块，在每个基础模块的输出端附加一个2
×
2最大池化层，在最后一个最大池化层的输出端附加一个2
×
2平均池化层；将支持集D
support
和查询集D
query
中的图像数据输入嵌入模块f
θ
中，获得相应的图片特征表示R
p
，其中p＝c
×
h
×
w，c、h和w分别相应地表示特征表示的通道数、高度和宽度。4.根据权利要求3所述的一种关系网络小样本图像分类方法，其特征在于，还包括多分类学习的步骤：定义n表示类别，z代表该类别中的一张图片；计算每个类别的特征表示中心点，即将同一类图片特征表示相加起来取平均，表示为：如果每个类别只有一个样本，将该样本的图片特征表示充当类中心特征表示；定义每个批次的类向量C＝[c1，c2，c3，...，c
N
](C∈R
N
×
c
×
h
×
w
)，将类向量C输入自注意力模块f
β
之前，先改变类向量C的形状，即C∈R
N
×
l
×
d
，其中，d是隐藏层的一个超参数，N是类别数量。5.根据权利要求1所述的一种关系网络小样本图像分类方法，其特征在于，所述利用自注意力模块学习任务间的上下文信息，将任务无关的图片特征表示转化为任务相关的图片特征表示，包括：将嵌入模块输出的图片特征表示与三个预设的待训练矩阵相乘，获得查询向量d
q
、键向量d
k
和值向量d
v
；根据查询向量d
q
和键向量d
k
...

【专利技术属性】
技术研发人员：陈凌威，罗荣华，张德赋，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：