面向小样本图像分类的任务相关度量学习方法及装置制造方法及图纸

本发明专利技术公开了一种面向小样本图像分类的任务相关度量学习方法及装置，方法主要由数据预处理阶段、构建网络模型阶段、训练模型参数阶段和测试模型性能阶段组成，本发明专利技术通过考虑不同任务之间的差异性，引入注意力机制的思想，并学习任务相关的空间映射，利用任务自适应度量学习的方式，解决了小样本图像分类中存在的自适应度量学习问题，从而提高在小样本条件下目标任务分类的准确性，改善了图像的分类效果，具有很高的实用价值。具有很高的实用价值。具有很高的实用价值。

【技术实现步骤摘要】
面向小样本图像分类的任务相关度量学习方法及装置


[0001]本专利技术涉及计算机视觉领域中图像分类，尤其涉及一种面向小样本图像类内共性特征的任务相关度量学习方法及装置。

技术介绍

[0002]近年来，随着计算机技术的发展，人们浏览的信息日益丰富，每天都有大量图片被上传到网络，由于数量巨大，人工已经无法对此进行分类。在很多大样本图像分类任务上，机器的识别性能已经超越人类。然而，当样本量比较少时，机器的识别水平仍与人类存在较大差距。因此，研究高效可靠的图片分类算法有很迫切的社会需求。
[0003]人类具体通过极少量样本识别一个新物体的能力，例如小朋友只需要看过书中的个别图片，就可以准确的判断什么是“香蕉”或者是“草莓”。小样本学习指的是研究人员希望机器学习模型在学习一定类别的大量数据后，遇到新的类别后，只需要少量的数据就可以快速的学习，实现“小样本学习”。
[0004]小样本分类属于小样本学习范畴，往往包含类别空间不相交的两类数据，即基类数据和新类数据。小样本分类旨在利用基类数据学习的知识和新类数据的少量标记样本(支持样本)来学习分类规则，准确预测新类任务中未标记样本(查询样本)的类别。
[0005]在小样本图像分类的研究方法中，基于深度度量的方法简单而且高效，主要通过比较样本间或者样本与类原型间的距离来判断类别。常常结合数据增强、迁移学习等技术来弥补数据量不足以及模型容易过拟合的缺陷，在很多小样本分类任务上获得了较好的分类性能。但与大样图像分类相比，现有小样本图像分类的性能仍不尽人意，很大程度上限制了小样本图像分类技术的实用化，在自适应的度量学习中还面临着以下问题亟待解决：
[0006]现有小样本分类方法中，大多假设小样本分类任务使用一个单一的度量方式，例如余弦距离、欧氏距离或一个可学习的度量网络模块。不同的任务包含不同的类别，有些任务适用余弦距离，有些任务适用欧氏距离。因此，如何构建任务自适应的度量也是小样本图像分类值得研究的问题。

技术实现思路

[0007]本专利技术针对上述技术问题，提出一种面向小样本图像分类的任务相关度量学习方法及装置，引入了注意力机制的思想，利用任务自适应度量学习的方式，通过考虑不同任务之间的差异性，并学习任务相关的空间映射，解决了小样本图像分类中存在任务自适应的度量问题，对于图像的分类效果十分明显，具有很高的实用价值。
[0008]为了实现上述目的，本专利技术提供如下技术方案：
[0009]一方面，本专利技术提供了一种面向小样本图像分类的任务相关度量学习方法，包括以下步骤：
[0010]S1、对数据进行预处理，其中数据包括训练集D
train
和测试集D
test
，训练集D
train
和测试集D
test
的类别空间互斥；
[0011]S2、构建面向小样本图像分类的任务相关度量学习模型，模型由嵌入模块和任务相关度量模块组成；其中，嵌入模块包含四个卷积块，每个卷积块均包括卷积层、池化层以及非线性激活函数；任务相关度量模块由注意力模块和余弦度量模块组成；
[0012]S3、将训练集数据送入面向小样本图像分类的任务相关度量学习模型进行训练，求解模型参数；
[0013]S4、利用训练后的面向小样本图像分类的任务相关度量学习模型对新类任务进行预测，测评模型的性能。
[0014]进一步地，步骤S1的预处理方法为：从训练集D
train
中随机选出C个类别，每个类别中随机选出M个样本，其中K个样本作为支持样本S
i
，其余M
‑
K个样本作为查询样本Q
i
，S
i
和Q
i
构成一个任务T
i
，同样对于测试集D
test
也有任务T
k
。
[0015]进一步地，步骤S2中，每个卷积块包含一个带有64个滤波器的3
×
3的卷积，一个批量归一化，一个relu非线性层，一个2
×
2最大池化层，裁剪了最后两个块的最大池化层，全连接层共128维。
[0016]进一步地，步骤S3具体包括：
[0017]S301、对于D
train
中的一个任务T
i
，首先将所有支持样本和查询样本输入嵌入模块中；
[0018]S302、利用嵌入模块中的卷积神经网络，将支持样本依次经过卷积层、池化层和激活层，最终提取图像的特征
[0019]S303、将支持样本特征F
s
∈R
HW
×
C
分别作为V和K输入到任务相关度量模块中；
[0020]S304、将查询样本中特征F
q
∈R
HW
×
C
，将其作为Q输入到任务相关度量模块中，其中H和W代表特征空间的大小，C代表特征的通道数；
[0021]S305、将V,K,Q分别经过三个权重不同的线性层将提取出来的特征投影到低维，得到转换后特征，表示为公式如下：
[0022][0023]在公式(1)中，F
s
代表支持样本特征，F
q
代表查询样本特征，W
v
,W
k
,W
q
代表三个权重不同的线性层，分别代表F
s
经过W
v
、F
s
经过W
k
、F
q
经过W
q
所得到的转化后的特征；公式(1)表示将V,K,Q经过W
v
,W
k
,W
q
三个权重不同的线性层投影到低维；
[0024]S306、利用公式(2)计算所有支持样本的预测概率，公式如下：
[0025][0026]在公式(2)中，代表矩阵的对应元素相乘，代表经过公式(1)转化后的特征，C代表特征的通道数，softmax代表softmax激活函数，F
A
代表经过公式(2)后得到的加权特征；公式(2)表示求得加权注意力权重后的特征；
[0027]S307、将F
a
再经过一个线性层后得到任务自适应的支持样本特征F
A
∈R
HW
×
C
；
[0028]S308、将查询样本特征Q和任务自适应的支持样本特征F
A
共同输入到余弦度量模
块中，度量模块采用余弦分类器，用于查询样本的分类；
[0029]S309、使用交叉熵损失函数计算支持样本与查询样本的分类预测损失l0，将l0作为整个网络的总损失loss；
[0030]S310、根据求得的loss使用mini
‑
batch和Adam优化器更新嵌入模块和任务相关度量模型的可学习参数，重复训练多个任务，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向小样本图像分类的任务相关度量学习方法，其特征在于，包括以下步骤：S1、对数据进行预处理，其中数据包括训练集D
train
和测试集D
test
，训练集D
train
和测试集D
test
的类别空间互斥；S2、构建面向小样本图像分类的任务相关度量学习模型，模型由嵌入模块和任务相关度量模块组成；其中，嵌入模块包含四个卷积块，每个卷积块均包括卷积层、池化层以及非线性激活函数；任务相关度量模块由注意力模块和余弦度量模块组成；S3、将训练集数据送入面向小样本图像分类的任务相关度量学习模型进行训练，求解模型参数；S4、利用训练后的面向小样本图像分类的任务相关度量学习模型对新类任务进行预测，测评模型的性能。2.根据权利要求1所述的面向小样本图像分类的任务相关度量学习方法，其特征在于，步骤S1的预处理方法为：从训练集D
train
中随机选出C个类别，每个类别中随机选出M个样本，其中K个样本作为支持样本S
i
，其余M
‑
K个样本作为查询样本Q
i
，S
i
和Q
i
构成一个任务T
i
，同样对于测试集D
test
也有任务T
k
。3.根据权利要求1所述的面向小样本图像分类的任务相关度量学习方法，其特征在于，步骤S2中，每个卷积块包含一个带有64个滤波器的3
×
3的卷积，一个批量归一化，一个relu非线性层，一个2
×
2最大池化层，裁剪了最后两个块的最大池化层，全连接层共128维。4.根据权利要求1所述的面向小样本图像分类的任务相关度量学习方法，其特征在于，步骤S3具体包括：S301、对于D
train
中的一个任务T
i
，首先将所有支持样本和查询样本输入嵌入模块中；S302、利用嵌入模块中的卷积神经网络，将支持样本依次经过卷积层、池化层和激活层，最终提取图像的特征S303、将支持样本特征F
s
∈R
HW
×
C
分别作为V和K输入到任务相关度量模块中；S304、将查询样本中特征F
q
∈R
HW
×
C
，将其作为Q输入到任务相关度量模块中，其中H和W代表特征空间的大小，C代表特征的通道数；S305、将V,K,Q分别经过三个权重不同的线性层将提取出来的特征投影到低维，得到转换后特征，表示为公式如下：在公式(1)中，F
s
代表支持样本特征，F
q
代表查询样本特征，W
v
,W
k
,W
q
代表三个权重不同的线性层，分别代表F
s
经过W
v
、F
s
经过W
k
、F
q
经过W
q
所得到的转化后的特征；公式(1)表示将V,K,Q经过W
v
,W
k
,W
q
三个权重不同的线性层投影到低维；S306、利用公式(2)计算所有支持样本的预测概率，公式如下：在公式(2)中，代表矩阵的对应元素相乘，代表经过公式(1)转化后的特征，
C代表特征的通道数，softmax代表softmax激活函数，F
a
代表经过公式(2)后得到的加权特征；公式(2)表示求得加权注意力权重后的特征；S307、将F
a
再经过一个线性层后得到任务自适应的支持样本特征F
A
∈R
HW
×
C
；S308、将查询样本特征Q和任务自适应的支持样本特征F
A
共同输入到余弦度量模块中，度量模块采用余弦分类器，用于查询样本的分类；S309、使用交叉熵损失函数计算支持样本与查询样本的分类预测损失l0，将l0作为整个网络的总损失loss；S310、根据求得的loss使用mini
‑
batch和Adam优化器更新嵌入模块和任务相关度量模型的可学习参数，重复训练多个任务，直到网络收敛。5.根据权利要求4所述的面向小样本图像分类的任务相关度量学习方法，其特征在于，步骤S308中余弦度量模块运算公式如下：在公式(3)中，F

【专利技术属性】
技术研发人员：李晓旭，杨世丞，刘俊，燕锦涛，安文娟，张文斌，李睿凡，马占宇，陶剑，
申请(专利权)人：兰州理工大学，
类型：发明
国别省市：