一种基于记忆力机制和图神经网络的小样本图像分类方法技术

本发明专利技术公开了一种基于记忆力机制和图神经网络的小样本图像分类方法，其特点是借助学习好的概念知识帮助小样本模型进行推理预测，具体包括：预训练、元训练和元测试三个阶段，所述预训练将训练好的特征提取器和分类器作为编码器和记忆库的初始化权值；所述元训练通过编码器提取支撑集和查询集样本的特征，从记忆库中挖掘每个类相关信息作为元知识，并通过一个图神经网络来传播任务相关节点以及元知识之间的相似性；所述元测试通过任务相关节点和元知识结点得到分类结果。本发明专利技术与现有技术相比具有借鉴人类识别过程，基于信息瓶颈的记忆图增广网络，借助学习好的概念知识，帮助模型进行推理预测实，方法简便，实用性强，具有一定推广应用的前景。推广应用的前景。推广应用的前景。

【技术实现步骤摘要】
一种基于记忆力机制和图神经网络的小样本图像分类方法


[0001]本专利技术涉及小样本图像分类
，尤其是一种基于记忆力机制和图神经网络的小样本图像分类方法。

技术介绍

[0002]深度学习的成功源于大量标注数据，而人类只需利用少量的几个样本，就有很好的泛化能力，两者之间的差距引起了人们对小样本学习的研究。与传统的深度学习场景不同，小样本学习的目的不在于对未知样本进行分类，而是在非常有限的标注数据和过往的知识中对新任务快速适应。
[0003]最近，利用元学习与情景(episode)训练相结合的思想，在解决这一问题上取得了显著的优势。直觉上，使用情景(episode)抽样策略，是一个很有希望的趋势，将知识从已知的类别(即有足够训练样本的已知类别)转移到新的类别(即有少量样本的新类别)，模拟人类的学习过程。尽管元学习与episode训练策略在小样本学习上取得了显著的成果，但是它们中的大多数忽略了一个关键性问题，即当一个一个情景(episode)来临训练时，过去所学的知识如何面对新任务。
[0004]现有技术存在着当面对未知的任务时，学习到的概念无法利用模型进行推理预测。

技术实现思路

[0005]本专利技术的目的是针对现有技术的不足而提出的一种基于记忆力机制和图神经网络的小样本图像分类方法，采用基于信息瓶颈的记忆图增广网络的方法，当面对未知分类任务时，利用图神经网络与记忆机制，使得学习到的概念帮助小样本模型进行推理预测，该方法很好的借鉴人类识别过程，借助学习好的概念知识，较好的实现了利用模型进行推理预测，方法简便，实用性强，具有一定推广应用的前景。
[0006]实现本专利技术目的的具体技术方案是：一种基于记忆力机制和图神经网络的小样本图像分类方法，该方法包括：
[0007]步骤1：预训练阶段
[0008]1.1)在整个训练集上学习一个有监督的特征提取器和线性分类器；
[0009]1.2)使用训练好的特征提取器和分类器分别作为元训练阶段编码器和记忆库的初始化，该预训练阶段有助于提取泛化性的特征表达。
[0010]步骤2：元训练阶段
[0011]2.1)使用小样本普遍应用的情景训练策略，具体的，考虑一个N
‑
Way K
‑
shot T
‑
query任务，其中包含支撑集样本和查询集样本通过编码器提取支撑集样本和查询集样本的特征表示作为任务相关的节点
[0012]2.2)为了便于快速适应，本专利技术持有一个记忆库存储支撑集样本的特征表示，使
用类内均值计算支撑集样本中每个类的中心点f
cen
∈R
[N，d]，将其与存储在记忆库中相同类别的原型点f
p
∈R
[N，d]进行串接，将串接后的特征表示f
cat
∈R
[N，2d]输入到一个全连接层以减少维度来提纯语义信息，该迭代更新过程可以被视作一种特殊的知识蒸馏技术，使用信息瓶颈原理(Information Bottleneck，IB)来提纯，为了确保IB工作良好，即避免与任务无关的干扰，同时保留语义标签信息，所述语义信息由下述1式进行约束：
[0013]maxI(f
p
，Y)
‑
βI(f
cen
，f
p
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)；
[0014]其中：I(.，.)表示互信息，Y表示标签，β表示拉格朗日系数。
[0015]具体运用中强制执行下述2式的约束来提纯信息并进一步提纯记忆库：
[0016][0017]将提纯后的特征表示f
B
∈R
[N，d]与记忆库相同类别的原型点使用动量的更新方式进一步优化记忆库，具体如下述3式所示：
[0018]f
p
←
λf
p
+(1
‑
λ)f
B
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)；
[0019]其中：λ是动量系数。
[0020]2.3)提纯的原型表示进一步与元知识挖掘结合，这个过程中对于每个类中心点，首先计算该类中心点与记忆库中每个原型点之间的余弦相似性，选择与中心点最近的k个原型点MK＝{m1，m2，...，m
k
}，接着将k个原型点都与中心点拼接输入到一个聚合网络，将k个原型点的信息进行聚合，其输出作为该类的元知识节点，进一步扩充支撑集，作为该类别的伪样本，具体如下述4式所示：
[0021][0022]其中：[.，.]是拼接操作；f(.；θ
agg
)执行一个转换：R
2d
→
R
d
由一个全连接层组成，其参数化为θ
agg
。
[0023]另外，a
j
为m
j
和f
cen
[i]的相关性系数，如下述5式所示：
[0024][0025]其中：τ为温度系数；〈.,.〉为余弦相似度。
[0026]2.4)将任务相关节点和元知识节点一起构造一个全连接的图G＝(V,E)，其中，2.4)将任务相关节点和元知识节点一起构造一个全连接的图G＝(V,E)，其中，每个节点代表一个样本的特征，边表示两个节点的相似性，两个节点来自同一个类则为1，否则为0，由于查询集样本标签信息未知，将与查询集相连的边初始化为0.5，具体如下述6式：
[0027][0028]其中：为扩充元知识节点后的支撑集。
[0029]2.5)对记忆增强的图神经网络每一层节点特征和边特征进行更新，给定前一层的节点特征和边特征，通过领域聚合过程更新节点特征，边的特征基于更新的节点特征重新计算，所述节点特征的更新规则如下述7式：
[0030][0031]其中：[.,.]是拼接操作；为记忆增强模块的第层；f
node
(.；θ
node
）为节点更新网络，参数化为θ
node
。
[0032]所述边特征的更新规则如下述8式：
[0033][0034]2.6)经过多层增强的图神经网络的更新，每个查询集节点属于某个类的概率可以被计算为：所有同类的支撑集节点与查询集节点边的值求和，具体如下述9式：
[0035][0036]其中：δ(y
i
＝C
k
)为克罗内克函数，当y
i
＝C
k
，值为1，否则为0。
[0037]2.7)在元训练阶段，为了确保查询集准确预测，优化目标为下述10式表示的最小化二元交叉熵损失函数
[0038][0039]其中：e
i
和分别表示预测的查询集边标签和真实的查询集边标签；是第层的权重系数；BCE表示二元交叉熵损失。为了使元知识节点与预测的标签保持一致，还引入了另一种二元交叉熵损失函数来估计元知识节点边本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于记忆力机制和图神经网络的小样本图像分类方法，其特征在于利用图神经网络与记忆机制，借助学习好的概念知识帮助小样本模型进行推理预测，具体包括下述步骤：步骤1：预训练在整个训练集上学习一个有监督的特征提取器和线性分类器，并将其作为元训练阶段编码器和记忆库的初始化权值；步骤2：元训练通过编码器提取支撑集和查询集样本的特征，将其作为任务相关节点，所述支撑集样本的特征由构建的记忆库存储；所述记忆库采用更新方式进行优化，以逐步提纯判别性信息，最后从记忆库中挖掘每个类相关信息作为元知识，并通过一个图神经网络来传播任务相关节点以及元知识之间的相似性；步骤3：元测试通过任务相关节点和元知识结点得到分类结果，在元测试过程中，记忆库和其他模块不被更新，episode采样训练策略的样本来自测试集。2.根据权利要求1所述基于记忆力机制和图神经网络的小样本图像分类方法，其特征在于所述步骤1具体包括如下步骤：1.1：在整个训练集上训练一个有监督的特征提取器和线性分类器；1.2：使用训练好的特征提取器和线性分类器分别作为元训练阶段编码器和记忆库1.2：使用训练好的特征提取器和线性分类器分别作为元训练阶段编码器和记忆库的初始化权值。3.根据权利要求1所述基于记忆力机制和图神经网络的小样本图像分类方法，其特征在于所述步骤2具体包括如下步骤：2.1：采用一个包含支撑集样本和查询集样本的N
‑
WayK
‑
shot T
‑
query任务，通过编码器提取支撑集样本S和查询集样本Q的特征表示作为任务相关的节点2.2：使用类内均值计算支撑集样本中每个类的中心点f
cen
∈R
[N,d]
，并将其与存储在记忆库中相同类别的原型点f
p
∈R
[N,d]
进行串接，将串接后的特征表示f
cat
∈R
[N,2d]
输入到一个全连接层减少维度以提纯语义信息，所述语义信息由下述1式进行约束和提纯：maxI+f
p
,Y)
‑
βI(f
cen
,f
p
)
ꢀꢀꢀꢀꢀꢀ
(1)；其中：I(.,.)表示互信息；Y表示标签；β表示拉格朗日系数；所述记忆库由下述2式进行提纯优化：将提纯后记忆库的特征表示f
D
∈R
[N,d]
与记忆库相同类别的原型点由下述3式的动量更新对记忆库进一步优化：f
p
←
λf
p
+(1
‑
λ)f
B
ꢀꢀꢀꢀꢀ
(3)；其中：λ是动量系数；2.3：计算类中心点与记忆库中每个原型点之间的余弦相似性，选择与中心点最近的
k个原型点MK＝{m1,m2,
…
,m
k
}，将k个原型点都与中心点拼接...

【专利技术属性】
技术研发人员：张志忠，谢源，刘勋承，田旭东，马利庄，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：