一种用于神经网络小样本学习的空间电势度量方法和系统技术方案

本发明专利技术提出了一种用于神经网络小样本学习的空间电势度量方法，包括：首先通过特征嵌入提取网络f

【技术实现步骤摘要】
一种用于神经网络小样本学习的空间电势度量方法和系统


[0001]本专利技术涉及机器学习领域，特别涉及一种用于神经网络小样本学习的空间电势度量方法和系统。

技术介绍

[0002]近年来，深度学习模型在计算机视觉任务中取得了重大的突破，如图像分类、语义分割和目标检测等等，通过对大量的数据样本进行训练迭代，模型便可以在实际应用中表现出甚至高于人类的能力。在大多数学习任务中，深度学习表现出优越性能的先决条件往往是拥有大量标记的样本，当学习任务发生细微改变时，通常会导致结果崩塌。相反，人类可以从少量的示例中概括出重要的知识，并将其应用到新的场景中，我们将这种能力称为学会学习的能力，即元学习。
[0003]小样本学习是元学习领域的一大应用，能够有效解决小数据集下模型出现过拟合等问题，因此，基于深度学习的小样本学习具有更大的潜力。与传统深度学习模型配合良好的微调技术，在仅有的几个标记实例下，是无法表示真实的数据分布的，而且会导致学习分类器具有较大的方差，使其难以推广到新数据中。为了解决这一过拟合问题，Vinyals等人在2016年提出了一种元学习策略的匹配网络(Matching networks，MatchNet)，该策略能够从大量情景中学习不同的分类任务，在每一情景中，算法学习少数已标记实例(支持集)的特征嵌入，并根据嵌入空间中的余弦距离预测未标实例(查询集)的类别。由于这种情景元学习策略具有优秀的泛化性能，因此被后续的小样本学习所采用，比如Finn等人在2017年提出一种学习良好初始化的方法，即与模型无关的元学习(Model
‑
agnostic meta
‑
learning，MAML)，可以快速适应目标任务；Snell等人在2017年提出原型网络(Prototypical networks,ProtoNet)，通过情景训练并计算类原型的欧几里得距离，从而预测其对应类别。
[0004]基于度量的小样本学习大多都需要涉及到距离度量阶段，而以上传统的小样本学习方式大多只采用了余弦距离、欧几里得距离等进行度量，这类距离更多强调绝对关系，而不注意类间或类内的变化，容易降低某些场景下的预测性能。2018年，Meng Yet等人提出了一种深度三元排序网络(Deep Triplet Ranking Networks，DTPN)，该损失首次提出是用于FaceNet网络中，一定程度上降低了未标记实例与已标记实例单方面距离度量的误差，并降低了在相似类别中误分类的概率。Yanbin Liu等人在2019年提出了直推式传播网络(Transductive Propagation Network，TPN)，通过图模型和标签传播的方式，对样本类别进行综合度量并预测，提高了分类器的可靠性。以上两种方法都能够利用类间和类内的信息进行更为合理的预测，但学习成本以及整体的复杂度也随之提高了。
[0005]综上所述，现有的小样本度量技术存在如下缺点：
[0006]1、更多地强调类间的绝对度量关系，而忽略类间的相对度量关系；
[0007]2、采用额外的复杂网络模型或度量算法进行度量，在一定程度上增加了小样本学习的成本。

技术实现思路

[0008]本专利技术的主要目的在于克服现有技术中的上述缺陷，提出一种用于神经网络小样本学习的空间电势度量方法，从而解决了现有的小样本度量技术中，无法利用低模型成本、低计算复杂度综合考虑类别内部以及类别之间关系的技术问题。
[0009]本专利技术采用如下技术方案：
[0010]一种用于神经网络小样本学习的空间电势度量方法，包括：
[0011]将支持集和查询集输入到特征嵌入提取网络中，分别得到已标记和未标记实例的特征嵌入向量集；
[0012]将已标记实例的特征嵌入向量输入到电荷量参数提取网络中，得到参数作为已标记实例的电荷量；
[0013]将同一类别的特征嵌入向量和电荷量范围参数都进行均值融合，并构建拟高维空间静电场；
[0014]根据已标记示实例设定正点电荷和负点电荷，结合点电荷的电荷量，在遍历所有点电荷极性组合下,求得未标记实例的特征嵌入向量在拟高维空间静电场中位置点的电势叠加值，并以电势叠加值作为未标记实例的度量值；
[0015]将度量值转换为类别概率分数，并计算所述类别概率分数与来自未标记实例真实标签的度量学习损失，以端对端的方式学习所有网络参数。
[0016]具体地，所述支持集和查询集具体为：
[0017]从训练集C
train
中抽样出N个类别的样本用于构成支持集和查询集；其中支持集每N个类别包含K个样本，表示为：S＝{(x1,y1),(x2,y2),(x
i
,y
i
)...,(x
N
×
K
,y
N
×
K
)}；查询集每N个类别包含数量不固定的样本，表示为：并且S∈C
train
，Q∈C
train
，其中x
i
是D维输入向量，y
i
是x
i
的标签，i＝1,2,3...N
×
K；其中是D维输入向量，是D维输入向量，是的标签，i＝1,2,3...T；N、K、T都为正整数。
[0018]具体地，将支持集和查询集输入到特征嵌入提取网络中，分别得到已标记和未标记实例的特征嵌入向量集，具体为：
[0019]特征嵌入向量是通过将样本x
i
输入至特征嵌入提取网络f
θ
获得的M维向量，
[0020]对于支持集S和查询集Q，采用同一个特征嵌入提取网络f
θ
，支持集S得到的已标记实例的特征嵌入向量表示为：f
θ
(x
i
)，查询集Q得到的未标记实例的特征嵌入向量表示为：
[0021]具体地，所述电荷量参数提取网络具体为：
[0022]电荷量参数提取网络是仅由单一神经元输出的一层全连接层构成的，记为：g
Θ
，其中Θ表示网络参数。
[0023]已标记实例的特征嵌入向量f
θ
(x
i
)经过电荷量参数提取网络g
Θ
得到电荷量范围参数q
i
＝g
Θ
(f
θ
(x
i
))。
[0024]具体地，将同一类别的特征向量和电荷量范围参数进行均值融合，具体为：
[0025]对特征嵌入向量和电荷量范围参数进行均值融合的方法分别如下：
[0026][0027][0028]其中K
S
表示支持集S每个类别所包含的样本数，这里只对已标记样本做均值融合操作。
[0029]具体地，遍历所有点电荷极性组合,求得不同组合下各个未标记实例的特征嵌入向量所在空间位置点的电势叠加值，并以电势叠加值作为未标记实例的度量值，所述的度量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于神经网络小样本学习的空间电势度量方法,其特征在于，包括：将支持集和查询集输入到特征嵌入提取网络中，分别得到已标记和未标记实例的特征嵌入向量集；将已标记实例的特征嵌入向量输入到电荷量参数提取网络中，得到参数作为已标记实例的电荷量；将同一类别的特征嵌入向量和电荷量范围参数都进行均值融合，并构建拟高维空间静电场；根据已标记示实例设定正点电荷和负点电荷，结合点电荷的电荷量，在遍历所有点电荷极性组合下,求得未标记实例的特征嵌入向量在拟高维空间静电场中位置点的电势叠加值，并以电势叠加值作为未标记实例的度量值；将度量值转换为类别概率分数，并计算所述类别概率分数与来自未标记实例真实标签的度量学习损失，以端对端的方式学习所有网络参数。2.根据权利要求1所述的一种用于神经网络小样本学习的空间电势度量方法，其特征在于，所述支持集和查询集具体为：从训练集C
train
中抽样出N个类别的样本用于构成支持集和查询集；其中支持集每N个类别包含K个样本，表示为：S＝{(x1,y1),(x2,y2),(x
i
,y
i
)...,(x
N
×
K
,y
N
×
K
)}；查询集每N个类别包含数量不固定的样本，表示为：并且S∈C
train
，Q∈C
train
，其中x
i
是D维输入向量，y
i
是x
i
的标签，i＝1,2,3...N
×
K；其中是D维输入向量，入向量，是的标签，i＝1,2,3...T；N、K、T都为正整数。3.根据权利要求2所述的一种用于神经网络小样本学习的空间电势度量方法，其特征在于，将支持集和查询集输入到特征嵌入提取网络中，分别得到已标记和未标记实例的特征嵌入向量集，具体为：特征嵌入向量是通过将样本x
i
输入至特征嵌入提取网络f
θ
获得的M维向量，对于支持集S和查询集Q，采用同一个特征嵌入提取网络f
θ
，支持集S得到的已标记实例的特征嵌入向量表示为：f
θ
(x
i
)，查询集Q得到的未标记实例的特征嵌入向量表示为：4.根据权利要求3所述的一种用于神经网络小样本学习的空间电势度量方法，其特征在于，所述电荷量参数提取网络具体为：电荷量参数提取网络是仅由单一神经元输出的一层全连接层构成的，记为：g
Θ
，其中Θ表示网络参数。已标记实例的特征嵌入向量f
θ
(x
i
)经过电荷量参数提取网络g
Θ
得到电荷量范围参数q
...

【专利技术属性】
技术研发人员：王云峰，许雅雯，
申请(专利权)人：厦门大学，
类型：发明
国别省市：