基于特征金字塔和特征融合的小样本图像分类方法及系统技术方案

本发明专利技术公开了一种基于特征金字塔和特征融合的小样本图像分类方法，包括以下步骤：S1.构建特征金字塔关系网络模型，模型包括特征提取模块、关系模块和特征融合模块；S2.对数据集进行扩充，将数据集划分为训练集、验证集、测试集；S3.训练模型，从训练集中采样支撑集与查询集；S4.输入支撑集图像和查询集图像，特征提取模块提取图像的特征，并输出图像的特征向量，特征融合模块融合特征向量；S5.将特征向量输入关系模块，关系模块输出支撑集图像和查询集图像的相似分值，将所有相似分值进行处理，获得最终的相似分值；S6.计算模型的损失，并更新模型的参数，重复迭代训练，直至损失的误差值趋于稳定；S7.保存训练好的模型，将模型用于小样本图像分类测试。样本图像分类测试。样本图像分类测试。

【技术实现步骤摘要】
基于特征金字塔和特征融合的小样本图像分类方法及系统


[0001]本专利技术涉及小样本学习、元学习领域，具体地说，涉及一种基于特征金字塔和特征融合的小样本图像分类方法及系统。

技术介绍

[0002]深度神经网络模型往往需要大量有标注数据的训练样本，才能达到较优的训练效果。而在现实中，样本的标签往往需要耗费大量的人力物力，或者某些情况下能够使用的样本数据就很少，这时若直接将少量样本用于训练，就会产生过拟合的问题，小样本学习正是为了解决这类问题而产生的。
[0003]将小样本学习的基本模型定义为p＝C(f(x|θ)|w)，其中特征提取器可以表示为f，分类器可以表示为C，x表示待识别的输入图像，θ表示特征提取器f的参数，w表示分类器C的参数，p表示模型输出的预测结果。在小样本学习的过程中，由于样本数量少，直接训练会导致模型参数θ和w过拟合，在目标任务上精度下降。
[0004]通过把大量可用数据的相似先前任务的训练集定义为D
base
，把包含目标检测任务的小样本学习数据集定义为D
novel
。将模型在D
base
上进行训练，学习到一个较优的参数θ和w。模型通过已经得到的初始化参数在D
novel
上进行训练，得到新的模型参数θ1和w1，更新原有参数，更新后的新模型p＝C(f(x|θ1)|w1)能够较为准确的完成图像分类任务。
[0005]围绕样本数量少这一核心问题，现有的小样本学习策略中，主要通过基于数据增强的方法、基于度量学习的方法、基于模型的方法和基于参数优化的方法解决。度量学习也叫作相似度学习，度量学习的任务目标是学习一个成对的相似性度量S(
·
，
·
)，类似的样本相似性分值更高，不类似的样本相似性分值较低。其中S既可以是一个无需学习的距离度量，也可以是一个可以进行学习的神经网络，其输出的相似性分值可以查询测试集样本分类。然而，现有的基于度量学习的小样本学习，只关注模型最后输出之间的相似性和距离度量，未关注模型网络中间层的相似性和度量，识别准确率较低，影响模型最终的分类准确性。

技术实现思路

[0006]本专利技术的目的在于克服现有技术小样本图像分类准确率较低的问题，提供一种基于特征金字塔和特征融合的小样本图像分类方法，通过新的特征金字塔关系网络和新的特征融合方式，提高在小样本图像分类中的准确性。
[0007]为了实现上述目的，本专利技术所采用的技术方案如下：
[0008]一种基于特征金字塔和特征融合的小样本图像分类方法，包括以下步骤：
[0009]S1.构建多层神经网络的特征金字塔关系网络模型，每层神经网络包括特征提取模块、关系模块和特征融合模块；
[0010]S2.获取数据集并对数据集进行扩充，将经过扩充后的数据集划分为训练集、验证集、测试集；
[0011]S3.采用C
‑
way K
‑
shot方式训练特征金字塔关系网络模型，每次训练分别从训练集采样支撑集与查询集；
[0012]S4.输入支撑集图像和查询集图像，特征提取模块提取图像的特征，并输出图像的特征向量，特征融合模块融合支撑集图像和查询集图像的特征向量；
[0013]S5.将融合后的特征向量输入关系模块，关系模块输出支撑集图像和查询集图像的相似分值，将所有关系模块输出的相似分值进行处理，获得最终的相似分值；
[0014]S6.计算特征金字塔关系网络模型的损失，并更新特征金字塔关系网络模型的参数，重复迭代训练，直至损失的误差值趋于稳定；
[0015]S7.保存训练好的特征金字塔关系网络模型，将特征金字塔关系网络模型用于小样本图像分类测试。
[0016]进一步，特征融合模块包括特征融合项，特征融合项为：
[0017]C
′
(F
S
,F
Q
)＝Concate(F
S
,F
Q
,Mul(F
S
,F
Q
))
[0018]式中，F
S
表示查询集图像的特征向量，F
Q
表示支撑集图像的特征向量，Concate(
·
,
·
)表示在特征通道进行拼接的操作，Mul(
·
,
·
)运算表示将特征图按位置对应元素相乘。
[0019]进一步，步骤S6中，将一组图像的相似性分值视为回归任务，采用均方误差MSE函数作为每层神经网络的损失函数，均方误差MSE函数为：
[0020]MSE(r,y
S
,y
Q
)＝(r
‑
1(y
S
＝＝y
Q
))2[0021]式中，r表示每层神经网络输出的相似性分数，y
S
表示支撑集图像的标签，y
Q
表示查询集图像的标签。
[0022]进一步，步骤S6中，利用损失函数计算特征金字塔关系网络模型的损失，损失函数为：
[0023][0024]式中，r
l
表示第l层神经网络输出的相似性分值，y
S
表示支撑集图像的标签，y
Q
表示查询集图像的标签，MSE表示均方误差函数，n表示神经网络的层数。
[0025]进一步，步骤S2中，将获取的数据集通过旋转来进行扩充，旋转角度为90度、180度、270度。
[0026]进一步，特征金字塔关系网络模型中，关系模块最后的全连接层的激活函数使用Sigmoid函数，其他所有的激活函数都使用ReLU函数。
[0027]一种基于特征金字塔和特征融合的小样本图像分类系统，包括：
[0028]特征提取模块，用于提取输入图像的特征；
[0029]特征融合模块，用于将输入图像的特征进行融合；
[0030]关系模块，用于判别输入的支撑集图像特征和查询集图像特征的相似度。
[0031]进一步，特征提取模块包括四个卷积块和两个2*2的最大池化层，卷积块、最大池化层、卷积块、最大池化层、卷积块、卷积块依次连接。
[0032]进一步，关系模块包括两个卷积块、两个2*2的最大池化层、ReLU全连接层和Sigmoid全连接层，卷积块、最大池化层、卷积块、最大池化层、ReLU全连接层、Sigmoid全连接层依次连接。
[0033]进一步，卷积块包括卷积层、Batch Norm层和ReLU激活函数层，卷积层的卷积核大小为3*3，输出通道数为64。
[0034]与现有技术相比，本专利技术通过构建特征金字塔关系网络(FPRN)模型，提高了小样本图像分类的精度，且由于特征金字塔关系网络(FPRN)模型本身体量较小，通过特征金字塔关系网络(FPRN)模型仍可快速获得检测结果，准确率高。
附图说明
[0035]图1为特征金字塔本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征金字塔和特征融合的小样本图像分类方法，其特征在于，包括以下步骤：S1.构建多层神经网络的特征金字塔关系网络模型，每层神经网络包括特征提取模块、关系模块和特征融合模块；S2.获取数据集并对数据集进行扩充，将经过扩充后的数据集划分为训练集、验证集、测试集；S3.采用C
‑
way K
‑
shot方式训练特征金字塔关系网络模型，每次训练分别从训练集采样支撑集与查询集；S4.输入支撑集图像和查询集图像，特征提取模块提取图像的特征，并输出图像的特征向量，特征融合模块融合支撑集图像和查询集图像的特征向量；S5.将融合后的特征向量输入关系模块，关系模块输出支撑集图像和查询集图像的相似分值，将所有关系模块输出的相似分值进行处理，获得最终的相似分值；S6.计算特征金字塔关系网络模型的损失，并更新特征金字塔关系网络模型的参数，重复迭代训练，直至损失的误差值趋于稳定；S7.保存训练好的特征金字塔关系网络模型，将特征金字塔关系网络模型用于小样本图像分类测试。2.如权利要求1的基于特征金字塔和特征融合的小样本图像分类方法，其特征在于，特征融合模块包括特征融合项，特征融合项为：C
′
(F
S
，F
Q
)＝Concate(F
S
，F
Q
，Mul(F
S
，F
Q
))式中，F
S
表示查询集图像的特征向量，F
Q
表示支撑集图像的特征向量，Concate(
·
，
·
)表示在特征通道进行拼接的操作，Mul(
·
，
·
)运算表示将特征图按位置对应元素相乘。3.如权利要求1的基于特征金字塔和特征融合的小样本图像分类方法，其特征在于，步骤S6中，将一组图像的相似性分值视为回归任务，采用均方误差MSE函数作为每层神经网络的损失函数，均方误差MSE函数为：MSE(r，y
S
，y
...

【专利技术属性】
技术研发人员：王先知，许洁斌，艾浩然，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：