一种基于改进型度量学习的少样本图像分类方法技术

本发明专利技术公开了一种基于改进型度量学习的少样本图像分类方法，将数据集按比例分割为训练集、验证集、测试集，按照少样本任务集制作原则依次选取支持集和目标集两部分；然后，提取、组合目标集与支持集图片的多尺度特征，将支持集与目标集图片的多尺度特征拉直后做拼接；最后，将得到的新特征向量进行度量学习，从而得到分类结果。

A Method of Image Classification with Fewer Samples Based on Improved Metric Learning

The invention discloses a method of image classification with few samples based on improved metric learning, which divides the data set into training set, verification set and test set proportionally, and chooses support set and target set in turn according to the production principle of small sample task set; then, extracts and combines multi-scale features of target set and support set pictures, and multi-scale features of support set and target set pictures. Finally, the new feature vectors are measured and learned to get the classification results.

【技术实现步骤摘要】
一种基于改进型度量学习的少样本图像分类方法
本专利技术属于少样本图像处理
，更为具体地讲，涉及一种基于改进型度量学习的少样本图像分类方法。
技术介绍
深度学习，特别是卷积神经网络，给图像识别带来了质的飞跃。深度神经网络通常比较擅长从高维数据中学习，但这是建立在它们有大量标记的样本来训练的情况下。然而，在实际应用场景中，如医学领域、安全领域，并没有那么多标注数据，获取标签数据的成本也非常大，以至于会使得现有的图像识别技术面临少样本学习问题，即对于训练过程中未见过的新类别图片，只需要借助每类新类别少量样本，就具有很好的泛化能力。仅从几个样本中快速学习和适应，并在更多数据可用时继续适应，这种快速而灵活的学习具有挑战性，因为模型需要整合先前的经验以及少量新信息，同时避免在新数据上产生过拟合；此外，先前经验和新数据的分布是不相同的。在少量样本集上，按照传统的图像分类方法并不能取得很好的效果，因此我们可以通过一个函数将输入映射到目标空间，在目标空间使用简单的度量距离公式进行相似度对比。在训练阶段，去最小化来自相同类别的一对样本的损失函数值，最大化来自不同类别的一对样本的损失函数值。针对小样本集的图像分类问题，CVPR2018年最新录用的一篇少样本学习的论文《LearningtoCompare:RelationNetworkforFew-ShotLearning》中提出特征提取后构建关系网络来让其学习如何比较相似度，从而实现少样本图像分类。这个方法非常简单通用，在少样本学习的几个基准数据集上都取得了相当好的结果。但是该方法存在两个问题：1.特征提取的好坏决定着后面度量学习的结果，提取到的特征要保证具备很好的类别差异性；2.不同的特征拼接方式决定后面度量学习网络的复杂程度，从而影响整个分类器的分类准确性与训练速度。因此，针对以上两个问题，本专利技术提出基于改进的度量学习的少样本集的图像分类方法,提升少样本图像分类的训练速度和准确性。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于改进型度量学习的少样本图像分类方法，利用图像的多尺度特征训练改进型度量学习器的少样本分类器，从而进行少样本图像分类。为实现上述专利技术目的，本专利技术一种基于改进型度量学习的少样本图像分类方法，其特征在于，包括以下步骤：(1)、少样本数据集预处理获取少样本数据集，设少样本数据集中共有N个类别的样本图片，每个类别包含K张样本图片；将少样本数据集划分为三个不相交的子集，分别记为训练集Dtrain、验证集Dval和测试集Dtest；(2)、按照“N-wayk-shot”原则制作少样本任务集(2.1)、获取支持集Dsupport和目标集Dtarget随机从训练集Dtrain中选取n个类别的样本图片，每个类别选取k张，将这n×k张样本图片作为支持集Dsupport；再从每个类别中剩余的样本图片中选取b张，将这n×b张样本图片作为支持集Dsupport，其中，n＜N,k＜K，b≤K-k；然后将支持集Dsupport和目标集Dtarget采取{0°,90°,180°,270°}四种随机旋转数据增强方式进行数据增强；(2.2)、在验证集Dval中，按照步骤(2.1)所述方法，获取支持集和目标集(3)、搭建基于卷积神经网络的多尺度特征提取器去掉卷积神经网络的全连接层，按照“卷积层-池化层-卷积层-池化层-卷积层-卷积层”搭建基于卷积神经网络的多尺度特征提取器；(4)、多尺度特征提取(4.1)、提取支持集的多尺度特征将支持集Dsupport输入至多尺度特征提取器，在提取过程中，将多尺度特征提取器的第四个卷积层提取到的高层次特征和第三个卷积层提取到的中层次特征进行平均池化，得到这两个卷积层的输出特征，记为F3和F4；将支持集的输出特征F3和F4按深度方向合并，得到支持集的n×k个多尺度特征Fsupport；(4.2)、提取目标集的多尺度特征将目标集Dtarget输入至多尺度特征提取器，在提取过程中，将多尺度特征提取器的第四个卷积层提取到的高层次特征和第三个卷积层提取到的中层次特征进行平均池化，得到这两个卷积层的输出特征，记为和将目标集的输出特征和按深度方向合并，得到目标集的n×b个多尺度特征Ftarget；(5)、多尺度特征拼接(5.1)、将支持集的多尺度特征Fsupport拉直为一维长向量，再对每个类别求均值，得到n个多尺度特征(5.2)、将目标集的多尺度特征Ftarget拉直为一维长向量，得到n×b个多尺度特征(5.3)、从和中分别选择一个多尺度特征，按两特征间的元素相减后取绝对值的方式进行拼接；(5.4)、按上述步骤拼接完成后共计得到n2×b个拼接特征；(6)、搭建基于全连接神经网络的改进型度量学习器搭建三层全连接神经网络的改进型度量学习器，改进型度量学习器的前两层引入Relu非线性激活函数，第三层引用Sigmiod非线性激活函数，第三层输出分类结果；(7)、训练基于改进型度量学习器的少样本分类器(7.1)、设少样本分类器的分类正确率阈值为H％；(7.2)、训练少样本分类器：少样本分类器以交叉熵损失函数作为优化目标；在前向传播过程中，将步骤(5)得到的拼接特征输入至改进型度量学习器，输出分类结果，然后利用分类结果计算出交叉熵损失；在后向传播过程中，通过Adam优化算法计算出交叉熵损失函数的参数梯度，再根据参数梯度更新少样本分类器的参数；然后返回步骤(2)，按照上述方法进行下一轮训练，总共训练T轮；(7.2)、验证少样本分类器：当T轮训练结束后，在验证集上，按步骤(2)所述方法制作支持集和目标集再将支持集和目标集进行多尺度特征提取及拼接，得到拼接特征；将拼接特征输入至少样本分类器，输出分类结果及对应的分类正确率，分类正确率与分类正确率阈值H％比较，如果分类正确率大于或等于分类正确率阈值，则本轮验证的分类正确率通过，得到训练好的少样本分类器，否则，返回步骤(2)，进行下一轮训练；(8)、利用训练好的少样本分类器对待测试的少样本图像进行分类(8.1)、在测试集Dtest中，按照步骤(2.1)所述方法，获取支持集D′support和目标集D′target；(8.2)、将支持集D′support和目标集D′target进行多尺度特征提取及拼接，得到拼接特征；(8.3)、将拼接特征输入至训练好的少样本分类器，得到少样本图像分类结果。本专利技术的专利技术目的是这样实现的：本专利技术基于改进型度量学习的少样本图像分类方法，将数据集按比例分割为训练集、验证集、测试集，按照少样本任务集制作原则依次选取支持集和目标集两部分；然后，提取、组合目标集与支持集图片的多尺度特征，将支持集与目标集图片的多尺度特征拉直后做拼接；最后，将得到的新特征向量进行度量学习，从而得到分类结果。同时，本专利技术基于改进型度量学习的少样本图像分类方法还具有以下有益效果：(1)、提出了一个可以用于少样本图像分类的方法，对于训练过程中未见过的新类别图片，只需要借助每类新类别少量样本，就具有很好的泛化能力。(2)、提取到的特征的好坏直接影响度量学习器的距离度量效果。由于多尺度特征对图像的描述更加准确、所含信息量大，具有很好的类别差异性，从而提高了度量学习器距离度量效果。(3)、采用按两特征间的元素相减后取绝对值本文档来自技高网...

【技术保护点】
1.一种基于改进型度量学习的少样本图像分类方法，其特征在于，包括以下步骤：(1)、少样本数据集预处理获取少样本数据集，设少样本数据集中共有N个类别的样本图片，每个类别包含K张样本图片；将少样本数据集划分为三个不相交的子集，分别记为训练集Dtrain、验证集Dval和测试集Dtest；(2)、按照“N‑way k‑shot”原则制作少样本任务集(2.1)、获取支持集Dsupport和目标集Dtarget随机从训练集Dtrain中选取n个类别的样本图片，每个类别选取k张，将这n×k张样本图片作为支持集Dsupport；再从每个类别中剩余的样本图片中选取b张，将这n×b张样本图片作为支持集Dsupport，其中，n＜N,k＜K，b≤K‑k；然后将支持集Dsupport和目标集Dtarget采取{0°,90°,180°,270°}四种随机旋转数据增强方式进行数据增强；(2.2)、在验证集Dval中，按照步骤(2.1)所述方法，获取支持集

【技术特征摘要】
1.一种基于改进型度量学习的少样本图像分类方法，其特征在于，包括以下步骤：(1)、少样本数据集预处理获取少样本数据集，设少样本数据集中共有N个类别的样本图片，每个类别包含K张样本图片；将少样本数据集划分为三个不相交的子集，分别记为训练集Dtrain、验证集Dval和测试集Dtest；(2)、按照“N-wayk-shot”原则制作少样本任务集(2.1)、获取支持集Dsupport和目标集Dtarget随机从训练集Dtrain中选取n个类别的样本图片，每个类别选取k张，将这n×k张样本图片作为支持集Dsupport；再从每个类别中剩余的样本图片中选取b张，将这n×b张样本图片作为支持集Dsupport，其中，n＜N,k＜K，b≤K-k；然后将支持集Dsupport和目标集Dtarget采取{0°,90°,180°,270°}四种随机旋转数据增强方式进行数据增强；(2.2)、在验证集Dval中，按照步骤(2.1)所述方法，获取支持集和目标集(3)、搭建基于卷积神经网络的多尺度特征提取器去掉卷积神经网络的全连接层，按照“卷积层-池化层-卷积层-池化层-卷积层-卷积层”搭建基于卷积神经网络的多尺度特征提取器；(4)、多尺度特征提取(4.1)、提取支持集的多尺度特征将支持集Dsupport输入至多尺度特征提取器器，在提取过程中，将多尺度特征提取器的第四个卷积层提取到的高层次特征和第三个卷积层提取到的中层次特征进行平均池化，得到这两个卷积层的输出特征，记为F3和F4；将支持集的输出特征F3和F4按深度方向合并，得到支持集的n×k个多尺度特征Fsupport；(4.2)、提取目标集的多尺度特征将目标集Dtarget输入至多尺度特征提取器，在提取过程中，将多尺度特征提取器的第四个卷积层提取到的高层次特征和第三个卷积层提取到的中层次特征进行平均池化，得到这两个卷积层的输出特征，记为和将目标集的输出特征和按深度方向合并，得到目标集的n×b个多尺度特征Ftarget；(5)、多尺度特征拼接(5.1)、将支持...

【专利技术属性】
技术研发人员：杨波，田霞，闫新童，刘珊，曾庆川，刘婷婷，郑文锋，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51