一种嵌入不确定性信息的少样本图像识别方法技术

本发明专利技术属于图像识别技术领域，是一种嵌入不确定性信息的少样本图像识别方法，首先划分少样本训练数据集，并使用特征提取网络提取样本中的判别性特征；然后对所提特征进行基于MixUp的数据增强获得扩充样本；进而对扩充样本进行不确定性评估获得每个扩充样本的不确定性；根据原始样本与扩充样本及其不确定性分别构建分类任务与嵌入不确定性信息的辅助任务；随后根据分类任务与辅助任务的损失优化图像识别模型；最后使用优化得到的最优模型进行少样本图像识别。本发明专利技术能够有效地在数据稀少的情况下通过MixUp方法扩充样本集，从而取得比传统少样本图像识别方法更精确的识别结果，有效提高了分类模型的可靠性。有效提高了分类模型的可靠性。

【技术实现步骤摘要】
一种嵌入不确定性信息的少样本图像识别方法


[0001]本专利技术属于图像识别
，具体地说，是一种嵌入不确定性信息的少样本图像识别方法。

技术介绍

[0002]随着机器学习算法的不断发展和硬件设备的计算性能不断飞跃，深度学习已经被广泛应用于包括图像识别的多个领域并取得了极高的准确率，切实的改变了每个人的生活。然而，深度学习往往是数据驱动的，现有的ResNet等先进骨干网络需要大量的标注样本来完成训练。在实际应用中，训练样本存在着原始数据获取困难、标注工作需要专家指导且费时费力等问题，获取标注数据的成本十分高昂，这一现状大大阻碍了深度学习算法在现实场景下的运用。因此，少样本学习成为了重要研究方向之一。近年来，不断有基于度量学习的方法涌现出来，此类方法着重于在样本受限的情况下设计算法来获得完备的特征表示。除此之外，更为直接的解决少样本问题方法是直接扩充训练样本的数量，使得少样本情景与一般的机器学习算法运用场景之间的鸿沟得以弥合。
[0003]目前主流的图像数据扩充方法主要包括图像增强方法和图像生成方法。图像增强方法主要使用通用的手工规则对原始图像进行全局或局部的直接修改，全局修改包括缩放、翻转和调色等方式，局部修改有随机裁剪和拼接等方式。上述图像增强方法会破坏原始图像提供的信息，且由于增强方式的数量局限性在少样本情景下无法提供充足的扩充数量。图像生成方法主要基于生成对抗网络(Generative Adversarial Networks,GAN)模型来获取扩充样本，该模型包含了生成器和判别器两个重要组件，其中生成器试图模拟真实样本的分布并生成服从该分布的样本，判别器通常是一个二分类的分类器，通过对生成器提供的样本进行分类来提升模型整体的性能。基于GAN的图像生成方法能够提供大量的扩充样本，但是使用GAN需要大量的标注数据进行预训练且GAN存在难以收敛的问题，这使得此类图像生成方法解决实际情景下的少样本问题的能力受限。此外，一种常用的少样本问题解决方案是基于自监督学习的算法，这一类算法通过构建辅助任务(pretext task)来给样本提供额外的监督信息，从而更好的提取样本的分布进而提高模型的性能。此类算法构建辅助任务的过程可以视为生成标签已知的扩充样本，但辅助任务的构建规则同样是手工指定的，在少样本问题中样本数量的限制使得此类方法难以保证扩充样本的质量。
[0004]因此，考虑到特定应用场景下样本极度稀缺的现状，如何对样本集进行扩充并对扩充样本的质量进行建模和识别，从而有效提升少样本识别模型精度，是一个具有重要研究价值的问题。

技术实现思路

[0005]本专利技术的主要目的在于提供一种嵌入不确定性信息的少样本图像识别方法，以提高少样本图像识别的准确率。
[0006]为达到上述目的，本专利技术披露了一种嵌入不确定性信息的少样本图像识别方法，
具体包括以下步骤：
[0007]S1：使用自然图像数据集对特征提取网络进行预训练；
[0008]S2：获取常规少样本图像分类数据集，其中，所述图像分类数据集包含不同种类的图像训练集D
train
和测试集D
test
。然后使用训练集构建训练过程中每次迭代使用的“支持集”和“查询集”进而形成分类任务，并将所述少样本分类任务中包含的图像通过特征提取网络提取出对应的图像特征，最后使用基于MixUp数据生成器扩充支持集的特征及其伪标签并构建自监督辅助任务；
[0009]S3：根据原始图像特征计算出每个类别对应的原型特征，并计算扩充集与扩充支持集中的每个样本与其标签对应的类别原型的距离，进而构建分类任务的交叉熵损失函数，然后通过不确定性估计网络估计每个生成样本与类别原型距离的不确定性，构建嵌入不确定性信息的辅助任务损失函数；
[0010]S4：将分类任务的交叉熵损失函数和嵌入不确定性信息的辅助任务损失函数融合，进而获得整体的融合损失函数，反向传播优化获得最优图像识别模型。
[0011]本专利技术进一步改进，步骤S1具体包括如下步骤：
[0012]S11：构建基于卷积神经网络的特征提取网络，并随机初始化网络参数，所述基于卷积神经网络的特征提取网络，包括依次连接的卷积模块和最大池化模块，其中，所述卷积模块包括依次连接的卷积层、批规范化层、ReLU激活层和第一最大池化层，所述最大池化模块包括第二最大池化层，其中，所述特征提取网络的卷积模块的层数为4层，所述不确定性评估网络的全连接层的层数为4层。
[0013]S12：构建基于全连接网络的不确定性评估网络，并随机初始化网络参数，所述基于全连接网络的不确定性评估网络包括依次连接的全连接层；
[0014]S13：输入自然图像数据集至特征提取网络进行前向传播，使用交叉熵损失函数计算预测标签和真实标签的概率分布的差异；
[0015]S14：使用Adam优化方法优化交叉熵损失函数，完成网络的预训练。
[0016]本专利技术的进一步改进，步骤S2中的MixUp的图像数据生成方法的具体实现为一个基于随机参数的数据生成器，所述随机参数为MixUp算法中的α参数；步骤S2具体包括如下步骤：
[0017]S21：获取少样本图像分类数据集，其中，所述图像分类数据集包含不同种类的图像训练集D
train
和测试集D
test
；
[0018]S22：构建少样本分类任务，使用训练集构建训练过程中模型每次迭代训练输入的“支持集”和“查询集”，进而形成少样本分类任务，所述训练集采用“N
‑
way K
‑
shot”的划分方式，即从数据集中随机选择N个类在这N个类中每个类都随机选择K个样本作为支持集继续在这N个类的剩余样本中每个类随机选择Q个样本作为查询集，表示为并将所述少样本分类任务中包含的图像经过特征提取网络提取出对应的图像特征，对于单个样本x
i
，所述特征定义为z
i
＝f
φ
(x
i
)，其中f
φ
(
·
)表示前述的特征提取网络；
[0019]S23：在范围[0，1]之间随机生成参数α；
[0020]S24：生成扩充样本z
lr
＝(1
‑
α)
·
z
l
+α
·
z
r
，其中z
l
，z
r
为原支持集中样本的特征；
[0021]S25：获得生成样本的伪标签其中y
l
，y
r
分别为z
l
，z
r
对应的标签；
[0022]S26：构建扩充支持集，表示为：S
′
i
＝{(z
lr
，y
lr
)|l，r＝1...N*K}。
[0023]本专利技术的进一步改进，步骤S3中的自监督辅助任务的不确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种嵌入不确定性信息的少样本图像识别方法，其特征在于：包括以下步骤：S1：使用自然图像数据集对特征提取网络进行预训练；S2：获取常规少样本图像分类数据集，其中，所述图像分类数据集包含不同种类的图像训练集D
train
和测试集D
test
，然后使用训练集构建训练过程中每次迭代使用的“支持集”和“查询集”进而形成分类任务，并将所述少样本分类任务中包含的图像通过特征提取网络提取出对应的图像特征，最后使用基于MixUp数据生成器扩充支持集的特征及其伪标签并构建自监督辅助任务；S3：根据原始图像特征计算出每个类别对应的原型特征，并计算扩充集与扩充支持集中的每个样本与其标签对应的类别原型的距离，进而构建分类任务的交叉熵损失函数，然后通过不确定性估计网络估计每个生成样本与类别原型距离的不确定性，构建嵌入不确定性信息的辅助任务损失函数；S4：将分类任务的交叉熵损失函数和嵌入不确定性信息的辅助任务损失函数融合，进而获得整体的融合损失函数，反向传播优化获得最优图像识别模型。2.如权利要求1所述的嵌入不确定性信息的少样本图像识别方法，其特征在于：所述步骤S1具体包括如下步骤：S11：构建基于卷积神经网络的特征提取网络，并随机初始化网络参数，所述基于卷积神经网络的特征提取网络，包括依次连接的卷积模块和最大池化模块，其中，所述卷积模块包括依次连接的卷积层、批规范化层、ReLU激活层和第一最大池化层，所述最大池化模块包括第二最大池化层；S12：构建基于全连接网络的不确定性评估网络，并随机初始化网络参数，所述基于全连接网络的不确定性评估网络包括依次连接的全连接层；S13：输入自然图像数据集至特征提取网络进行前向传播，使用交叉熵损失函数计算预测标签和真实标签的概率分布的差异；S14：使用Adam优化方法优化交叉熵损失函数，完成网络的预训练。3.如权利要求2所述的嵌入不确定性信息的少样本图像识别方法，其特征在于：所述步骤S11中特征提取网络的卷积模块的层数为4层，所述步骤S12中不确定性评估网络的全连接层的层数为4层。4.如权利要求1所述的嵌入不确定性信息的少样本图像识别方法，其特征在于：步骤S2具体包括如下步骤：S21：获取少样本图像分类数据集，其中，所述图像分类数据集包含不同种类的图像训练集D
train
和测试集D
test
；S22：构建少样本分类任务，使用训练集构建训练过程中模型每次迭代训练输入的“支持集”和“查询集”，进而形成少样本分类任务，所述训练集采用“N
‑
way K
‑
shot”的划分方式，即从数据集中随机选择N个类在这N个类中每个类都随机选择K个样本作为支持集继续在这N个类的剩余样本中每个类随机选择Q个样本作为查询集，表示为并将所述少样本分类任务中包含的图像经过特征提取网络提取出对应的图像特征，对于单个样本x
i
，所述特征定义为z
i
＝f
φ
(x
i
)，其中f
φ
(
·
)表示前述的特征提取网络；
S23：在范围[0，1]之间随机生成参数α；S24：生成扩充样本z
lr
＝(1
‑
α)
·
z
l
+α
·
z
r
，其中z
l
，z
r
为原支持集中样本的特征；S25：获得生成样本的伪标签其中y
l
...

【专利技术属性】
技术研发人员：陈蕾，杨振宇，李平，宋琦，柳春波，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：