【技术实现步骤摘要】
本专利技术涉及图像识别，具体是一种基于特征分布对齐元学习的图像分类方法。
技术介绍
1、深度神经网络在各种计算机视觉领域表现出了出色的性能。然而，当数据量和标注方面受到限制时，性能会急剧下降。正是在这样的背景下，元学习成为了一种备受关注的解决方案。元学习的核心思想是学会如何学习，通过从过去的学习经验中获取通用的知识和策略，以便在面对新任务时能够快速适应。
2、鉴于小样本数量的限制，元学习训练过程中容易发生过拟合问题。为了进一步提升模型的泛化性能，研究人员提出了多种新的策略。一些研究开始考虑在任务采样中引入调度策略，通过自适应的采样过程来更好的构建分类任务。最近的研究在解决任务不足所带来的问题上，任务增强方法的应用明显优化了模型的性能。包括对任务标签注入相同的随机噪声、任务差值、对抗性任务上采样、图像旋转、混合任务实例等方法。
3、尽管上述方法在提升元学习泛化性能方面取得了显著进展，但它们只是把任务当作一个单独的实例，忽略了任务特征分布之间的差异。这种差异，可能导致模型在学习过程中过度适应某些任务的特定特征，从而对其他任务的适应性下降。例如在“苹果”和“花椰菜”分类问题中重要的是形状特征和纹理特征，“马”和“斑马”分类问题中重要的是纹理特征。由于元学习的优异表现源于特征重用，在上述问题中，如果神经网络偏向于形状特征的提取就会导致后者分类性能十分糟糕。
技术实现思路
1、鉴于以上所述现有技术的缺点，本专利技术提出了一种基于特征分布对齐元学习的图像分类方法，该方法
2、为了实现上述目的，本专利技术采用的技术方案包含以下步骤：
3、步骤1：获取小样本分类数据集，构建训练集、验证集和测试集；
4、步骤2：构建基于特征分布对齐元学习的图像分类网络；
5、步骤3：在训练集上进行元学习的训练，对训练过程中的任务进行特征分布对齐；
6、步骤4：在验证集上验证当前模型的性能；
7、步骤5：选择在步骤4上表现最好的模型进行微调，然后测试小样本图像分类性能。
8、进一步的，所述步骤1小样本分类数据集包含数据集miniimagenet。
9、进一步的，所述步骤1中三个集合相互独立，并且每个集合又被分为支持集和测试集，支持集用于模型参数的训练和适应当前任务，查询集用于评估模型的泛化性能。
10、进一步的，所述步骤2元学习网络包含元训练阶段和元测试阶段，具体而言，元训练阶段包括在训练集上学习模型的参数，在验证集上进行模型的选择，元测试阶段包括利用测试集进行模型的评估。
11、进一步的，所述步骤2元学习网络包含四个卷积块和一个全连接层，表示为fθ；每个卷积块包含以下层和参数设置：一个卷积层(卷积核大小为3×3，步幅为1，填充方法为1，滤波器数量为64)，一个批归一化层、一个relu非线性激活函数层和2×2最大池化层。
12、进一步的，所述步骤3在训练过程中使用adam作为元优化器，并将学习率设置为0.001；在训练阶段，使用了5个梯度步数进行参数更新，而在评估阶段，使用了10个梯度步数进行模型评估。
13、进一步的，所述步骤3任务特征分布对齐训练过程具体包括：
14、步骤301：随机抽取b个批次任务进行批量训练，对于每个任务收集n×k个样本来构建支持集和n×m个样本来创建查询集其中n为每个任务的类别数，k为支持集中每个类别的样本数，m为查询集中每个类别的样本数；
15、步骤302：在支持集上进行模型参数的训练，得到任务i在第j步梯度下降时的交叉熵损失并使用学习率β进行参数更新：
16、
17、步骤303：重复步骤302进行j步梯度下降，得到每个任务的自适应参数θi′，其中θi′＝θi,j+1；
18、步骤304：利用参数θi′在查询集上进行评估，得到每个任务在查询集上的交叉熵损失并且将此时元网络全连接层的输出当作任务的特征分布
19、步骤305：重复步骤302至步骤304，直至完成b个批次任务的训练，选取b个批次中查询集上损失最小的任务作为教师任务t：
20、
21、步骤306：通过kl散度(kullback-leibler divergence，简称kl散度，又叫相对熵或信息散度)计算出教师任务特征分布与学生任务特征分布之间的信息差异：
22、
23、其中为相对的kl散度；
24、步骤307：通过知识蒸馏的方式，使其他学生任务的特征分布向教师任务的特征分布对齐并进行元学习网络参数的更新：
25、
26、其中α为元优化器的学习率，λ为蒸馏损失的学习率。
27、进一步的，所述步骤4按照预定的训练周期对模型在验证集上进行定期性能评估。
28、进一步的，所述步骤5在测试集中的支持集上进行微调，然后在查询集上进行性能测试来报告模型的最终性能指标。
29、本专利技术提出的一种基于特征分布对齐元学习的图像分类方法，相对于传统的元学习图像分类方法有以下优点：
30、(1)本专利技术针对任务特征差异对于模型泛化性能的影响，提出一种基于特征分布对齐元学习的图像分类方法，提高了模型的鲁棒性。
31、(2)本专利技术避免了引入过多的计算资源的问题，保证在资源有限的边缘设备或其他环境中运行时的性能和效率。
32、(3)本专利技术是通用的和模型不可知的，可以与不同的元学习图像分类模型结合以提高它们的泛化性能。
本文档来自技高网...【技术保护点】
1.一种基于特征分布对齐元学习的图像分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于特征分布对齐元学习的图像分类方法，其特征在于，所述步骤1中的小样本分类数据集包含数据集miniImagenet。
3.根据权利要求1所述的一种基于特征分布对齐元学习的图像分类方法，其特征在于，所述步骤1中三个集合相互独立，并且每个集合又被分为支持集和测试集，支持集用于模型参数的训练和适应当前任务，查询集用于评估模型的泛化性能。
4.如权利要求1所述的一种基于特征分布对齐元学习的图像分类方法，其特征在于，所述步骤2中所构建的元学习网络包含元训练阶段和元测试阶段，具体而言，元训练阶段包括在训练集上学习模型的参数，在验证集上进行模型的选择，元测试阶段包括利用测试集进行模型的评估。
5.如权利要求1所述的一种基于特征分布对齐元学习的图像分类方法，其特征在于，所述步骤2中所构建的元学习网络包含四个卷积块和一个全连接层，表示为fθ；每个卷积块包含以下层和参数设置：一个卷积层(卷积核大小为3×3，步幅为1，填充方法为1，滤波器数量为64)，一
6.如权利要求1所述的一种基于特征分布对齐元学习的图像分类方法，其特征在于，所述步骤3在训练过程中使用Adam作为元优化器，并将学习率设置为0.001；在训练阶段，使用了5个梯度步数进行参数更新，而在评估阶段，使用了10个梯度步数进行模型评估。
7.如权利要求1所述的一种基于特征分布对齐元学习的图像分类方法，其特征在于，所述步骤3任务特征分布对齐训练过程具体包括：
8.如权利要求1所述的一种基于特征分布对齐元学习的图像分类方法，其特征在于，所述步骤4按照预定的训练周期对模型在验证集上进行定期性能评估。
9.如权利要求1所述的一种基于特征分布对齐元学习的图像分类方法，其特征在于，所述步骤5在测试集上的支持集上进行微调，然后在查询集上进行性能测试来报告模型的最终性能指标。
...【技术特征摘要】
1.一种基于特征分布对齐元学习的图像分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于特征分布对齐元学习的图像分类方法，其特征在于，所述步骤1中的小样本分类数据集包含数据集miniimagenet。
3.根据权利要求1所述的一种基于特征分布对齐元学习的图像分类方法，其特征在于，所述步骤1中三个集合相互独立，并且每个集合又被分为支持集和测试集，支持集用于模型参数的训练和适应当前任务，查询集用于评估模型的泛化性能。
4.如权利要求1所述的一种基于特征分布对齐元学习的图像分类方法，其特征在于，所述步骤2中所构建的元学习网络包含元训练阶段和元测试阶段，具体而言，元训练阶段包括在训练集上学习模型的参数，在验证集上进行模型的选择，元测试阶段包括利用测试集进行模型的评估。
5.如权利要求1所述的一种基于特征分布对齐元学习的图像分类方法，其特征在于，所述步骤2中所构建的元学习网络包含四个卷积块和一个全连接层，表示为fθ；每个卷积...
【专利技术属性】
技术研发人员：王茂发，冷志雄，万泉，徐艳琳，颜丙辰，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。