小样本图像分类系统及其方法技术方案

本发明专利技术涉及一种小样本图像分类系统及方法，多分辨率模块，学习不同分辨率图像的特征嵌入，为输入图像生成深度局部描述符学习不同分辨率图像的特征嵌入，每个查询图像和每个支持类的分布都可在深度局部描述符的级别上表示；全局注意力模块，放大跨维度接受区域，捕获全局维度的重要交互特征；自适应融合模块，联合学习得到的权值向量将局部关系和全局关系自适应地融合在一起，采用非参数最近邻分类器作为动态分类器；自蒸馏模块，将深层网络分类器作为教师网络，对共享第二层卷积模块权重的浅层网络进行蒸馏。卷积神经网络中使用多分辨率学习的方法，全局注意力机制融入自蒸馏方法中，解决小样本学习任务中图像空间冗余问题。解决小样本学习任务中图像空间冗余问题。解决小样本学习任务中图像空间冗余问题。

【技术实现步骤摘要】
小样本图像分类系统及其方法


[0001]本专利技术涉及一种小样本图像分类系统及其方法。

技术介绍

[0002]目前，深度神经网络(DNN)已经在图像分类、目标检测和语义分割等方面取得了非常好的效果，一般提升神经网络精度的方法是增加网络的深度和宽度，但是常常会带来增加的精度与计算量不对等的弊端。为了能够让网络在计算资源受限的平台上运行，则需要优化的目标是在满足资源限制的基础上，尽可能的提高网络模型的精度。知识蒸馏是网络模型压缩中常用的方法，与传统的知识蒸馏方法不同，自蒸馏学习(Self
‑
Knowledge Distillation,SKD)不需要预先训练一个教师网络以提供有效增益信息给学生模型，而是对具有相同架构的单个模型进行知识蒸馏，以减少对复杂的教师网络训练所耗费的成本，并在最大程度上对网络的精度进行提升；然而，深度学习模型在学习时不可避免地会出现过拟合问题。人类可以从少量的样本中快速学习某一类事物，并且拥有很强的泛化能力。受此启发，小样本学习(Few
‑
shot Learning,FSL)的概念应运而生，小样本学习旨在让深度学习模型利用训练任务之间的共性，将所学到的先验知识快速推广到只含少量标注样本的新任务当中，极大地降低了样本数据的获取成本和难度，并且缓解了深度学习中常见的过拟合问题；因此，如何充分发挥小样本学习在图像分类任务上的潜力，正逐渐成为业内研究热点。在小样本学习任务中，对于图像分类结果的可靠性有着严格的要求，而图像中相似冗余背景会对目标特征的识别存在显著的干扰。在面对背景非常复杂并且含有大量的冗余信息的输入图像时，感兴趣区域(Region of Interest,ROI)能够引起计算机视觉的注意，通过对提取到的图像中感兴趣区域的处理，从而忽略掉图像的冗余信息。基于度量学习的方法在小样本分类任务上取得了很好的效果，图像在分类过程中使用顶层的特征进行度量学习。从特征提取的角度来看，顶层的样本特征分辨率较低，图像的通道信息和空间信息等细节信息基本丢失，导致小样本图像分类任务的精度较差。空间注意机制和通道注意机制来减少分类过程中细节信息的损失，使模型获得了较高的准确性；然而由于信息减少和维度分离，这些注意力机制仅仅利用了来自有限的接受域的视觉表征。在这个过程中，失去了全局空间通道的相互作用，从而削弱了图像的全局表征信息。

技术实现思路

[0003]本专利技术的目的是克服现有技术存在的不足，提供一种小样本图像分类系统及其方法。
[0004]本专利技术的目的通过以下技术方案来实现：
[0005]小样本图像分类系统，特点是：包含多分辨率模块、全局注意力模块、自适应融合模块以及自蒸馏模块；
[0006]多分辨率模块，学习不同分辨率图像的特征嵌入，为输入图像生成深度局部描述符学习不同分辨率图像的特征嵌入，每个查询图像和每个支持类的分布都可在深度局部描
述符的级别上表示；
[0007]全局注意力模块，放大跨维度接受区域，捕获全局维度的重要交互特征；
[0008]自适应融合模块，联合学习得到的权值向量将局部关系和全局关系自适应地融合在一起，采用非参数最近邻分类器作为动态分类器；
[0009]自蒸馏模块，将深层网络分类器作为教师网络，对共享第二层卷积模块权重的浅层网络进行蒸馏。
[0010]进一步地，上述的小样本图像分类系统，其中，多分辨率模块，采用多尺度的体系结构和密集连接的方法构建多分辨率网络，为生成具有高分辨率的新特征图作为输入，构建一个Regular
‑
conv层，该层由一个bottleneck层和一个regular convolution层组成，每一层均包含一个批处理归一化层、一个ReLU层和一个卷积层；先利用Regular
‑
conv层在卷积过程中对图像特征以双线性插值的方式进行上采样，然后将得到的特征图通过密集连接进行融合；再将Regular
‑
conv层中的regular convolution的stride设为2，构建一个stride
‑
conv层，将其嵌入到带有下采样的融合块中，再将得到的不同分辨率样本数据输入到网络中，并且为输入图像生成深度局部描述符，使每个查询图像和每个支持类的分布均能在深度局部描述符的级别上表示。
[0011]进一步地，上述的小样本图像分类系统，其中，全局注意力模块，采用CBAM中的顺序通道
‑
空间注意机制，重新设计通道注意子模块与空间注意子模块；在通道注意子模块中采用三维排列的方式保留三维信息，利用一个两层的多层感知器放大跨维的通道
‑
空间依赖关系；在空间注意子模块中采用两个卷积层进行空间信息融合；同时，删除池化以进一步保留特性映射，采用带有通道混洗的组卷积防止参数增加。
[0012]进一步地，上述的小样本图像分类系统，其中，自适应融合模块的基于多分辨率自蒸馏网络通过Conv Block定义查询分布和支持类分布之间的联合非对称分布度量，同时考虑到不对称的局部关系和全局关系，分别采用KL散度测度计算全局级关系和I2C测度产生局部级关系，并设计融合策略将局部关系和全局关系自适应地融合在一起；采用可学习的二维权值向量实现融合，因KL散度表示不相似性而不是相似性，采用散度的负值来获得相似性。
[0013]进一步地，上述的小样本图像分类系统，其中，自蒸馏模块，深度学习网络中绝大多数预测任务使用softmax层给大量标签分配概率分布；根据目标卷积神经网络的原始结构，将原始网络分出一个浅层神经网络作为学生网络，在训练期间深层网络被视为教师网络，将注意力机制融入到自蒸馏学习中，构建一个从深层到浅层的反馈连接，通过共享不同层次的注意力权重，将不同层次网络提取到的注意力特征图送入分类器中，分别得到高维与低维预测的概率分布，然后根据预测的概率分布将深层网络对浅层神经网络进行蒸馏。
[0014]本专利技术小样本图像分类方法，包括以下步骤：
[0015]首先，将原始网络分出一个浅层子网络来识别图像的低分辨率表示，并且保持该原始网络识别高分辨率图像特征的能力；
[0016]然后，在多分辨率网络中添加全局注意力机制，用以减少信息损失和放大全局交互表示；
[0017]接着，对分出来的浅层子网络使用自蒸馏学习的方法，将网络中更深层的知识压缩到浅层子网络中，用以提升浅层网络的泛化能力；
[0018]最后，将低分辨率网络中的粗粒度特征重用并融合到高分辨率网络当中，用以提升模型提取图像表征的能力。
[0019]更进一步地，上述的基于多分辨率自蒸馏网络的小样本图像分类方法，由多分辨率模块，生成具有不同分辨率的新特征图作为输入；由全局注意力模块，放大跨维度接受区域，捕获全局维度的重要交互特征；自适应融合模块，将局部关系和全局关系自适应地融合在一起；由自蒸馏模块，促进连续层次之间的交互学习，使模型在全局特征中提取图像的通用特征，提高模型的泛化能力。
[0020]更进一步地，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.小样本图像分类系统，其特征在于：包含多分辨率模块(1)、全局注意力模块(2)、自适应融合模块(3)以及自蒸馏模块(4)；多分辨率模块(1)，学习不同分辨率图像的特征嵌入，为输入图像生成深度局部描述符学习不同分辨率图像的特征嵌入，每个查询图像和每个支持类的分布都可在深度局部描述符的级别上表示；全局注意力模块(2)，放大跨维度接受区域，捕获全局维度的重要交互特征；自适应融合模块(3)，联合学习得到的权值向量将局部关系和全局关系自适应地融合在一起，采用非参数最近邻分类器作为动态分类器；自蒸馏模块(4)，将深层网络分类器作为教师网络，对共享第二层卷积模块权重的浅层网络进行蒸馏。2.根据权利要求1所述的小样本图像分类系统，其特征在于：多分辨率模块(1)，采用多尺度的体系结构和密集连接的方法构建多分辨率网络，为生成具有高分辨率的新特征图作为输入，构建一个Regular
‑
conv层，该层由一个bottleneck层和一个regular convolution层组成，每一层均包含一个批处理归一化层、一个ReLU层和一个卷积层；先利用Regular
‑
conv层在卷积过程中对图像特征以双线性插值的方式进行上采样，然后将得到的特征图通过密集连接进行融合；再将Regular
‑
conv层中的regular convolution的stride设为2，构建一个stride
‑
conv层，将其嵌入到带有下采样的融合块中，再将得到的不同分辨率样本数据输入到网络中，并且为输入图像生成深度局部描述符，使每个查询图像和每个支持类的分布均能在深度局部描述符的级别上表示。3.根据权利要求1所述的小样本图像分类系统，其特征在于：全局注意力模块(2)，采用CBAM中的顺序通道
‑
空间注意机制，重新设计通道注意子模块与空间注意子模块；在通道注意子模块中采用三维排列的方式保留三维信息，利用一个两层的多层感知器放大跨维的通道
‑
空间依赖关系；在空间注意子模块中采用两个卷积层进行空间信息融合；同时，删除池化以进一步保留特性映射，采用带有通道混洗的组卷积防止参数增加。4.根据权利要求1所述的小样本图像分类系统，其特征在于：自适应融合模块(3)的基于多分辨率自蒸馏网络通过Conv Block定义查询分布和支持类分布之间的联合非对称分布度量，同时考虑到不对称的局部关系和全局关系，分别采用KL散度测度计算全局级关系和I2C测度产生局部级关系，并设计融合策略将局部关系和全局关系自适应地融合在一起；采用可学习的二维权值向量实现融合，因KL散度表示不相似性而不是相似性，采用散度的负值来获得相似性。5.根据权利要求1所述的小样本图像分类系统，其特征在于：自蒸馏模块(4)，深度学习网络中绝大多数预测任务使用softmax层给大量标签分配概率分布；根据目标卷积神经网络的原始结构，将原始网络分出一个浅层神经网络作为学生网络，在训练期间深层网络被视为教师网络，将注意力机制融入到自蒸馏学习中，构建一个从深层到浅层的反馈连接，通过共享不同层次的注意力权重，将不同层次网络提取到的注意力特征图送入分类器中，分别得到高维与低维预测的概率分布，然后根据预测的概率分布将深层网络对浅层神经网络进行蒸馏。6.权利要求1所述的系统实现小样本图像分类方法，其特征在于：包括以下步骤：首先，将原始网络分出一个浅层子网络来识别图像的低分辨率表示，并且保持该原始
网络识别高分辨率图像特征的能力；然后，在多分辨率网络中添加全局注意力机制，用以减少信息损失和放大全局交互表示；接着，对分出来的浅层子网络使用自蒸馏学习的方法，将网络中更深层的知识压缩到浅层子网络中，用以提升浅层网络的泛化能力；最后，将低分辨率网络中的粗粒度特征重用并融合到高分辨率网络当中，用以提升模型提取图像表征的能力。7.根据权利要求6所述的小样本图像分类方法，其特征在于：由多分辨率模块(1)，生成具有不同分辨率的新特征图作为输入；由全局注意力模块(2)，放大跨维度接受区域，捕获全局维度的重要交互特征；自适应融合模块(3)，将局部关系和全局关系自适应地融合在一起；由自蒸馏模块(4)，促进连续层次之间的交互学习，使模型在全局特征中提取图像的通用特征，提高模型的泛化能力。8.根据权利要求6所述的小样本图像分类方法，其特征在于：多分辨率模块(1)，学...

【专利技术属性】
技术研发人员：奚雪峰，仇真，顾晨凯，崔志明，胡伏原，左严，
申请(专利权)人：江苏新希望科技有限公司，
类型：发明
国别省市：