一种基于相似性正则化类内挖掘的跨粒度小样本学习方法技术

本发明专利技术提供一种基于相似性正则化类内挖掘的跨粒度小样本学习方法，包括：利用图像特征提取网络生成训练图像样本特征；实施第一优化环，利用弱监督对深度学习模型的粗粒度类别间语义辨识性进行约束；实施第二优化环，通过对称的特征嵌入器和非对称的特征预测器，实现粗粒度类别内部的相似性正则化；将第一优化环与第二优化环损失相加，对整个网络结构进行端到端的误差反向传播，对网络参数进行优化；利用场景式微调使得到的图像特征提取网络适应小样本分类任务，最终得到细粒度小样本分类模型。本发明专利技术联合并改进弱监督和自监督两种学习范式的协同优化，同时考虑粗粒度类别的类内和类间辨识性，能得到更具有细粒度辨识能力的小样本分类模型。样本分类模型。样本分类模型。

【技术实现步骤摘要】
一种基于相似性正则化类内挖掘的跨粒度小样本学习方法


[0001]本专利技术涉及计算机视觉
，具体地，涉及一种基于相似性正则化类内挖掘的跨粒度小样本学习方法。

技术介绍

[0002]小样本学习是迈向通用人工智能的一项关键任务，是近年来深度学习领域中一直备受关注的研究热点，适用于边缘计算、个性化推荐等
小样本学习可定义为：对于训练过程中未曾见过的类别，给定少量类别示例，使模型快速学习新的概念并执行新任务的过程。它是一种自动的快速学习技术，能在新的环境中快速适应到感兴趣的新知识，是可持续学习和深度学习产品客制化等应用中的重要步骤。
[0003]现有的小样本学习方法，基于训练数据与待测试数据是相同粒度的思想，通常仍需要大量的细粒度标注来对将来的数据粒度进行估计与模拟。因此不充分的训练数据标注，例如粗粒度类别标注，会给网络性能带来不利的影响，使得准确率在训练时较高，测试阶段表现较差。这一现象的本质原因是跨粒度信息挖掘问题。
[0004]近些年来，国内外一些研究人员开始转向跨粒度小样本学习问题，通过完全的粗粒度类别信息来学习细粒度的辨识能力。现有的方法分为三种，一是通过样例间分类学习细粒度重表示，提出粗到细的伪标注算法从而对粗粒度类别分布进行细化(参见Yang,J.,Yang,H.,&Chen,L.(2021,October).Towards cross
‑
granularity few
‑
shot learning:coarse
‑/>to
‑
fine pseudo
‑
labeling with visual
‑
semantic meta
‑
embedding.In Proceedings of the 29th ACM International Conference on Multimediapages 3005
‑
3014.)，但这种方法代价过大，并且标注过程的准确性也不够高；二是通过提出角度归一化约束，结合自监督学习发挥不同监督信号协同优化作用，从而提升性能(参见Bukchin,G.,Schwartz,E.,Saenko,K.,Shahar,O.,Feris,R.,Giryes,R.,&Karlinsky,L.(2021).Fine
‑
grained angular contrastive learning with coarse labels.In Proceedings ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition.pages 8730
‑
8740.)，这种方法虽然考虑了如何将粗粒度监督信息和无需外部监督的自监督信息有效地融合，但本质上依然没有解决不同监督信息之间的作用冲突，因此性能提升很有限；三是通过对粗粒度类别内部结构进行显式地建模，利用混合高斯分布来重表示每个细粒度子类别(参见Ni,J.,Cheng,W.,Chen,Z.,Asakura,T.,Soma,T.,Kato,S.,&Chen,H.(2021,September).Superclass
‑
Conditional Gaussian Mixture Model For Learning Fine
‑
Grained Embeddings.In International Conference on Learning Representations.)，这种方法本质上与第一种相似，基于不完全准确的细粒度类别重建，性能难以保证。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种基于相似性正则化类内挖掘的跨粒度小样本学习方法。
[0006]根据本专利技术的一个方面，提供一种基于相似性正则化类内挖掘的跨粒度小样本学习方法，包括：
[0007]利用图像特征提取网络生成训练图像样本特征；
[0008]基于所述图像样本特征，实施第一优化环，利用弱监督对深度学习模型的粗粒度类别间语义辨识性进行约束；
[0009]基于所述图像样本特征，实施第二优化环，通过对称的特征嵌入器和非对称的特征预测器，实现粗粒度类别内部的相似性正则化约束；
[0010]将所述第一优化环与所述第二优化环两部分损失相加，对整个网络结构进行端到端的误差反向传播，对网络参数进行优化，得到优化的图像特征提取网络；
[0011]利用场景式微调使得所述优化的图像特征提取网络适应小样本分类任务，最终得到细粒度小样本分类模型。
[0012]优选地，所述利用图像特征提取网络生成训练图像样本特征，包括：
[0013]构建所述图像特征提取网络；
[0014]定义数据增广集合；
[0015]训练集中的图像样本基于所述数据增广集合和所述图像特征提取网络，生成隐层视图。
[0016]优选地，所述图像特征提取网络包括若干有监督的深度卷积神经网络和输出为设定维度数据的全局平均池化层；
[0017]输入图像在所述深度卷积神经网络中，减小特征分辨率，同时拓宽特征通道数，提取出高维特征；
[0018]所述高维特征通过全局平均池化层，对每个通道的特征分别取全局平均，最终得到设定维度的特征向量。
[0019]优选地，所述数据增广集合包括至少五组图像变化技术，分别为：
[0020]随机变形裁剪：对于任意输入图像，随机采取其一部分，该部分大小范围限制在全图的20％
‑
100％以内，并重采样至图像特征提取网络所需的指定大小；
[0021]随机色彩抖动：对于任意输入图像，以设定的概率对其进行随机色彩变换，所述色彩变换包括调整亮度、对比度、饱和度和色调的一种或多种；
[0022]随机灰度转换：对于任意输入图像，以设定的概率对其进行随机灰度转换，将彩色图像转换为各通道值相同的灰度图像；
[0023]随机高斯模糊：对于任意输入图像，以设定的概率对其进行随机高斯模糊，所述高斯核标准差范围在[0.1,2.0]之间；
[0024]随机水平翻转：对于任意输入图像，以设定的概率对其进行随机水平翻转。
[0025]优选地，所述图像样本基于数据增广集合和图像特征提取网络，生成隐层视图，包括：
[0026]对训练数据中的每一个图像样本，在每一次迭代中均经过所述数据增广集合采样得到两个增广函数；
[0027]基于所述两个增广函数，将每个图像样本投射为正样本对；
[0028]对所述正样本对中的两个样本矩阵，分别利用图像特征提取网络将其从样本空间投射为设定维数的实数向量空间，得到两个增广的训练图像样本特征，称为隐层视图。
[0029]优选地，所述基于所述图形样本特征，实施第一优化环，利用弱监督对深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相似性正则化类内挖掘的跨粒度小样本学习方法，其特征在于，包括：利用图像特征提取网络生成训练图像样本特征；基于所述图像样本特征，实施第一优化环，利用弱监督对深度学习模型的粗粒度类别间的语义辨识性进行约束；基于所述图像样本特征，实施第二优化环，通过对称的特征嵌入器和非对称的特征预测器，实现粗粒度类别内部的相似性正则化约束；将所述第一优化环与所述第二优化环两部分损失相加，对整个网络结构进行端到端的误差反向传播，对网络参数进行优化，得到优化的图像特征提取网络；利用场景式微调使得所述优化的图像特征提取网络适应小样本分类任务，最终得到细粒度小样本分类模型。2.根据权利要求1所述的一种基于相似性正则化类内挖掘的跨粒度小样本学习方法，其特征在于，所述利用图像特征提取网络生成训练图像样本特征，包括：构建所述图像特征提取网络；定义数据增广集合；训练集中的图像样本基于所述数据增广集合和所述图像特征提取网络，生成隐层视图。3.根据权利要求2所述的一种基于相似性正则化类内挖掘的跨粒度小样本学习方法，其特征在于，还包括如下一种或多种选择：
‑
所述图像特征提取网络包括若干有监督的深度卷积神经网络和输出为设定维度数据的全局平均池化层；输入图像在所述深度卷积神经网络中，减小特征分辨率，同时拓宽特征通道数，提取出高维特征；所述高维特征通过全局平均池化层，对每个通道的特征分别取全局平均，最终得到设定维度的特征向量；
‑
所述数据增广集合包括至少五组图像变化技术，分别为：随机变形裁剪：对于任意输入图像，随机采取其一部分，该部分大小范围限制在全图的20％
‑
100％以内，并重采样至所述图像特征提取网络所需的指定大小；随机色彩抖动：对于任意输入图像，以设定的概率对其进行随机色彩变换，所述色彩变换包括调整亮度、对比度、饱和度和色调的一种或多种；随机灰度转换：对于任意输入图像，以设定的概率对其进行随机灰度转换，将彩色图像转换为各通道值相同的灰度图像；随机高斯模糊：对于任意输入图像，以设定的概率对其进行随机高斯模糊，所述高斯核标准差范围在[0.1,2.0]之间；随机水平翻转：对于任意输入图像，以设定的概率对其进行随机水平翻转；
‑
所述训练集中的图像样本基于数据增广集合和图像特征提取网络，生成隐层视图，包括：对训练集的每个图像样本，在每一次迭代中均经过所述数据增广集合采样得到两个增广函数；基于所述两个增广函数，将每个图像样本投射为正样本对；对所述正样本对中的两个样本矩阵，分别利用图像特征提取网络将其从样本空间投射为设定维数的实数向量空间，得到两个增广的训练图像样本特征，称为隐层视图。
4.根据权利要求1所述的一种基于相似性正则化类内挖掘的跨粒度小样本学习方法，其特征在于，所述基于所述图像样本特征，实施第一优化环，利用弱监督对深度学习模型的粗粒度类别间语义辨识性进行约束，包括：基于全连接神经网络和Softmax激活层，形成粗粒度类别分类器；将所述训练图像样本特征作为...

【专利技术属性】
技术研发人员：杨华，杨锦海，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：