基于动态神经网络扩展的持续小样本图像分类方法和系统技术方案

本发明专利技术属于计算机视觉领域，具体涉及了一种基于动态神经网络扩展的持续小样本图像分类方法和系统，旨在解决现有技术进行新类的训练时难以对模型整体进行调整的问题。本发明专利技术包括：通过带有已知类数据标签的样本训练基础特征提取网络，通过特征提取器对带有已知类数据标签的样本进行特征提取，再通过投影层投影至可扩展特征空间中并保留未使用区域；将带有新类数据标签的样本和带有已知类数据标签的样本组合训练；新类视觉特征通过扩充部分参数的投影层投影至未使用区域并与已知类进行对齐，通过增量类原型分类器进行分类。本发明专利技术简单、灵活，可以显著提升全新类对象的分类性能，并能有效改善对历史类对象的分类性能。能有效改善对历史类对象的分类性能。能有效改善对历史类对象的分类性能。

【技术实现步骤摘要】
基于动态神经网络扩展的持续小样本图像分类方法和系统


[0001]本专利技术属于计算机视觉领域，具体涉及了一种基于动态神经网络扩展的持续小样本图像分类方法和系统。

技术介绍

[0002]小样本学习的核心任务是图像分类，这要求目标模型能够扩展到指定类别上并对其进行正确判断。在利用深度模型求解经典图像分类问题时，训练集中包含大量目标类别的带标签样本，因此模型在训练阶段能够获取大量目标任务的相关知识，从而在测试集上拥有良好性能。与以往使用深度模型求解图像分类问题不同，小样本图像分类问题中的目标类别仅包含少量标注样本，甚至只有一个带标签样本，故而传统的深度模型训练方式在小样本图像分类问题上并不适用。由于深度模型的拟合需要大量训练样本的支持，而小样本任务的带标签样本数量又难以达到这一要求，因此模型需要在已有的大型数据集上进行预训练。经过预训练的模型在具备一定先验知识与特征提取能力后，我们将其迁移至下游的小样本任务，将模型已学习到的知识与目标任务的少量标注样本结合来求解分类问题。
[0003]持续小样本学习旨在设计一种机器学习算法，使模型能够通过少量带标注样本不断学习到新类的知识，同时不会忘记旧类的知识。该问题的困难在于，来自新类别的有限数据不仅会导致严重的过拟合，而且还会加剧对旧类知识的灾难性遗忘。此外，由于训练数据是顺序输入的，当前阶段学习到的分类器只能为特定类别提供判别信息，而持续小样本学习要求所有类别都参与测试。考虑到现实场景中存在大量具有持续增长特性的开放式问题，持续小样本学习是一个具有研究价值的方向。
[0004]针对该问题，一个简单的做法是保留以出现过的类别的部分带标签样本，当新类增加时，将旧类的带标签样本与新类带标签样本同时输入神经网络，对模型进行整体微调，在保证模型不遗忘旧类知识的同时增加模型对新类的识别能力。该方法的缺点在于，新类只有少量带标签样本，难以对模型整体进行调整，同时会破坏模型在大量训练数据下得到的高效特征提取网络。因此，如何只使用少量的有标注样本，帮助模型增量地学习全新类的特征提取能力是当前持续小样本学习的研究难点。

技术实现思路

[0005]为了解决现有技术中的上述问题，即现有技术的当新类增加时将旧类的带标签样本与新类带标签样本同时输入神经网络，对模型进行整体微调，在保证模型不遗忘旧类知识的同时增加模型对新类的识别能力，但新类只有少量带标签样本难以对模型整体进行调整，同时会破坏模型在大量训练数据下得到的高效特征提取网络的问题，本专利技术提供了一种基于动态神经网络扩展的持续小样本图像分类方法，所述方法包括：
[0006]步骤S100，通过带有已知类数据标签的样本训练基础特征提取网络，具体为：
[0007]所述特征提取网络包括一个特征提取器和一个投影层；
[0008]通过特征提取器对带有已知类数据标签的样本进行特征提取，获得基础视觉特
征；将所述基础视觉特征通过特征投影层投影至可扩展特征空间中，并定义为已知类，在所述可扩展特征空间保留未使用区域，获得基础特征提取网络；
[0009]步骤S200，当需要对所述基础特征提取网络进行扩展时，将带有新类数据标签的样本和带有已知类数据标签的样本组合，得到扩展训练样本；；
[0010]步骤S300，将基础特征提取网络的特征提取器进行参数固定，并对扩展训练样本进行特征提取获得已知类视觉特征数据和新类视觉特征数据，通过投影层投影至可扩展特征空间，将新类视觉特征数据投影后的数据设定为新类；
[0011]步骤S400，将可扩展特征空间中的新类与已知类进行对齐，使投影层的训练损失低于预设的阈值或取最小值，获得训练好的特征提取网络；
[0012]步骤S500，通过图像采集设备获取待分类图像，通过所述训练好的特征提取网络提取待分类图像的视觉特征，进而通过增量类原型分类器对所述待分类图像的视觉特征进行分类，获得图像分类结果。
[0013]在一些优选的实施方式中，所述投影层，基于一个可学习矩阵构建；
[0014]所述可学习矩阵，其参数大小为[F D]，记为其中F表示基础特征提取器所提取的特征维度，D表示投影空间的维度。
[0015]在一些优选的实施方式中，所述投影层，将所述基础视觉特征通过投影层投影至可扩展特征空间中，并定义为已知类时，只训练[F：D0]，其中(0＜D0＜D)，保留[F D0：D]为未使用参数。
[0016]在一些优选的实施方式中，所述投影层，当需要对所述基础特征提取网络进行扩展时，从所述可学习矩阵中的未使用参数重新划分出扩充参数和新的可学习矩阵中的未使用参数，将扩充参数进行随机初始化，并通过扩展训练样本训练扩充参数，扩充参数U为[F：D1]，[D0＜D1＜D]，以此将新类视觉特征数据嵌入可扩展特征空间，并将新类与已知类进行对齐。
[0017]在一些优选的实施方式中，将所述新类与已知类进行对齐，具体为：
[0018]对于可扩展特征空间中的新类视觉特征数据，投影层的训练损失L
cls
为：：
[0019][0020]其中，表示针对来自于分布的所有样本x的数学期望，p为概率，y
*
为x对应的真实标签。
[0021]在一些优选的实施方式中，在得到扩展训练样本之后，还包括筛选代表数据的步骤，具体为：
[0022]所述扩展训练样本通过Kmeans聚类算法选取每个类的离聚类中心最近的一个样本作为代表数据，输入待训练的基础特征提取网络。
[0023]本专利技术的另一方面，提出了一种基于动态神经网络扩展的持续小样本图像分类系统，所述系统包括：
[0024]初步训练模块，配置为通过带有已知类数据标签的样本训练基础特征提取网络，具体为：所述特征提取网络包括一个特征提取器和一个投影层；
[0025]通过特征提取器对带有已知类数据标签的样本进行特征提取，获得基础视觉特征；将所述基础视觉特征通过特征投影层投影至可扩展特征空间中，并定义为已知类，在所述可扩展特征空间保留未使用区域，获得基础特征提取网络；
[0026]扩展训练样本获取模块，配置为当需要对所述基础特征提取网络进行扩展时，将带有新类数据标签的样本和带有已知类数据标签的样本组合，得到扩展训练样本；
[0027]新类嵌入模块，配置为将基础特征提取网络的特征提取器进行参数固定，并对扩展训练样本进行特征提取获得已知类视觉特征数据和新类视觉特征数据，通过投影层投影至可扩展特征空间，将新类视觉特征数据投影后的数据设定为新类；
[0028]类对齐模块，配置为将可扩展特征空间中的新类与已知类进行对齐，使投影层的训练损失低于预设的阈值或取最小值，获得训练好的特征提取网络；
[0029]图像分类模块，配置为通过图像采集设备获取待分类图像，通过所述训练好的特征提取网络提取待分类图像的视觉特征，进而通过增量类原型分类器对所述待分类图像的视觉特征进行分类，获得图像分类结果。
[0030]在一些优选的实施方式中，所述投影层，具体为通过基于一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态神经网络扩展的持续小样本图像分类方法，其特征在于，所述方法包括：通过带有已知类数据标签的样本训练基础特征提取网络，具体为：所述特征提取网络包括一个特征提取器和一个投影层；通过特征提取器对带有已知类数据标签的样本进行特征提取，获得基础视觉特征；将所述基础视觉特征通过投影层投影至可扩展特征空间中，并定义为已知类，在所述可扩展特征空间保留未使用区域，获得基础特征提取网络；当需要对所述基础特征提取网络进行扩展时，将带有新类数据标签的样本和带有已知类数据标签的样本组合，得到扩展训练样本；将基础特征提取网络的特征提取器进行参数固定，并对扩展训练样本进行特征提取获得已知类视觉特征数据和新类视觉特征数据，通过投影层投影至可扩展特征空间，将新类视觉特征数据投影后的数据设定为新类；将可扩展特征空间中的新类与已知类进行对齐，使投影层的训练损失低于预设的阈值或取最小值，获得训练好的特征提取网络；通过图像采集设备获取待分类图像，通过所述训练好的特征提取网络提取待分类图像的视觉特征，进而通过增量类原型分类器对所述待分类图像的视觉特征进行分类，获得图像分类结果。2.根据权利要求1所述的基于动态神经网络扩展的持续小样本图像分类方法，其特征在于，所述投影层，基于一个可学习矩阵构建；所述可学习矩阵，其参数大小为[FD]，记为其中F表示基础特征提取器所提取的特征维度，D表示投影空间的维度。3.根据权利要求2所述的基于动态神经网络扩展的持续小样本图像分类方法，其特征在于，所述投影层，将所述基础视觉特征通过投影层投影至可扩展特征空间中，并定义为已知类时，只训练[F：D0]，其中(0＜D0＜D)，保留[FD0：D]为未使用参数。4.根据权利要求3所述的基于动态神经网络扩展的持续小样本图像分类方法，其特征在于，所述投影层，当需要对所述基础特征提取网络进行扩展时，从所述可学习矩阵中的未使用参数重新划分出扩充参数和新的可学习矩阵中的未使用参数，将扩充参数进行随机初始化，并通过扩展训练样本训练扩充参数，扩充参数U为[F：D1]，[D0＜D1＜D]，以此将新类视觉特征数据嵌入可扩展特征空间，并将新类与已知类进行对齐。5.根据权利要求4所述的基于动态神经网络扩展的持续小样本图像分类方法，其特征在于，所述将所述新类与已知类进行对齐，具体为：对于可扩展特征空间中的新类视觉特征数据，投影层的训练损失L
cls
为：其中，表示针对来自于分布的所有样本x的数学期望，p为概率，y
*
为x对应的真实...

【专利技术属性】
技术研发人员：王英雷，陈元培，张右承，张力文，黄旭辉，
申请(专利权)人：中国长峰机电技术研究设计院，
类型：发明
国别省市：