一种基于数据保护的图像增量学习方法技术

本发明专利技术提供一种基于数据保护的图像增量学习方法，该方法以深度卷积神经网络ResNet为基础，充分利用外部海量图像的信息，对其进行采样并加入训练过程，来缓解新旧样本不均衡所带来的偏差和灾难性遗忘，外部数据即采即用，训练后直接丢弃，不占用存储空间。同时加入针对于各个任务阶段的输出，提取关于任务的特征，提高模型的性能表现。本发明专利技术所提出的增量学习方法突破了传统方法的限制，能够灵活广泛地适应多种实际场景的需求，在计算机视觉领域具有重要的研究和应用价值。

【技术实现步骤摘要】
一种基于数据保护的图像增量学习方法
本专利技术涉及计算机视觉技术和增量学习方法领域，更具体地，涉及一种基于数据保护的图像增量学习方法。
技术介绍
近年来，随着深度学习和神经网络的不断发展，深度卷积神经网络已经广泛应用于解决图像识别任务。其中包括目前非常流行的AlexNet,VGGNet,ResNet等，在各类大规模的图像识别比赛中取得了出色表现，并成为许多计算机视觉相关研究和应用的基础网络架构。训练这些包含大量参数的深度模型，通常需要大量且均衡的真实图像数据进行联合训练，从而使得复杂模型能够很好的拟合数据。在现实场景中，任务的规模通常随时间增长，而过去的训练数据由于存储有限或涉及隐私的原因，在后续的训练中不可重用。若仅使用新任务的数据训练已有的模型，将导致灾难性遗忘，即模型在过去任务上的性能会急剧下降。而增量学习正是为了解决这一问题，从而达到在一系列的学习任务中，模型能有更为均衡的表现。近年来，相关算法的研究也取得了较大的进展，典型的包括EWC(ElasticWeightConsolidation),LwF(LearningwithoutForgetting),iCaRL(IncrementalClassifierandRepresentationLearning),EEIL(End-to-EndIncrementalLearning)等。其中EWC通过统计信息来衡量模型参数的重要性，通过对较为重要的参数的改变加以限制，来缓解灾难性遗忘；LwF在微调模型的基础上，首先使用了知识蒸馏来提取过去模型中的信息；iCaRL作为近期较为先进的增量学习算法，则引入了有限的内存对过去的训练数据进行选择性存储，并使用NEM(nearest-exemplars-mean)分类器进行图像识别；EEIL在iCaRL的基础上加入了数据均衡的微调训练阶段，同时改为使用全连接层的预测输出进行图像分类。然而，基于有限内存的方法虽然表现更为出色，其适用性却受到一定的限制。在许多场景中，训练数据经过首次的模型训练后便不可重用，因此产生了一些基于生成类似过去数据来缓解灾难性遗忘的算法，但是这些生成模型本身也存在着遗忘问题。而当前互联网上存在着大量可用的、与训练任务本身无关的数据，若对这些数据进行采样利用，在训练完毕模型后丢弃这些外部数据，便可以解决以上的问题，即不占用额外内存，同时缓解了数据的不均衡。目前国内外的相关研究还处于较为初步的阶段，本专利通过调研和实践，充分利用外部数据和模型融合进行图像的增量学习识别。申请号为201911308607.5的专利说明书中公开了一种基于动态修正向量的图像增量学习方法，本申请鉴于实际生活中数据集都是动态变化的，为了解决深度模型对动态变化的数据集进行训练的问题，减小对分布式计算系统的依赖，并且节省大量的计算开销和系统内存，本专利技术提出以32层残差网络ResNet-32为基础，通过引入知识蒸馏技术和代表性记忆方法，利用动态修正向量的技巧，缓解了灾难性遗忘问题，提高了增量学习的性能。这种增量学习方法适应了实际应用场景的需求，在人工智能领域具有重要的研究和应用价值。然而，该专利无法实现充分利用外部海量图像的信息，对其进行采样并加入训练过程，来缓解新旧样本不均衡所带来的偏差和灾难性遗忘，外部数据即采即用，训练后直接丢弃，不占用存储空间。
技术实现思路
本专利技术提供一种基于数据保护的图像增量学习方法，该方法深度卷积神经网络ResNet为基础，充分利用外部海量图像的信息，对其进行采样并加入训练过程，来缓解新旧样本不均衡所带来的偏差和灾难性遗忘，外部数据即采即用，训练后直接丢弃，不占用存储空间。为了达到上述技术效果，本专利技术的技术方案如下：一种基于数据保护的图像增量学习方法，包括以下步骤：S1：构造以ResNet网络为原型的图像特征提取器，然后添加全连接的任务预测层和图像分类层作为整体的网络架构；S2：为每个阶段的增量数据训练单独的图像分类模型，其中图像分类损失使用交叉熵函数，任务预测损失使用均方误差函数，使用SGD优化器训练网络；S3：对于不存储任何先前类别数据的场景，为避免灾难性遗忘和模型对于当前类别的预测偏向，使用先前模型对大量可用的外部数据进行采样；S4：使用采样数据以及当前类别的训练数据，对新旧两个模型进行融合，使用知识蒸馏引入KL相对熵函数，训练可识别当前所有类别的模型；S5：对于每一增量阶段，重复S2至S4步骤，评估模型时采用任务预测层和图像分类层输出结合的方式预测最终分类。进一步地，所述步骤S1的具体过程是：S11：根据数据集中图像的复杂程度，包括尺寸和种类等，选择不同深度的ResNet网络进行特征提取；S12：图像通过深度的卷积层后进行平均池化，得到一个低维的实数特征向量，在其后分别添加全连接的任务预测层和图像分类层，用于预测任务阶段以及具体的图像类别。进一步地，所述步骤S2的具体过程是：S21：将训练集中的数据D1关于图像分类层的输出通过softmax层，即根据原始的网络输出logits之间的相对大小关系，映射为关于各类别的预测概率，使用交叉熵函数作为图像分类损失，公式如下：其中x表示当前类别的输入图像,y表示对应类别0/1标签，θ为模型参数；将训练集数据及外部数据D2关于任务预测层的输出通过sigmoid函数，映射为是否为当前任务的判断概率，使用均方误差函数作为任务预测损失，公式如下：其中yt表示对应任务的0/1标签，即内部的训练数据标签为1，外部采样数据标签为0；S22：在此步骤中的外部数据随机选取OOD图像；若可选的增加置信度校准损失来训练模型，即外部数据在图像分类层的输出值越平均则损失越小，可使得模型在当前任务中的表现有小幅度提升；S23：使用SGD优化器训练关于当前任务的图像分类模型，学习率随训练epoch的增大而逐渐降低，同时加入关于模型参数的正则化项来防止过拟合，增强模型的泛化能力。进一步地，所述步骤S3的具体过程是：S31：由于不存储任何过去的训练数据，为了提取已学习到的旧类别的相关知识，使用训练好的关于过去任务的模型对外部数据进行采样，在海量的外部图像中获取与每个旧类别输出相似的部分样本；S32：在此步骤中仍随机选取一定比例的OOD图像，与S31中选取的样本共同组成外部数据训练集。进一步地，所述步骤S4的具体过程是：S41：将步骤S3中的外部数据与当前类别的训练数据充分混合，组成当前完整的训练数据集D3，其中外部数据集的采样数据量应与当前类别的训练数据量成一定比例，当数据量过大时，模型表现反而会下降，同时会增大训练的时间成本；S42：将步骤S2中关于当前任务的单独模型，与关于过去任务的模型融合，使得融合后的模型能够识别已有的全部图像类型；S43：由于训练集中只包含了关于新类的训练数据，将导致模型很容易将输入图像预测为新类别，为了缓解数据不均衡造成的预测偏差，为数据分配不同的权重，本文档来自技高网...

【技术保护点】
1.一种基于数据保护的图像增量学习方法，其特征在于，包括以下步骤：/nS1：构造以ResNet网络为原型的图像特征提取器，然后添加全连接的任务预测层和图像分类层作为整体的网络架构；/nS2：为每个阶段的增量数据训练单独的图像分类模型，其中图像分类损失使用交叉熵函数，任务预测损失使用均方误差函数，使用SGD优化器训练网络；/nS3：对于不存储任何先前类别数据的场景，为避免灾难性遗忘和模型对于当前类别的预测偏向，使用先前模型对大量可用的外部数据进行采样；/nS4：使用采样数据以及当前类别的训练数据，对新旧两个模型进行融合，使用知识蒸馏引入KL相对熵函数，训练可识别当前所有类别的模型；/nS5：对于每一增量阶段，重复S2至S4步骤，评估模型时采用任务预测层和图像分类层输出结合的方式预测最终分类。/n

【技术特征摘要】
1.一种基于数据保护的图像增量学习方法，其特征在于，包括以下步骤：
S1：构造以ResNet网络为原型的图像特征提取器，然后添加全连接的任务预测层和图像分类层作为整体的网络架构；
S2：为每个阶段的增量数据训练单独的图像分类模型，其中图像分类损失使用交叉熵函数，任务预测损失使用均方误差函数，使用SGD优化器训练网络；
S3：对于不存储任何先前类别数据的场景，为避免灾难性遗忘和模型对于当前类别的预测偏向，使用先前模型对大量可用的外部数据进行采样；
S4：使用采样数据以及当前类别的训练数据，对新旧两个模型进行融合，使用知识蒸馏引入KL相对熵函数，训练可识别当前所有类别的模型；
S5：对于每一增量阶段，重复S2至S4步骤，评估模型时采用任务预测层和图像分类层输出结合的方式预测最终分类。


2.根据权利要求1所述的基于数据保护的图像增量学习方法，其特征在于，所述步骤S1的具体过程是：
S11：根据数据集中图像的复杂程度，包括尺寸和种类等，选择不同深度的ResNet网络进行特征提取；
S12：图像通过深度的卷积层后进行平均池化，得到一个低维的实数特征向量，在其后分别添加全连接的任务预测层和图像分类层，用于预测任务阶段以及具体的图像类别。


3.根据权利要求2所述的基于数据保护的图像增量学习方法，其特征在于，所述步骤S2的具体过程是：
S21：将训练集中的数据D1关于图像分类层的输出通过softmax层，即根据原始的网络输出logits之间的相对大小关系，映射为关于各类别的预测概率，使用交叉熵函数作为图像分类损失，公式如下：



其中x表示当前类别的输入图像,y表示对应类别0/1标签，θ为模型参数；将训练集数据及外部数据D2关于任务预测层的输出通过sigmoid函数，映射为是否为当前任务的判断概率，使用均方误差函数作为任务预测损失，公式如下：



其中yt表示对应任务的0/1标签，即内部的训练数据标签为1，外部采样数据标签为0；
S22：在此步骤中的外部数据随机选取OOD图像；若可选的增加置信度校准损失来训练模型，即外部数据在图像分类层的输出值越平均则损失越小，可使得模型在当前任务中的表现有小幅度提升；
S23：使用SGD优化器训练关于当前任务的图像分类模型，学习率随训练epoch的增大而逐渐降低，同时加入关于模型参数的正则化项来防止过拟合，增强模型的泛化能力。


4.根据权利要求3所述的基于数据保护的图像增量学习方法，其特征在于，所述步骤S3的具体过程是：
S31：由于不存储任何过去的训练数据，为了提取已学习到的旧类别的相关知识，使用训练好的关于过去任务的模型对外部数据进行采样，在海量的外部图像中获取与每个旧类别输出相似的部分样本；
S32：在此步骤中仍随机选取一定比例的OOD图像，与S31中选取的样本共同组成...

【专利技术属性】
技术研发人员：王文宇，赖韩江，潘炎，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44