一种基于深监督自蒸馏的图像目标检测方法技术

本发明专利技术公开了一种基于深监督自蒸馏的图像目标检测方法。该方法通过深监督自蒸馏的方式来强化火灾检测模型对旧图像集特征知识的学习能力，并重点基于损失函数权重自适应方法，指导模型在训练过程中自动均衡新旧数据集的特征重要性。从而确保模型能够实现高效的增量更新，并进一步提升模型的泛化性能。本发明专利技术方法可以有效避免灾难性遗忘问题的发生，并以自适应的方式最大程度上均衡新旧数据集特征知识的重要性，可以在不增加模型参数量、不更改模型架构的情况下实现模型的增量更新，对于模型的更新换代以及泛化性能提升具有重要意义。义。义。

【技术实现步骤摘要】
一种基于深监督自蒸馏的图像目标检测方法
专利

[0001]本专利技术属于计算机科学领域，涉及计算机视觉、目标检测、深度学习、增量学习(在线学习)领域，具体涉及一种基于深监督自蒸馏的图像目标检测方法。

技术介绍

[0002]基于深度学习的目标检测模型性能是由数据驱动的，大规模、高质量的多源异质数据集有助于提升模型的泛化性能。然而，大量与日俱增的新数据会导致模型训练工作无法一劳永逸，需要不断进行模型训练以学习新增数据的特征分布。但是，在原有模型基础上基于离线学习的方式直接训练新增数据会出现灾难性遗忘问题，即模型学习新增数据的过程可能会遗忘掉之前学到的旧数据特征。因此，亟需一种高效的增量学习方法确保模型在保持旧数据特征不丢失的情况下学习到更多新增数据的特征。
[0003]目前，增量学习领域已经涌现出许多抑制灾难性遗忘现象的研究工作，包括模型修改、正则化、预演或重放、再平衡和知识蒸馏等方法。模型修改方法往往需要修改模型网络架构以适应新增数据；通过正则化约束参数权重的方法计算成本比较大且对于大规模数据集效果不明显；重放方法一般需要将之前的部分数据或数据特征再次输入模型进行训练，会增大内存消耗和延长训练时间；知识蒸馏方法通过将原有模型(教师模型)存储的旧数据的知识迁移到新模型(学生模型)中实现数据特征的继承，但是不恰当的知识蒸馏配置方案可能导致效果不佳；再平衡方法通过消除模型对新增数据的偏向来减轻灾难性遗忘，有助于提高增量学习性能，但是基于专家经验定义的平衡方法难以有效平衡模型对新旧数据的学习能力。

技术实现思路
<br/>[0004]为解决上述问题，本专利技术提出了一种基于深监督自蒸馏的图像目标检测方法。该方法通过深监督自蒸馏的方式来强化火灾检测模型对旧图像集特征知识的学习能力，并重点基于损失函数权重自适应方法，指导模型在训练过程中自动均衡新旧数据集的特征重要性。从而确保模型能够实现高效的增量更新，并进一步提升模型的泛化性能。该方法主要包括以下步骤：
[0005]步骤1，构建目标检测图像数据集，首先对所有数据进行数据清洗工作，并为目标图像标注标签；然后，根据数据集的具体收集情况将所有数据划分为旧数据集和新增数据集两个类别，以模拟现实环境中频繁增加和更新的流式数据状态，从而用来对比本专利技术方法与其他方法的检测效果以及解决灾难性遗忘问题的能力；
[0006]步骤2，搭建面向增量学习的深监督自蒸馏目标检测模型。该模型由两个架构完全一致的神经网络并行构成，分别称为教师模型和学生模型。教师模型主要负责学习旧数据集特征知识，并将其学到的知识传授给学生模型；而学生模型通过深监督的方式从教师模型中学习旧数据集特征知识，同时还会从新数据集中学习新的知识。设计权重自适应的深监督损失函数，其主要由基于深监督特征蒸馏损失、输出蒸馏损失和真值损失构成。
[0007]步骤3，训练教师模型。基于旧数据集训练教师模型，尽可能学习并储存旧数据集的特征分布知识，然后保存训练好的教师模型用于后续的学生模型损失函数的计算；
[0008]步骤4，训练学生模型。将新数据集同时作为教师模型和学生模型的输入数据，通过前向传播方式计算教师模型和学生模型的输出值，进而计算模型的深监督损失，包括教师模型特征图与学生模型特征图之间的损失(特征蒸馏损失)、教师模型预测结果与学生模型预测结果之间的损失(输出蒸馏损失)以及学生模型预测结果和真实值的损失(真值损失)，以实现后续的知识蒸馏和模型更新；
[0009]步骤5，知识蒸馏和模型更新。基于步骤4中深监督损失结果，通过反向传播的方式计算学生模型中所有权重的梯度，并根据权重的梯度对学生模型进行权重更新。然后，通过多次前向传播
‑
反向传播过程对模型进行迭代训练，随着损失函数不断下降，逐步将新数据集的知识以及教师模型的知识蒸馏到学生模型之中，并逐步完善和优化学生模型参数，直至达到指定的迭代训练次数上限即为训练完成。通过这种深监督自蒸馏的方式，可以实现学生模型模型对新增数据集的增量学习以及模型的增量更新。利用训练好的学生模型对新数据集和旧数据集进行预测并评估其预测效果，完成面向增量学习的目标检测任务。
[0010]进一步的，在步骤2中，搭建面向增量学习的深监督自蒸馏目标检测模型的具体过程如下：
[0011]首先，选定多个教师模型和学生模型共有的特征图层作为特征蒸馏的关键层；然后，基于MSE(Mean Square Error，均方误差)设计特征蒸馏损失，以实现在教师模型和学生模型所有对应的关键层之间搭建多个用于特征蒸馏的桥梁，此损失称为深监督特征蒸馏损失；均方误差计算公式如下：
[0012][0013]其中，y
i
表示第i个样本的标签真值，表示第i个样本的预测值，n表示样本数量。
[0014]同时，基于MSE公式在教师模型与学生模型输出结果之间构建输出蒸馏损失，用于衡量教师模型和学生模型输出结果之间的差异；此外，基于MSE公式设计真值损失用于衡量学生模型输出结果与真值的差异。需要注意的是，我们对所有特征蒸馏损失和输出蒸馏损失设置了可学习的权重参数，以便网络自适应地去平衡新旧数据集之间特征的重要性。特征蒸馏损失、输出蒸馏损失、真值损失以及权重的偏差加权求和结果共同构成了整个模型的深监督损失函数；
[0015]进一步的，模型深监督损失函数的具体计算方式如下：
[0016][0017][0018][0019]其中，L
f
,L
o
,L
gt
分别表示特征蒸馏损失、输出蒸馏损失和真值损失，表示第i个
特征蒸馏损失的权重，w
o
表示输出蒸馏损失的权重。所有权重均由网络自适应学习获得，为防止权重变化幅度过大导致梯度消失或爆炸，对权重进行了如下约束：n表示参与特征蒸馏的特征图层个数；w
o
∈(0.1,10)。同时，通过和O
bias
来记录自适应权重与约束范围的偏差，表示第i个特征蒸馏损失的权重偏差，O
bias
表示输出蒸馏损失的权重偏差。将这些偏差添加到损失函数中，从而可以通过反向传播过程促使模型自动调整权重参数去符合权重的约束范围。进而，保证教师模型记忆的旧数据集知识可以迁移到学生模型中，同时学生模型还可以学习到新数据集的特征分布。
[0020]与现有技术相比，本专利技术方法既利用深监督自蒸馏的方式避免旧数据集检测过程中灾难性遗忘现象的发生，又基于自适应权重的方式通过迭代反馈机制使得该方法可以更好地均衡新旧数据集的特征重要性，且不需要大量重复实验确定实验参数，提高了模型的泛化能力和检测性能。相比已有方法，该方法在平均精度以及查准率和查全率等评估指标上均表现出比较明显的性能提升。
附图说明
[0021]图1本专利技术提出的深监督自蒸馏图像目标检测网络架构图。
[0022]图2为本专利技术方法与已有方法在旧数据集上的预测结果图，其中(a)为离线学习方法在示例图像上的预测结果图，(b)为基于输出结果的自蒸馏方法在示例图像上的预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深监督自蒸馏的图像目标检测方法，其特征在于，包括如下步骤：步骤1，构建目标检测图像数据集，首先对所有数据进行数据清洗工作，并为目标图像标注标签；然后，根据数据集的具体收集情况将所有数据划分为旧数据集和新增数据集两个类别，以模拟现实环境中频繁增加和更新的流式数据状态；步骤2，搭建面向增量学习的深监督自蒸馏目标检测模型，该模型由两个架构完全一致的神经网络并行构成，分别称为教师模型和学生模型；其中教师模型负责学习旧数据集特征知识，并将其学到的知识传授给学生模型；而学生模型通过深监督的方式从教师模型中学习旧数据集特征知识，同时还会从新数据集中学习新的知识；步骤3，训练教师模型，基于旧数据集训练教师模型，尽可能学习并储存旧数据集的特征分布知识，然后保存训练好的教师模型用于后续的学生模型损失函数的计算；步骤4，训练学生模型，将新数据集同时作为教师模型和学生模型的输入数据，通过前向传播方式计算教师模型和学生模型的输出值，进而计算模型的深监督损失函数，包括教师模型特征图与学生模型特征图之间的损失，即特征蒸馏损失，教师模型预测结果与学生模型预测结果之间的损失，即输出蒸馏损失，以及学生模型预测结果和真实值的损失，即真值损失，以实现后续的知识蒸馏和模型更新；步骤5，知识蒸馏和模型更新，基于步骤4中深监督损失结果，通过反向传播的方式计算学生模型中所有权重的梯度，并根据权重的梯度对学生模型进行权重更新；然后，通过多次前向传播
‑
反向传播过程对模型进行迭代训练，随着损失函数不断下降，逐步将新数据集的知识以及教师模型的知识蒸馏到学生模型之中，并逐步完善和优化学生模型参数，直至达到指定的迭代训练次数上限即为训练完成，利用训练好的学生模型对新数据集和旧数据集进行预测并评估其预测效果，完成面向增量学习的目标检测任务。2.如权利要求1所述的一种基于深监督自蒸馏的图像目标检测方法，其特征在于：特征蒸馏损失的具体计算过程如下；首先，选定多个教师模型和学生模型共有的特征图层作为特征蒸馏的关键层...

【专利技术属性】
技术研发人员：乐鹏，王明，姜良存，张晨晓，
申请(专利权)人：武汉大学，
类型：发明
国别省市：