【技术实现步骤摘要】
本专利技术涉及计算机视觉与模式识别，更具体的说是涉及一种基于知识蒸馏的增量式目标语义分割方法。
技术介绍
1、作为计算机视觉的基础研究领域之一，语义分割的目的是对图像中的每个像素进行分类，其可以应用于自动驾驶、医疗图像处理等许多领域。一般来说，标准全监督语义分割设置是在训练阶段中一次性学习所有目标类别，并且在测试阶段没有新目标类别。然而，模型在现实应用中会一直遇到新目标类别，而传统的语义分割方法无法分割在训练中从未学习过的新目标类别。一种简单的方法是在新目标类别的图像样本上微调语义分割模型，这使得现有方法在增量学习设置中表现极差。因此，研究者们致力于研究有效的增量式目标语义分割方法，其可以仅使用新目标类别的训练样本来持续学习模型。目前的增量式目标语义分割方法主要关注两个关键挑战：灾难性遗忘和背景类语义偏移。在学习新类别时，增量式目标语义分割模型的参数拟合新类别而导致先前学习的旧目标类别知识丢失，即灾难性遗忘问题。过去类别、未来类别和真实背景类别都被标记为当前学习的训练数据集的背景类别，导致了背景类别的语义漂移问题。
2、现有的增量式目标分割方法尝试使用知识蒸馏和特征对比学习等方法来克服灾难性遗忘问题，但是旧类别的梯度反向传播不同导致旧类别遗忘速度差异大。除此之外，现有的增量式目标语义分割方法采用伪标签策略来克服背景类的语义漂移问题。然而，由于缺乏有效的约束，当前方法生成的旧类别伪标签是不准确的并且没有考虑不同增量式目标语义分割任务间不同类别潜在的语义关系。现有的一种偏差上下文信息修正的增量语义分割方法(李玺，赵涵斌，
技术实现思路
1、为了解决现有技术中存在的问题，本专利技术旨在研究设计出一种用于增量式目标语义分割的知识蒸馏方法，该方法构建一个基于知识蒸馏的增量式目标语义分割学习策略，基于质心的伪标签策略通过计算旧类别的质心移除误分类的像素，以修正旧模型生成的旧类别伪标签，构建包含旧类别伪标签的训练数据集，能够有效地克服背景类的语义漂移问题。本专利技术基于包含旧类别伪标签的训练数据集和由规范化不平衡的梯度反向传播得到的任务感知权重，提出的任务感知的知识蒸馏策略，能够有效地平衡旧类别的遗忘差异并保证不同增量任务间类别语义关系的一致性。本专利技术能有效减少增量式目标语义分割方法对旧类别的遗忘差异和对背景类别的语义漂移。
2、本专利技术至少通过如下技术方案之一实现。
3、一种基于知识蒸馏的增量式目标语义分割方法，包括以下步骤：
4、s1、获取包含多个目标类别的语义分割数据流，将语义分割数据流划分成多个语义分割任务的训练数据集，每个任务的训练数据集中包含一个或多个目标类别，且不同任务的训练数据集中包含的目标类别不重叠；
5、s2、在第一个增量式目标语义分割任务中，学习第一个任务的训练数据集以得到第一个任务的语义分割模型；将第一个任务学习得到的语义分割模型视为旧模型，并使用旧模型初始化下一个任务的语义分割模型；
6、s3、在下一个增量式目标语义分割任务中，获取该任务的训练数据集，基于质心的伪标签策略计算旧类别的质心以修正旧模型生成的旧类别伪标签，构建包含旧类别伪标签的训练数据集，基于包含旧类别伪标签的训练数据集和由规范化不平衡的梯度反向传播得到的任务感知权重，以任务感知的知识蒸馏策略更新当前任务的语义分割模型；
7、s4、当存在未学过的增量式目标语义分割任务的训练数据集时，不断重复步骤s3，利用包含新目标类别的训练数据集对语义分割模型进行学习更新，直至学习完所有增量式目标语义分割任务的训练数据集，利用最终得到的语义分割模型进行语义分割，得到分割结果。
8、进一步地，步骤s1中，所述的包含多个目标类别的语义分割数据流d由n个增量式目标语义分割任务的训练数据集d＝{d1,d2,…,dn}构成，其中每个增量式目标语义分割任务包含一个训练数据集，第t个增量式目标语义分割任务对应训练数据集其中表示第t个训练数据集中第i个长宽为w×h的图像，代表相应的真实分割标签，|dt|代表训练数据集dt中样本的数量，训练数据集dt中只包含当前类别ct的真实分割标签，过去的类别c1:t-1和未来的类别ct+1:t在训练数据集dt中都被标记为背景类cbg，t表示总任务数，不同增量式目标语义分割任务要学习的目标类别没有重叠；增量式目标语义分割的目标是准确分割之前学过的所有目标类别。
9、进一步地，步骤s2中，第一个增量式目标语义分割任务的语义分割模型为全卷积网络，包含特征提取器f1(·)和分类器g1(·)。
10、进一步地，步骤s2中，第一个增量式目标语义分割任务的损失函数定义为：
11、
12、其中：lce(·)表示用于监督语义分割的标准交叉熵损失，θ1表示第一个任务的语义分割模型的参数，是第一个任务的训练数据集中第i个图像的第j个像素的one-hot形式的真实分割标签，表示第一个任务的语义分割模型对训练数据集中第i个图像的第j个像素的预测值，表示第一个训练数据集中第i个图像的第j个像素，表示将输入特征提取器f1得到的特征，°表示将特征传递给分类器g1。
13、进一步地，步骤s3中，所述的基于质心的伪标签策略如下：
14、
15、其中：是第t个训练数据集中第i个图像的第j个像素的one-hot形式的真实分割标签，表示第t个任务的语义分割模型对训练数据集中第i个图像的第j个像素预测值，表示第t个训练数据集中第i个图像的第j个像素的one-hot形式的伪标签，表示第t个训练数据集中第i个图像的第j个像素的伪标签为类别c，μ表示像素j的熵，αc表示类别c的中值熵；表示第t个训练数据集中第i个图像的第j个像素的one-hot标签在背景类通道的值，c′表示任意类别，表示第t个训练数据集中第i个图像的第j个像素的one-hot标签在任意类别通道的值，表示第t个训练数据集中第i个图像的第j个像素的预测值在任意类别通道的值，表示像素和类别c的质心ηc之间的类别纠正权重；
16、像素和类别c的质心ηc之间的类别纠正权重的计算公式为:
17、
18、其中τ为温度系数；
19、类别c的质心ηc的计算公式为：
20、
21、其中，是指示函数，如果条件为真则输出1，否则输出0；表示第t个任务的语义分割模型对训练数据集中第i个图像的第j个像素的预测概率。
22、进一步地，步骤s3中，组合旧类别伪标签和数据集真实标签，构建包含旧类别伪标签的训练数据集。
23、进一步地，步骤s3中，所述的任务感知权重如下：
24、任务感知权重由规范化不平衡的梯度反向传播得到，其计算公式如下：
25、
26、其中表示第t个训练数据集中第i个图像的第j个像素的伪标签；m表示本文档来自技高网...
【技术保护点】
1.一种基于知识蒸馏的增量式目标语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于知识蒸馏的增量式目标语义分割方法，其特征在于，步骤S1中，所述的包含多个目标类别的语义分割数据流D由N个增量式目标语义分割任务的训练数据集D＝{D1,D2,…,DN}构成，其中每个增量式目标语义分割任务包含一个训练数据集，第t个增量式目标语义分割任务对应训练数据集其中表示第t个训练数据集中第i个长宽为W×H的图像，代表相应的真实分割标签，|Dt|代表训练数据集Dt中样本的数量，训练数据集Dt中只包含当前类别Ct的真实分割标签，过去的类别C1:t-1和未来的类别Ct+1:T在训练数据集Dt中都被标记为背景类cbg，T表示总任务数，不同增量式目标语义分割任务要学习的目标类别没有重叠；增量式目标语义分割的目标是准确分割之前学过的所有目标类别。
3.根据权利要求1所述的一种基于知识蒸馏的增量式目标语义分割方法，其特征在于，步骤S2中，第一个增量式目标语义分割任务的语义分割模型为全卷积网络，包含特征提取器f1(·)和分类器g1(·)。
4.根据权利要
5.根据权利要求1所述的一种基于知识蒸馏的增量式目标语义分割方法，其特征在于，步骤S3中，所述的基于质心的伪标签策略如下：
6.根据权利要求1所述的一种基于知识蒸馏的增量式目标语义分割方法，其特征在于，步骤S3中，组合旧类别伪标签和数据集真实标签，构建包含旧类别伪标签的训练数据集。
7.根据权利要求1所述的一种基于知识蒸馏的增量式目标语义分割方法，其特征在于，步骤S3中，所述的任务感知权重如下：
8.根据权利要求7所述的一种基于知识蒸馏的增量式目标语义分割方法，其特征在于，所述任务感知的知识蒸馏策略，通过以最小化损失函数Lsg(Θt)为目的更新语义分割模型来实现：
9.根据权利要求1～8任一项所述的一种基于知识蒸馏的增量式目标语义分割方法，其特征在于，当存在未学习过的步骤S1中划分的多个增量式目标语义分割任务的训练数据集时，持续获取包含新的目标类别的训练数据集，继续按照步骤S3对最新的语义分割模型进行学习更新。
10.根据权利要求9所述的一种基于知识蒸馏的增量式目标语义分割方法，其特征在于，学习完所有增量式目标语义割任务的训练数据集，利用最终得到的语义分割模型对之前学过的所有目标类别进行语义分割，得到分割结果。
...【技术特征摘要】
1.一种基于知识蒸馏的增量式目标语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于知识蒸馏的增量式目标语义分割方法，其特征在于，步骤s1中，所述的包含多个目标类别的语义分割数据流d由n个增量式目标语义分割任务的训练数据集d＝{d1,d2,…,dn}构成，其中每个增量式目标语义分割任务包含一个训练数据集，第t个增量式目标语义分割任务对应训练数据集其中表示第t个训练数据集中第i个长宽为w×h的图像，代表相应的真实分割标签，|dt|代表训练数据集dt中样本的数量，训练数据集dt中只包含当前类别ct的真实分割标签，过去的类别c1:t-1和未来的类别ct+1:t在训练数据集dt中都被标记为背景类cbg，t表示总任务数，不同增量式目标语义分割任务要学习的目标类别没有重叠；增量式目标语义分割的目标是准确分割之前学过的所有目标类别。
3.根据权利要求1所述的一种基于知识蒸馏的增量式目标语义分割方法，其特征在于，步骤s2中，第一个增量式目标语义分割任务的语义分割模型为全卷积网络，包含特征提取器f1(·)和分类器g1(·)。
4.根据权利要求1所述的一种基于知识蒸馏的增量式目标语义分割方法，其特征在于，步骤s2中，第一个增量式目标语义分割任务的损失函数...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。