图像语义分割网络持续学习方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种图像语义分割网络持续学习方法、系统、设备及存储介质，一方面，通过特征空间中的非线性变换提取旧知识表征进行对齐的手段，有效保持旧知识不变性的同时提高对新知识学习的能力。另一方面，在嵌入空间中对新类别优化其拓扑结构，对旧类别维护其拓扑结构的不变性，达到降低遗忘，防止类间混淆的效果；此外，联合伪标签及伪标签降噪技术，使得在语义分割持续学习中无需提供旧类别的标签，降低标注成本。总体来说，本发明专利技术作为一种通用性的语义分割持续学习方法，对应用场景均无限制，具有很强的泛化能力与实用价值。具有很强的泛化能力与实用价值。具有很强的泛化能力与实用价值。

【技术实现步骤摘要】
图像语义分割网络持续学习方法、系统、设备及存储介质


[0001]本专利技术涉及图像语义分割
，尤其涉及一种图像语义分割网络持续学习方法、系统、设备及存储介质。

技术介绍

[0002]近年来，深度神经网络在语义分割任务上取得了巨大的成功。然而传统语义分割网络训练方法需要一次性获取全部的训练数据，且训练完成后难以更新。在实际应用中，常要求网络能从数据流中逐渐的学习、更新已学会的知识，从而有效降低数据存储代价与训练代价。但是令深度神经网络直接在新数据上学习会导致已学习知识的严重遗忘。而持续学习技术通过对学习过程中施加额外的约束，以达到学习新知识的同时不会遗忘已学会的知识的目的。
[0003]持续学习的一般手段为使用知识蒸馏来保持新旧网络间知识的一致性。这一操作常在输出空间或者特征空间进行。具体到语义分割领域，除了使用上述手段防止旧知识的遗忘以外，还有两个新的挑战：首先，随着学习的进行，可能需要学习过去曾经忽略的类别，从而导致对于某一特定输入，其包含的语义信息并不是一成不变的，这要求网络有更强的新知识学习能力。其次，由于获取标注数据需要大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像语义分割网络持续学习方法，其特征在于，包括：获取新增语义分割数据集及对应新增类别的标签，利用原始图像语义分割网络提取所述新增语义分割数据集中图像数据的原始特征图，通过特征变换模块对所述原始特征图进行变换，并利用变换结果重构的特征图与所述原始特征图的差异初步训练所述特征变换模块；使用所述原始图像语义分割网络与初步训练的特征变换模块初始化一个相同的图像语义分割网络与特征变换模块，将所述原始图像语义分割网络称为旧网络，初步训练的特征变换模块称为旧特征变换模块，初始化产生的图像语义分割网络称为新网络，初始化产生的特征变换模块称为新特征变换模块；固定所述旧网络与旧特征变换模块，训练所述新网络与新特征变换模块；训练时，将新增语义分割数据集的图像数据同时输入至所述旧网络与新网络，所述旧网络与新网络中各自进行特征图提取、解码与语义分割，获得分割结果；其中，所述旧网络提取的特征图通过所述旧特征变换模块进行变换，所述新网络提取的特征图通过所述新特征变换模块进行变换，并计算两种变换结果的对齐损失；利用所述旧网络与新网络的分割结果及解码获得的特征向量对于旧类别分别独自构建相应的类间关系矩阵与类内关系集合，并利用所述旧网络与新网络的类间关系矩阵计算类间结构保持损失，利用所述旧网络与新网络的类内关系集合计算类内结构保持损失，所述类间结构保持损失与类内结构保持损失用于保持旧类别中类间结构与类内结构的一致性；同时，对于新增类别，利用所述新网络解码获得的特征向量计算初始结构优化损失，所述初始结构优化损失用于拉近相同新增类别的特征向量的分布，疏远不同新增类别的特征向量的分布，并且，利用逐类别动态阈值对旧网络的分割结果进行优化去噪，获得相应的伪标签，利用所述伪标签计算所述新网络的分类损失；结合所述对齐损失、类间结构保持损失、类内结构保持损失、初始结构优化损失及分类损失训练所述新网络与新特征变换模块。2.根据权利要求1所述的一种图像语义分割网络持续学习方法，其特征在于，所述利用原始图像语义分割网络提取所述新增语义分割数据集中图像数据的原始特征图，通过特征变换模块对所述原始特征图进行变换，并利用变换结果重构的特征图与所述原始特征图的差异初步训练所述特征变换模块包括：使用自编码器结构初步训练特征变换模块，将所述原始特征图记为，将特征变换模块记为P
*
；通过特征变换模块P
*
对原始特征图进行变换包括：先通过卷积操作进行通道降维，再通过若干空洞卷积操作进行局部空间信息混合，生成关于原始特征图的表征；使用重构网络R
*
对变换结果进行重构，重构的特征图与所述原始特征图的差异为二者的欧氏距离，表示为：利用重构损失初步训练所述特征变换模块P
*
。3.根据权利要求1所述的一种图像语义分割网络持续学习方法，其特征在于，所述旧网络提取的特征图通过所述旧特征变换模块进行变换，所述新网络提取的特征图通过所述新
特征变换模块进行变换，并计算两种变换结果的对齐损失包括：所述旧网络提取的特征图即为所述原始特征图，记为，将所述旧特征变换模块记为，变换结果表示为；将所述新网络提取的特征图记为，将所述新特征变换模块记为，变换结果表示为，对齐损失为两种变换结果的L1距离，表示为：。4.根据权利要求1所述的一种图像语义分割网络持续学习方法，其特征在于，所述利用所述旧网络与新网络的类间关系矩阵计算类间结构保持损失表示为：其中，表示利用所述旧网络的分割结果以及解码获得的特征向量对于旧类别构建的类间关系矩阵；表示利用所述新网络的分割结果以及解码获得的特征向量对于旧类别构建的类间关系矩阵； ||.||
F
表示矩阵的F范数；类间关系矩阵中的单个元素表示两个旧类别对应的类别原型之间的余弦距离；对于旧类别i与旧类别j，旧网络中对应的类别原型分别表示为与，新网络中对应的类别原型分别表示为与，则类间关系矩阵与中相应元素与的计算方式表示为：其中，类别原型为相应类别下所有特征向量的平均，、分别表示类别原型与余弦相似度、类别原型与的余弦相似度。5.根据权利要求1所述的一种图像语义分割网络持续学习方法，其特征在于，所述利用所述旧网络与新网络的类内关系集合计算类内结构保持损失表示为：其中，利用所述旧网络的分割结果以及解码获得的特征向量对于旧类别构建的类内关系集合表示为，与分别表示旧网络解码获得的属于旧类别i的特征向量与相应的类别原型；利用所述新网络的分割结果以及解码...

【专利技术属性】
技术研发人员：王子磊，林子涵，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：