基于参数重要性增量学习的语义分割方法技术

本发明专利技术提出了一种基于参数重要性增量学习的语义分割方法，主要解决当今增量学习语义分割精度低且增量训练需要大量存储空间的问题。实现步骤为：构建基础训练数据集和测试数据集；搭建语义分割神经网络并初始化；使用基础训练数据集对语义分割神经网络进行训练，并更新每个参数的重要性权重；构建增量式数据集和增量测试数据集；对训练后的语义分割神经网络模型进行迭代训练；得到语义分割结果。本发明专利技术在增量训练过程中使用参数重要性方法，提高增量训练后的语义分割精度，并减少了增量训练所需的存储空间，可用于增量式语义分割。

【技术实现步骤摘要】
基于参数重要性增量学习的语义分割方法
本专利技术属于图像识别和计算机视觉
，主要涉及一种增量学习的语义分割方法，可用于自动驾驶、机器人
、前景分割等领域。
技术介绍
语义分割是指根据颜色、灰度和纹理等特征，将图像划分成若干个互不相交且具有某种特定语义含义的像素区域，并识别出每个区域的类别，同一区域的像素被赋予相同的颜色，最终获得一幅具有像素语义标注的图像。在深度学习应用到计算机视觉领域之前，研究人员一般使用纹理基元森林(TextonForest)或是随机森林(RandomForest)等传统方法来构建用于语义分割的分类器。随机森林由多个决策树独立预测出样本的类别，通过对所有预测类别进行投票，票数最高的类别被选举为最终的预测结果。纹理基元森林则结合了图像纹理特征构建分类器，有效地提高了分类的精度。但是传统方法相对复杂，计算量大，其所利用的手工特征需要领域专门知识，耗时耗力，无法实现实时的要求，而且有时太过精细化以致于只能在某个特定的场景下使用，对于拥有复杂、多变细节的图像，很难达到高精度。目前，基于深度学习的语义分割方法正受到广泛关注，其主要思想是利用提前标注训练样本的真实标签，将图像作为网络的输入，得到网络的语义分割结果，再依据标签对结果进行计算，通过反向传播更新模型参数。基于深度学习的语义分割方法是数据驱动的方法，在没有数据的情况下不能进行学习。而很多时候我们并不能拿到所有的数据，并且对所有数据上的每个点进行标注。所以在新数据和其标注产生时，需要对语义分割网络进行增量式训练，使得语义分割网络在任意时间接受到新数据都可以进行训练。例如，UmbertoMichieli在2019年ICCV会议的Workshop上发表的论文《Incrementallearningtechniquesforsemanticsegmentation》公开了一种增量学习语义分割方法，该方法在增量训练过程中复制了原有神经网络，并使用原有神经网络输出的分割结果和图像的语义特征图对增量后的神经网络进行监督，试图在训练过程中保持每幅图像的语义特征图近似不变，并且希望使得原有神经网络的输出分布与增量神经网络在旧类别上的输出分布一致。虽然这个方法提出的语义特征图蒸馏和输出分布蒸馏一定效果上减缓了神经网络的灾难性遗忘问题，实现了增量学习语义分割，但是，该方法仍存在一些不足之处：由于该方法使用图像的语义特征图进行对增量训练进行监督，限制了网络在学习新类别过程中的特征变换，使第一次训练的类别对应的分割精度大幅下降。此外，该方法仍需要一定量的旧数据辅助增量训练，若只适用知识蒸馏算法对神经网络的特征进行保护，在没有旧类别特征激活时，该方法并没有效果，所以为了保证该方法有效，在增量训练时仍需要旧数据来激活相关特征，这大大增加了该方法所需要的存储空间，限制了其应用范围。
技术实现思路
本专利技术的目的在于针对上述现有语义分割方法的不足，提出一种基于参数重要性增量学习的语义分割方法，旨在提高语义分割的精度，并减少语义分割增量训练所需的存储空间。本专利技术的思路是，构建基础数据集及测试集，搭建语义分割神经网络，对语义分割神经网络模型进行迭代训练，构建增量式数据集和增量式测试集，对训练后的语义分割神经网络模型进行迭代训练，得到语义分割结果，具体包括如下步骤：(1)构建基础数据集及测试数据集：对获取的类别数为E且每个类别包含S幅图像中每个类别半数以上的图像进行标注，并将每个类别半数以上的图像及其标签作为基础数据集，将其余部分的图像作为测试数据集，其中10≤E≤500，100≤S；(2)搭建语义分割神经网络模型W：搭建包括顺次连接的图像语义特征提取网络、语义特征扩展网络和像素分类网络的语义分割神经网络，其中语义特征提取网络包括多个卷积层和多个池化层，语义特征扩展网络包括多个反卷积层，像素分类网络包括多个卷积层；(3)对语义分割神经网络模型进行迭代训练：(3a)初始化服从标准正态分布的(-1,1)之间的随机值θ为语义分割神经网络的权重参数，θ的重要性权重为Wθ，学习速率为α，迭代次数为k，最大迭代次数为K，K≥106，并令k＝0，Wθ＝0，α＝0.001；(3b)将从基础数据集不放回随机选取的R幅图像作为语义分割神经网络模型的输入进行前向传播，图像语义特征提取网络提取每幅图像的语义特征图，语义特征扩展网络对每幅语义特征图进行扩展，得到与原图像大小相等的R幅像素语义特征图，像素分类网络对每幅像素语义特征图进行分类，得到R幅图像每个像素的分类结果，当基础数据集中图像数量不足R幅时，将之前选取的图像放回基础数据集之后再进行不放回随机选取，其中256≥R≥32；(3c)采用交叉熵损失函数，通过R幅图像的标签和语义分割神经网络输出的R幅图像上每个像素的分类结果，计算语义分割神经网络的分割损失L，再计算分割损失L对语义分割神经网络的权重参数θ的导数dθ，再将dθ作为参数θ的梯度，使用梯度dθ对参数θ的重要性权重Wθ和参数θ进行更新；(3d)判断k≥0.5×K是否成立，若是，令α＝0.0002，并执行步骤(3e)，否则，令k＝k+1，并执行步骤(3b)；(3e)判断k≥K是否成立，若是，得到训练后的语义分割神经网络模型W'，否则，令k＝k+1，并执行步骤(3b)；(4)构建增量式数据集和增量式测试数据集：对获取的类别数为N且每个类别包含Z幅图像中每个类别半数以上的图像进行标注，并将每个类别半数以上的图像及其标签作为增量式数据集，将其余部分的图像添加到步骤(1a)所构建的测试数据集中，得到增量式测试数据集，其中2≤N≤100，100≤Z；(5)对训练后的语义分割神经网络模型W'进行迭代训练：(5a)对训练后的语义分割神经网络模型W'进行复制，将其中一个作为参考语义分割神经网络模型T'，另一个作为基本语义分割神经网络模型T；(5b)将N个卷积核添加到基本神经网络模型T的像素分类网络的最后一个卷积层中，构成增量语义分割神经网络模型G,并通过T中像素分类网络的最后一个卷积层中背景类别对应卷积核的参数θb，初始化G中像素分类网络的最后一个卷积层中新添加的N个卷积核的参数其中，表示基本神经网络模型T的像素分类网络的最后一个卷积层中背景类别对应卷积核的参数的均值，σb表示基本神经网络模型T的像素分类网络的最后一个卷积层中背景类别对应卷积核的参数的方差；(5c)初始化训练迭代次数为k'，最大迭代次数为K'，107≥K'≥106，增量语义分割神经网络模型G的参数θ'的重要性权重为Wθ2，学习速率为α'，并令k'＝0，α'＝0.001，Wθ2＝Wθ；(5d)将从增量式数据集中不放回地随机选取的R'幅图像分别作为参考语义分割神经网络模型T'和增量语义分割神经网络模型G的输入进行前向传播，得到T'输出的R'幅图像上每个像素的分类结果和G输出的R'幅图像上每个像素的分类结果，当增量式数据集中图像数量不足R'幅时，将之前选取的图像放回增量式数据集之后再进行不放回本文档来自技高网...

【技术保护点】
1.一种基于参数重要性增量学习的语义分割方法，其特征在于，包括如下步骤：/n(1)构建基础数据集及测试数据集：/n对获取的类别数为E且每个类别包含S幅图像中每个类别半数以上的图像进行标注，并将每个类别半数以上的图像及其标签作为基础数据集，将其余部分的图像作为测试数据集，其中10≤E≤500，100≤S；/n(2)搭建语义分割神经网络模型W：/n搭建包括顺次连接的图像语义特征提取网络、语义特征扩展网络和像素分类网络的语义分割神经网络，其中语义特征提取网络包括多个卷积层和多个池化层，语义特征扩展网络包括多个反卷积层，像素分类网络包括多个卷积层；/n(3)对语义分割神经网络模型进行迭代训练：/n(3a)初始化服从标准正态分布的(-1,1)之间的随机值θ为语义分割神经网络的权重参数，θ的重要性权重为W

【技术特征摘要】
1.一种基于参数重要性增量学习的语义分割方法，其特征在于，包括如下步骤：
(1)构建基础数据集及测试数据集：
对获取的类别数为E且每个类别包含S幅图像中每个类别半数以上的图像进行标注，并将每个类别半数以上的图像及其标签作为基础数据集，将其余部分的图像作为测试数据集，其中10≤E≤500，100≤S；
(2)搭建语义分割神经网络模型W：
搭建包括顺次连接的图像语义特征提取网络、语义特征扩展网络和像素分类网络的语义分割神经网络，其中语义特征提取网络包括多个卷积层和多个池化层，语义特征扩展网络包括多个反卷积层，像素分类网络包括多个卷积层；
(3)对语义分割神经网络模型进行迭代训练：
(3a)初始化服从标准正态分布的(-1,1)之间的随机值θ为语义分割神经网络的权重参数，θ的重要性权重为Wθ，学习速率为α，迭代次数为k，最大迭代次数为K，K≥106，并令k＝0，Wθ＝0，α＝0.001；
(3b)将从基础数据集不放回随机选取的R幅图像作为语义分割神经网络模型的输入进行前向传播，图像语义特征提取网络提取每幅图像的语义特征图，语义特征扩展网络对每幅语义特征图进行扩展，得到与原图像大小相等的R幅像素语义特征图，像素分类网络对每幅像素语义特征图进行分类，得到R幅图像每个像素的分类结果，当基础数据集中图像数量不足R幅时，将之前选取的图像放回基础数据集之后再进行不放回随机选取，其中256≥R≥32；
(3c)采用交叉熵损失函数，通过R幅图像的标签和语义分割神经网络输出的R幅图像上每个像素的分类结果，计算语义分割神经网络的分割损失L，并计算分割损失L对语义分割神经网络的权重参数θ的导数dθ，再将dθ作为参数θ的梯度，使用梯度dθ对参数θ的重要性权重Wθ和参数θ进行更新；
(3d)判断k≥0.5×K是否成立，若是，令α＝0.0002，并执行步骤(3e)，否则，令k＝k+1，并执行步骤(3b)；
(3e)判断k≥K是否成立，若是，得到训练后的语义分割神经网络模型W'，否则，令k＝k+1，并执行步骤(3b)；
(4)构建增量式数据集和增量式测试数据集：
对获取的类别数为N且每个类别包含Z幅图像中每个类别半数以上的图像进行标注，并将每个类别半数以上的图像及其标签作为增量式数据集，将其余部分的图像添加到步骤(1a)所构建的测试数据集中，得到增量式测试数据集，其中2≤N≤100，100≤Z；
(5)对训练后的语义分割神经网络模型W'进行迭代训练：
(5a)对训练后的语义分割神经网络模型W'进行复制，将其中一个作为参考语义分割神经网络模型T'，另一个作为基本语义分割神经网络模型T；
(5b)将N个卷积核添加到基本神经网络模型T的像素分类网络的最后一个卷积层中，构成增量语义分割神经网络模型G,并通过T中像素分类网络的最后一个卷积层中背景类别对应卷积核的参数θb，初始化G中像素分类网络的最后一个卷积层中新添加的N个卷积核的参数



其中，表示基本神经网络模型T的像素分类网络的最后一个卷积层中背景类别对应卷积核的参数的均值，σb表示基本神经网络模型T的像素分类网络的最后一个卷积层中背景类别对应卷积核的参数的方差；
(5...

【专利技术属性】
技术研发人员：谢雪梅，于凯，李旭阳，
申请(专利权)人：西安电子科技大学，昆山鲲鹏无人机科技有限公司，
类型：发明
国别省市：陕西;61