一种基于保守激进协同学习的图像半监督语义分割方法技术

本发明专利技术公开了一种基于保守激进协同学习的图像半监督语义分割方法，包括对于有标签数据采用传统监督训练方法训练图像语义分割模型，对于无标签数据采用保守激进协同学习方法进行模型的半监督训练；其中，所述保守激进协同学习方法同时训练两个分支。本发明专利技术中，实现了对大量无标签数据的有效、高效利用，基于“求同存异”的思想达到了“保守进化”和“激进探索”之间的协同，有助于智能系统环境感知模型训练的降本增效，具有较好的语义分割效果、鲁棒性和通用性，仅使用少量带标签数据即可达到有较高标注成本的监督方法的同等语义分割效果，能够部署并应用于各种智能系统，具有较高的应用价值。价值。价值。

An image semi supervised semantic segmentation method based on conservative radical cooperative learning

【技术实现步骤摘要】
一种基于保守激进协同学习的图像半监督语义分割方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于保守激进协同学习的图像半监督语义分割方法。

技术介绍

[0002]图像语义分割是重要的计算机视觉问题，也是一种被广泛应用于智能系统环境感知的关键性基础技术，得益于深度监督学习的有效应用，目前先进的方法在有充足的像素级带标签数据可用于监督训练的情况下，可以达到良好的图像语义分割效果，能满足使用需求，而一旦带标签数据量不足时，模型预测的语义分割效果便欠佳，也即模型的效果很大程度上受到带标签数据量的制约，同时，目前像素级带标签数据的标注过程是相当耗时的，且成本较高，例如，对于高分辨率的城市道路场景图片，人工标注一张像素级样本的时长通常超过1.5小时，是区域级和图像级标注过程的15倍和60倍。因此，近年来大量研究工作着眼于：仅依托少量带标签数据，同时利用大量的无标签数据，以较小的标注成本达到较优的模型训练效果。由于该类研究具有显著的降本增效优势，因而倍受学术界和工业界关注，是近年来重要的计算机视觉研究方向和工程问题。
[0003]为达到利用大规模无标签数据的目标，近年来有很多面向图像语义分割的半监督学习方法被提出。基于最小化熵思想的方法期望模型在无标签数据上的预测结果具有较小的熵，也即模型能生成明确确定的预测结果。自训练(Self
‑
Training)是这类方法的典型代表，它首先利用带标签数据进行监督性训练，然后通过训练得到的模型生成无标签数据的伪标签，再利用无标签数据和相应的伪标签对模型进行伪监督训练，实现进一步训练优化。基于一致性约束思想的方法致力于使得模型在面对多种扰动时仍可以保持预测结果的一致性，常见的扰动包括输入扰动(向输入图片的引入噪声或进行裁剪等图像变换)、特征扰动和网络模型扰动(如采用多分支模型或使用Dropout技术)。这类方法的效果很大程度上依赖于其所选择的扰动方式。值得注意的是，上述两类方法在实现时都基于伪监督，而伪监督标签由于生成自模型，其自身也不可避免地存在错误。针对该问题，一些近期的方法以模型的预测置信度作为标志对伪标签进行阈值筛选，但同时这也意味着数据的浪费，大比例的无标签数据将被筛出废弃，与利用大规模无标签数据的目标相左。这些方法总是受到质量和数量之前权衡问题的困扰。除预测置信度以外，多个预测结果之间的共识度是另一个标志。一些互学习(Matual Learning)方法基于此实现伪监督的生成或优化。老师
‑
学生(Teacher
‑
Student，T
‑
S)和学生
‑
学生(Student
‑
Student，S
‑
S)是两种典型的互学习模式。T
‑
S中两个模型的不平等性可能会导致学生模型的优化方向错误和发展限制，而两个在S
‑
S模式下训练的模型有潜在的模型耦合(Model Coupling)问题。
[0004]考虑到上述限制与不足，本专利技术针对已有方法的伪标签高质量与大数量不可兼得的关键性问题和实际使用需求，提出了一种基于保守激进协同学习的图像半监督语义分割方法。该方法同时训练两个分支，一个分支是保守的，利用高质量伪标签基于交集伪监督进行训练；另一个分支是激进的，利用大数量伪标签在并集伪监督下进行探索。两个分支使用
异质知识(Heterogeneous Knowledge)进行伪监督训练，可以改善模型耦合问题。该方法实现了对大量无标签数据的有效高效利用，达到了保守进化和激进探索之间的协同，有助于智能系统环境感知模型训练的降本增效。其语义分割效果好，鲁棒性好，仅使用少量带标签数据即可达到有较高标注成本的监督方法的同等语义分割效果，具有较高的应用价值。

技术实现思路

[0005]为了解决上述
技术介绍
中所提到的技术问题，而提出的一种基于保守激进协同学习的图像半监督语义分割方法。
[0006]为了实现上述目的，本专利技术提出了一种基于保守激进协同学习的图像半监督语义分割方法，包括以下步骤：
[0007]步骤S1，对于有标签数据采用传统监督训练方法训练图像语义分割模型；
[0008]步骤S2，对于无标签数据采用本专利技术提出的保守激进协同学习方法进行模型的半监督训练。
[0009]所述保守激进协同学习方法同时训练两个平行的图像语义分割分支，伪标签基于两个分支的预测结果的共识与分歧情况生成。其中，一个分支用于保守进化，另一个分支用于激进探索。保守分支采用本专利技术提出的交集伪监督(Intersection Pseudo Supervision)进行训练，通过使用高质量的伪标签达到可靠性高的伪监督训练。激进分支采用本专利技术提出的并集伪监督(Union Pseudo Supervision)进行训练，通过使用由两分支预测结果并集生成的伪标签达到对分歧部分探索的目的。
[0010]所述两个平行的图像语义分割分支采用相同的网络结构，但采用不同的初始化参数。训练时，同时输入两张无标签图像数据X1和X2，并利用上述两张图像基于强数据增强方法生成一张合成图像X
s
。具体地，以保守分支为例，将上述三张图像输入保守分支语义分割网络输出相应的三张语义分割预测结果输出相应的三张语义分割预测结果和Y
cs
。
[0011][0012][0013][0014]对于输出和采用与输入同样的数据增强方式得到对应的合成预测结果Y
cw
。类似地，对于激进分支可以得到相应的预测结果和Y
ps
，以及对应的合成预测结果Y
pw
。与其他专利技术直接基于上述结果进行交叉伪监督(如使用保守分支的合成预测结果对输入激进分支的合成图像的预测结果进行监督对输入激进分支的合成图像的预测结果进行监督和激进分支的合成预测结果对输入保守分支的合成图像的预测结果进行监督)不同，本专利技术提出新的像素级伪标签生成方法，对Y
cw
和Y
pw
进行进一步运算操作以得到伪标签。
[0015]所述像素级伪标签生成方法是基于两个分支预测结果的共识与分歧情况的。对于像素p
i
，如果Y
cw
中对应的预测结果和Y
pw
中相应的结果相同，则两个分支在像素p
i
处达成共
识，否则两分支在p
i
处产生分歧。
[0016][0017]其中是Y
cw
在像素p
i
处的预测结果，是Y
pw
中对应的预测结果。所述像素级伪标签生成方法包含两部分：交集伪标签L
inter
和并集伪标签L
union
。其中，交集伪标签仅基于共识部分生成，对于像素p
i
，若两分支达成共识，则该像素对应的交集伪标签即为该像素处的预测结果。
[0018][0019]其中是共识部分伪标签L...

【技术保护点】

【技术特征摘要】
1.一种基于保守激进协同学习的图像半监督语义分割方法，其特征在于，包括以下步骤：对于有标签数据采用传统监督训练方法训练图像语义分割模型；对于无标签数据采用保守激进协同学习方法进行模型的半监督训练；所述保守激进协同学习方法在利用有标签数据时采用传统监督训练方式，在利用无标签数据进行伪监督训练时，采用基于预测置信度的自适应动态损失函数以应对可信度低的伪标签；对于像素p
i
基于预测置信度的动态权重可被定义为基于预测置信度的动态权重可被定义为其中为保守分支中像素p
i
的预测置信度，为激进分支中相应的预测置信度，指分歧部分伪标签l
d
在像素i处的伪标签值由保守分支在对应像素位置的预测值确定，指分歧部分伪标签l
d
在像素i处的伪标签值由激进分支在对应像素位置的预测值确定，基于此的动态重加权损失函数可被定义为确定，基于此的动态重加权损失函数可被定义为其中，W和H分别为待分割图像的宽和高，和是L
inter
和L
union
在像素p
i
处对应的伪标签，f
iθ
(X
s
)是输入X
s
经过图像语义分割网络输出的预测结果在像素p
i
处的预测值，CE(
·
)是交叉熵损失函数，交叉熵损失函数的输入值包含两部分，第一部分为标签值，第二部分为预测值，对于交集伪监督和并集伪监督，其第一部分分别对应交集伪标签和并集伪标签第二部分分别对应保守分支预测值和激进分支预测值2.根据权利要求1所述的一种基于保守激进协同学习的图像半监督语义分割方法，其特征在于，所述保守激进协同学习方法同时训练两个平行的图像语义分割分支，像素级伪标签生成方法是基于两个分支的预测结果的共识与分歧情况的；其中，一个分支用于保守进化，另一个分支用于激进探索；所述保守分支采用交集伪监督进行训练，通过使用伪标签进行伪监督训练，所述激进分支采用并集伪监督进行训练，通过使用由两分支预测结果并集生成的伪标签达到对分歧部分探索的目的。3.根据权利要求1所述的一种基于保守激进协同学习的图像半监督语义分割方法，其特征在于，其是基于两个分支预测结果的共识与分歧情况的，包含两部分：交集伪标签L
inter
和并集伪标签L
union
，其中，交集伪标签仅基于共识部分生成，并集伪标签L
union
由共识部分伪标签L
a
和分歧部分伪标签L
d
共同构成，对于像素p
i
，如果Y
cw...

【专利技术属性】
技术研发人员：朱凤华，范嗣祺，郑奎，沙尧尧，
申请(专利权)人：中科领航智能科技苏州有限公司，
类型：发明
国别省市：