基于相似度加权多教师网络模型的半监督图像语义分割方法技术

本发明专利技术公开了一种基于相似度加权多教师网络模型的半监督图像语义分割方法，包括如下步骤：准备用于语义分割模型训练的训练集和验证集数据；构建基于相似度加权的多教师网络模型SW

【技术实现步骤摘要】
基于相似度加权多教师网络模型的半监督图像语义分割方法


[0001]本专利技术涉及图像语义分割领域，尤其涉及一种基于相似度加权多教师网络模型的半监督图像语义分割方法。

技术介绍

[0002]语义分割是计算机视觉领域中一项基本的像素级分类任务，其旨在从像素级层面理解图像，是计算机从检测图像迈向理解图像的关键。由于图像语义分割能够逐像素地分析图像的内容，因此其在自动驾驶、医学图像处理、工业缺陷检测等领域有着广泛的应用。得益于深度卷积神经网络的发展，图像语义分割在近年来取得了巨大的成功。然而全监督图像语义分割的模型训练需要大量的像素级标注数据，而进行像素级标注是非常昂贵和耗时的。对于高分辨率的城市道路数据集，在一个对象上绘制语义分割注释比绘制边界框注释需要多耗费8倍的时间，比只标注该对象的类别需要多耗费78倍的时间。半监督图像语义分割通过使用少量有标签数据和大量无标签数据共同完成分割模型的训练，从而降低语义分割任务对大量像素级标注数据的需求。
[0003]现有的半监督图像语义分割方法大多数是基于一致性正则化方法提出的。一致性正则化方法基于平滑假设和聚类假设，主要思想是对一个无标签数据应用实际的扰动时，网络对该数据的预测结果不会发生显著的变化，从而迫使网络对各种扰动下的同源无标签数据进行一致性的预测，进而利用无标签数据进行半监督学习。然而这类方法的效果可能会因为无标签数据的不可靠预测而受到严重的影响。
[0004]一致性正则化方法中，平均教师MT(Mean Teacher network)模型包括一个学生网络和一个教师网络，其中学生网络通过学习教师网络预测输出的结果进行训练；然而通过从单个教师网络的预测输出获取的伪标签可能是不可靠的、有噪声的，从而可能会导致学生网络进行错误的学习。在知识蒸馏领域，现有技术参考现实生活中一个学生能够从多个教师学习不同知识的情况，提出多教师知识蒸馏，让学生网络从多个教师网络中提取知识，从而提升学生网络的学习质量；然而简单地将多个教师网络的预测输出进行平均加权结合后作为学生网络学习目标的做法，并没有考虑到不同教师网络预测输出准确度有差别的情况。

技术实现思路

[0005]本专利技术的目的是使用少量有标签图像数据实现高效的图像语义分割，提出一种基于相似度加权多教师网络模型的半监督图像语义分割方法。方法通过将MT模型的单个教师网络扩展为多个教师网络，并在此基础上通过计算每个教师网络对无标签数据的预测输出与其他教师网络对无标签数据的预测输出之间的相似度来衡量每个教师网络预测输出的准确度，然后以相似度作为权重，将多个教师网络的预测输出进行相似度加权整合，从而为无标签数据生成质量更佳、更稳定的伪标签，进而利用无标签数据进行学生网络的半监督学习。此外，方法还通过对无标签数据进行弱数据增强方式的数据扰动，用多个教师网络在
弱数据增强后的数据上进行伪标签预测，并对预测结果进行相似度加权计算，从而得到无标签数据的相似度加权伪标签；同时对经过弱数据增强的同源无标签数据进行强数据增强方式的数据扰动，然后将相似度加权伪标签作为学生网络使用强数据增强的无标签数据进行网络训练时的学习目标，迫使学生网络从受到扰动的无标签数据中学习到更多的信息，进一步提升学生网络的学习质量。
[0006]为了实现上述目标，本专利技术提供的一种基于相似度加权多教师网络模型SW
‑
MMTNet(Similarity Weighting
‑
Multiple Mean Teacher Network)的半监督图像语义分割方法，包括如下步骤：
[0007]步骤S1：准备用于语义分割模型训练的训练集和验证集数据；
[0008]训练集数据由含有少量的有标签图像的以及含有大量的无标签图像的组成，其中n<<m，验证集数据由用于模型训练效果评估的有标签图像组成；
[0009]步骤S2：构建基于相似度加权的多教师网络模型SW
‑
MMTNet；
[0010]步骤S3：对训练集无标签数据分别进行强数据增强和弱数据增强，以实现对无标签数据的数据扰动；
[0011]步骤S4：使用有标签数据和无标签数据联合进行SW
‑
MMTNet模型的训练；
[0012]步骤S5：利用验证集对分割模型进行效果评估，得到最终的分割模型。
[0013]进一步地，步骤S2中，所述的基于相似度加权的多教师网络模型SW
‑
MMTNet由一个学生网络S(θ)和n个教师网络T(θ1)、T(θ2)、T(θ3)
…
T(θ
n
)组成，n≥3，其中θ、θ1、θ2、θ3…
θ
n
分别是S(θ)、T(θ1)、T(θ2)、T(θ3)
…
T(θ
n
)的网络参数，这些参数在SW
‑
MMTNet进行训练时会进行不同的初始化以增加不同教师网络之间的差异性，从而能够更好地通过相似度区分不同教师网络预测结果的质量好坏；其中学生网络和教师网络都采用有监督语义分割模型deeplav3+；采用deeplabv3+之外的其他有监督语义分割模型并不会对方法的实施产生影响，只要学生网络和教师网络都采用相同的网络结构即可。
[0014]进一步地，步骤S3中，对无标签数据进行数据扰动，是为了让学生网络能够从受到扰动的数据中学习到更多的信息，从而进一步提升学生网络的学习质量。其中，所使用的弱数据增强只改变图像的大小和位置关系，而不会影响网络的预测结果，包括随机翻转、在0.5到2.0倍的范围内对图像的长和宽进行大小的调整，将图像随机裁切成固定分辨率321
×
321的图像块；而使用的强数据增强会改变图像的色彩性质，从而影响网络的预测结果，包括随机灰度、模糊以及随机改变图像的亮度、对比度和饱和度。
[0015]进一步地，步骤S4中，有标签数据和无标签数据只用于SW
‑
MMTNet学生网络的训练，n个教师网络的参数在模型每轮迭代完成时，使用学生网络参数的指数移动平均进行更新。其中，对于有标签数据(x
i
,y
i
)，学生网络使用传统的监督学习方式进行网络的训练；而对于无标签数据u
i
，SW
‑
MMTNet首先通过相似度加权算法，从n个教师网络对弱数据增强的无标签数据u
i
的预测输出中获取相似度加权伪标签Y
t
，然后将相似度加权伪标签Y
t
作为学生网络使用经过强数据增强的无标签数据u
i
进行网络训练时的学习目标，从而让学生网络利用无标签数据u
i
进行网络训练，具体过程为：
[0016]步骤S4.1：将无标签数据u
i
进行弱数据增强后输入到n个教师网络中，从而获取n个教师网络对无标签数据u
i
的伪标签预测输出，其中第j个教本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相似度加权多教师网络模型的半监督图像语义分割方法，其特征在于，包括以下步骤：步骤S1：准备用于语义分割模型训练的训练集和验证集数据；训练集数据包括含有少量有标签图像的D
l
以及含有大量无标签图像的D
u
，验证集数据由用于模型训练效果评估的有标签图像组成；步骤S2：构建基于相似度加权的多教师网络模型SW
‑
MMTNet；步骤S3：对训练集的无标签数据分别进行强数据增强和弱数据增强，以实现对无标签数据的数据扰动；步骤S4：使用有标签数据和无标签数据联合进行SW
‑
MMTNet模型的训练；步骤S5：利用验证集对分割模型进行效果评估，得到最终的分割模型。2.根据权利要求1所述的一种基于相似度加权多教师网络模型的半监督图像语义分割方法，其特征在于，步骤S2中所述的基于相似度加权的多教师网络模型SW
‑
MMTNet由一个学生网络S(θ)和n个教师网络T(θ1)、T(θ2)、T(θ3)
…
T(θ
n
)组成，n≥3，其中学生网络和教师网络都采用有监督语义分割模型deeplabv3+；θ、θ1、θ2、θ3、
…
、θ
n
分别表示S(θ)、T(θ1)、T(θ2)、T(θ3)、
…
、T(θ
n
)所对应的网络参数；采用deeplabv3+之外的其他有监督语义分割模型并不会对方法的实施产生影响，只要学生网络和教师网络都采用相同的网络结构即可。3.根据权利要求1所述的一种基于相似度加权多教师网络模型的半监督图像语义分割方法，其特征在于，步骤S3中对无标签数据进行数据扰动；其中，所使用的弱数据增强只改变图像的大小和位置关系，而不会影响网络的预测结果，包括随机翻转、在0.5到2.0倍的范围内对图像的长和宽进行大小的调整，将图像随机裁切成固定分辨率321
×
321的图像块；而所使用的强数据增强会改变图像的色彩性质，从而影响网络的预测结果，包括随机灰度、模糊以及随机改变图像的亮度、对比度和饱和度；对无标签数据进行数据扰动的目的是让学生网络能够从受到扰动的数...

【专利技术属性】
技术研发人员：许华杰，肖毅烽，秦远卓，
申请(专利权)人：广西大学，
类型：发明
国别省市：