基于随机组合的弱监督语义分割方法、系统、设备及介质技术方案

本发明专利技术属于计算机视觉领域，公开了一种基于随机组合的弱监督语义分割方法、系统、设备及介质，包括：采用训练数据集、切片训练数据集和随机组合的切片训练数据集分别训练分类网络N1、N2和N3，使每个网络都能提取到图片中不同的激活区域，并且利用互相监督训练的方式学习其他两个网络的学习结果，最后组合三个网络的预测结果得到最终的语义分割结果，将其作为语义分割训练数据集训练语义分割模型进行最终的语义分割结果的预测。本发明专利技术有效的利用网络对随机组合的切片图片的感知区域不同，并且利用得到的不同分类网络对相同图片的类别感知图片，通过组合三种分类网络的结果获得的语义分割数据集，提高了语义分割模型的语义分割能力以及预测准确率。力以及预测准确率。力以及预测准确率。

【技术实现步骤摘要】
基于随机组合的弱监督语义分割方法、系统、设备及介质


[0001]本专利技术属于计算机视觉领域，尤其涉及一种基于随机组合的弱监督语义分割方法、系统、设备及介质。

技术介绍

[0002]目前，语义分割作为计算机视觉三大任务之一，在现实中有很多的应用场景，比如医学图像处理、自动驾驶和环境感知等。但是由于其训练数据集较难收集，语义分割任务在现实生活中却受到了较大的限制。
[0003]目前为了解决语义分割任务缺少训练数据集的问题，研究人员提出了弱监督语义分割，该方法利用图片级标注的数据集获得像素级标注的语义分割数据集，从而降低语义分割模型训练所需要的标注量。
[0004]现有的弱监督语义分割任务大致可以分为两类。一类是将分类网络的类别激活图(Class Activation Map，CAM)作为种子，通过各类方法对其进行精修后得到语义分割数据集。另一类则是先通过上面的方法得到语义分割数据集，然后利用数据集训练一个语义分割网络，最终通过自学习的方式对语义分割数据集进行精调后得到最终的语义分割网络。
[0005]通过上述分析，现有技术存在的问题及缺陷为：
[0006]现有的方法大部分都是利用一种方法或者是一个网络进行弱监督语义分割，这种类型的弱监督语义分割忽略了不同网络和不同CAM方法对相同图片中不同区域的感知性，总是获得只有部分图片语意标注的语义分割训练集。

技术实现思路

[0007]针对现有技术存在的问题，本专利技术提供了一种基于随机组合的弱监督语义分割方法、系统、设备及介质。<br/>[0008]本专利技术是这样实现的，一种基于随机组合的弱监督语义分割方法，所述基于随机组合的弱监督语义分割方法包括：
[0009]采用训练数据集、切片训练数据集和随机组合的切片训练数据集分别训练分类网络N1、N2和N3；利用三个网络的预测结果进行组合得到最终的语义分割结果，并作为语义分割训练数据集训练语义分割模型；利用所述语义分割模型预测最终的图片的语义分割结果。
[0010]进一步，所述基于随机组合的弱监督语义分割方法的具体过程为：
[0011]基于带有图片类别标注的训练数据集训练分类网络N1；利用所述分类网络N1和对所述训练数据集切割得到的切片训练数据集训练分类网络N2；利用所述N1和N2及随机组合的切片训练数据集训练训练分类网络N3；将分类网络N1、N2和N3基于训练数据集预测的语义分割结果组合得到语义分割训练数据集；利用语义分割数据集训练语义分割模型对图片进行预测，采用平均交并比对预测结果进行评估。
[0012]进一步，所述分类网络N1为ResNet50网络，共有50层神经网络，分别是49个卷积层
和1个全连接层，所述分类网络N1的输入为224
×
224大小的图片，输出为1
×
1000的分类得分；
[0013]所述分类网络N2采用InceptionV3网络，共有48层神经网络，分别为47个卷积层和一全连接层，输入为299
×
299大小的图片，输出为1
×
1000的分类得分；
[0014]所述分类网络N3采用DenseNet121网络，共有121层神经网络，分别为120个卷积层和一全连接层，输入为224
×
224大小的图片，输出为1
×
1000的分类得分；
[0015]所述语义分割网络模型采用DeepLab V3网络。
[0016]进一步，所述训练分类网络N2的过程中，将所述分类网络N1的语义分割结果作为标签监督训练分类网络N2，构成N2的训练损失的一部分；
[0017]所述训练分类网络N3的过程中是将所述分类网络N1的语义分割结果和所述分类网络N2的语义分割结果作为标签监督训练分类网络N3，构成N3的训练损失的一部分。
[0018]进一步，所述训练分类网络时采用的损失函数为交叉熵损失函数，具体公式如下：
[0019][0020]式中y
i
是真实的类i标签，是预测的类i的标签，C表示所有的类别。
[0021]进一步，所述训练分类网络N2还包括分类网络N1的语义监督，分类网络N1得到的CAM语义分割预测结果为A1，分类网络N2得到的Grad
‑
CAM语义分割预测结果为A2，将A1和A2的平方差作为损失加入到分类网络N2的损失函数中，具体公式如下：
[0022][0023]进一步，所述训练分类网络N3还包括分类网络N1和分类网络N2的语义监督，分类网络N3得到的Grad
‑
CAM++语义分割预测结果为A3，将A1和A3的平方差和A2和A3的平方差作为损失加入到分类网络N3的损失函数中，具体公式为：
[0024][0025]进一步，所述语义分割训练数据集是对所述CAM、Grad
‑
CAM和Grad
‑
CAM+语义分割预测结果采用加权平均的方法组合得到最终的语义分割结果，根据每个语义分割预测结果中最高的数值计算权重，然后根据权重将三个结果拼接合成最终的预测结果。
[0026]本专利技术的另一目的在于提供一种实施所述基于随机组合的弱监督语义分割方法的基于随机组合的弱监督语义分割系统，所述基于随机组合的弱监督语义分割系统包括：
[0027]预处理模块，用于对训练数据集进行切片以及随机组合，得到切片训练数据集和随机组合的切片训练数据集；
[0028]训练模块，用于基于训练数据集、切片训练数据集和随机组合的切片训练数据集训练分类网络N1、N2和N3，以及语义分割模型；
[0029]预测模块，用于利用分类网络和语义分割模型得到分割预测结果；
[0030]评估模块，用于对最终的预测结果进行评估。
[0031]本专利技术的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于随机组合的弱监督语义分割方法的步骤。
[0032]本专利技术的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于随机组合的弱监督语义分割方法的步骤。
[0033]结合上述的技术方案和解决的技术问题，本专利技术所要保护的技术方案所具备的优点及积极效果为：
[0034]第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本专利技术的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本专利技术技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
[0035]本专利技术分别训练三个图片分类网络N1、N2和N3，利用三个网络预测的图片的类别激活图进行互相监督。并且三个分类网络的输入也是互不相同的，分别采用原图、切片图片和随机组合的切片图片。通过输入不同的训练图片使每个网络都能提取到图片中不同的激活区域，并且利用互本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于随机组合的弱监督语义分割方法，其特征在于，所述基于随机组合的弱监督语义分割方法包括：采用训练数据集、切片训练数据集和随机组合的切片训练数据集分别训练分类网络N1、N2和N3；将利用三个网络的预测结果进行组合得到最终的语义分割结果作为语义分割训练数据集，训练语义分割模型；利用所述语义分割模型预测最终的图片的语义分割结果。2.如权利要求1所述基于随机组合的弱监督语义分割方法，其特征在于，所述基于随机组合的弱监督语义分割方法的具体过程为：基于带有图片类别标注的训练数据集训练分类网络N1；利用所述分类网络N1和对所述训练数据集切割得到的切片训练数据集训练分类网络N2；利用所述N1和N2及随机组合的切片训练数据集训练训练分类网络N3；将分类网络N1、N2和N3基于训练数据集预测的语义分割结果组合得到语义分割训练数据集；利用语义分割数据集训练语义分割模型对图片进行预测，采用平均交并比对预测结果进行评估。3.如权利要求2所述基于随机组合的弱监督语义分割方法，其特征在于，所述分类网络N1为ResNet50网络，共有50层神经网络，分别是49个卷积层和1个全连接层，所述分类网络N1的输入为224
×
224大小的图片，输出为1
×
1000的分类得分；分类得分计算交叉熵损失后用于训练分类网络N1；所述分类网络N2采用InceptionV3网络，共有48层神经网络，分别为47个卷积层和一全连接层，输入为299
×
299大小的图片，输出为1
×
1000的分类得分。分类得分计算交叉熵损失后用于训练分类网络N2；所述分类网络N3采用DenseNet121网络，共有121层神经网络，分别为120个卷积层和一全连接层，输入为224
×
224大小的图片，输出为1
×
1000的分类得分。分类得分计算交叉熵损失后用于训练分类网络N3；所述语义分割网络模型采用DeepLab V3网络。4.如权利要求2所述基于随机组合的弱监督语义分割方法，其特征在于，训练分类网络N1、N2和N3时采用的损失函数为交叉熵损失函数，具体公式如下：式中y
i
是真实的类i标签，是预测的类i的标签，C表示所有的类别。5.如权利要求2所述基于随机组合的弱监督语义分割方法，其特征在于，所述训练分类网络N2还包括分类网络N1的语义监督，分类网络N1得到的CAM语义分...

【专利技术属性】
技术研发人员：沈冯立，李福生，赵彦春，唐荣江，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：