一种基于对抗网络的半监督语义分割方法技术

本发明专利技术中提出的一种基于对抗网络的半监督语义分割方法，其主要内容包括：网络架构、训练过程，其过程为，首先采用带有ResNet‑101模型、在ImageNet数据库预训练的DeepLab‑v2框架作为分割网络；然后移除最后一个分类网络层，并把最后两个卷积层的间距由2改为1；接着采用扩展的卷积网络以增大接收域，在最后一层之后使用空间金字塔池化；最后鉴别网络使用全卷积网络，采用上采样网络层，用于重新调整与输入图像大小相匹配的输出图像。本发明专利技术基于对抗网络，提出了一种半监督语义分割方法，其中的全卷积鉴别器允许系统进行半监督学习，并能够提供附加的监督信号，从而提高了图像语义分割的性能。

A semi supervised semantic segmentation method based on confrontation network

A semi-supervised semantic segmentation method based on confrontation network is proposed. The main contents of the method include: network architecture and training process. First, the DeepLab_v2 framework with ResNet_101 model and pre-training in ImageNet database is used as the segmentation network, and then the last classification network layer is removed. The distance between the last two convolution layers is changed from 2 to 1, then the extended convolution network is used to enlarge the receiving domain, and the spatial pyramid pooling is used after the last layer. Finally, the discriminant network uses the full convolution network and the up-sampling network layer is used to readjust the output image matching the size of the input image. Based on the confrontation network, a semi-supervised semantic segmentation method is proposed, in which the full convolution discriminator allows the system to conduct semi-supervised learning and provides additional supervised signals, thereby improving the performance of image semantic segmentation.

【技术实现步骤摘要】
一种基于对抗网络的半监督语义分割方法
本专利技术涉及语义分割领域，尤其是涉及了一种基于对抗网络的半监督语义分割方法。
技术介绍
语义分割技术，简单来说就是给定一张图片，对图片中的每一个像素点进行分类。图像语义分割是人工智能领域中一个重要的分支，是机器视觉技术中关于图像理解的重要一环。语义分割技术在实际应用中具有十分重要的作用。比如，在自动驾驶系统中，语义分割技术能够很好地对街景图像进行识别和理解，输出更加真实的场景图，并使得自动驾驶系统可以做出更加安全可靠的行驶操作；再比如，在无人机应用，语义分割技术有利于无人机更加精准地定位着落点的位置；在穿戴式设备应用中，语义分割技术能够提高穿戴设备识别周围物体的精确度，从而提高人们对穿戴设备的体验感受。语义分割主要包括像素级别的阈值法、基于像素聚类的分割方法、基于图划分的分割方法以及基于深度学习的分割方法。前三种分割方法没有算法训练阶段，因此其计算复杂度不高，但是在较困难的分割任务上(如果不提供人为的辅助信息)，其分割效果往往无法令人满意；而现有的大部分基于深度学习的半监督语义分割方法，其鉴别器是用于在图像层面区分输入图像是真实还是伪造图像，其缺点在于对图像语义分割的效果不够好。本专利技术提出了一种基于对抗网络的半监督语义分割方法，首先采用带有ResNet-101模型、在ImageNet数据库预训练的DeepLab-v2框架作为分割网络；然后移除最后一个分类网络层，并把最后两个卷积层的间距由2改为1；接着采用扩展的卷积网络以增大接收域，在最后一层之后使用空间金字塔池化；最后鉴别网络使用全卷积网络，采用上采样网络层，用于重新调整与输入图像大小相匹配的输出图像。本专利技术基于对抗网络，提出了一种半监督语义分割方法，其中的全卷积鉴别器允许系统进行半监督学习，并能够提供附加的监督信号，从而提高了图像语义分割的性能。
技术实现思路
针对现有方法存在图像语义分割效果不佳等问题，本专利技术的目的在于提供一种基于对抗网络的半监督语义分割方法，首先采用带有ResNet-101模型、在ImageNet数据库预训练的DeepLab-v2框架作为分割网络；然后移除最后一个分类网络层，并把最后两个卷积层的间距由2改为1；接着采用扩展的卷积网络以增大接收域，在最后一层之后使用空间金字塔池化；最后鉴别网络使用全卷积网络，采用上采样网络层，用于重新调整与输入图像大小相匹配的输出图像。为解决上述问题，本专利技术提供一种基于对抗网络的半监督语义分割方法，其主要内容包括：(一)网络架构；(二)训练过程。其中，所述的网络架构，其主要包括：(1)分割网络：采用带有ResNet-101模型、在ImageNet数据库预训练的DeepLab-v2框架作为分割网络，移除最后一个分类网络层，并把最后两个卷积层的间距由2改为1；这使得输出图像的分辨率变为输入图像大小的八分之一；为了增大接收域，采用扩展的卷积网络；在最后一层之后，使用空间金字塔池化；最后，采用上采样网络层和Softmax函数，输出与输入图像大小相匹配的图像；(2)鉴别网络：除了最后一个卷积层之外的其他所有卷积层都使用由0.2参数化的基于整流器模型的改进神经网络；为了把网络转换为全卷积网络，在最后的网络层增加了一个上采样网络层，用于重新调整与输入图像大小相匹配的输出图像。其中，所述的训练过程，主要包括分割网络训练和鉴别网络训练；给定一张大小为H×W×3的输入图像Xn，用S(·)表示分割网络，用S(Xn)表示大小为H×W×C的预测概率图像；用D(·)表示全卷积鉴别器，其把大小为H×W×C的概率图像作为输入，并输出大小为H×W×1的置信图；在提出的方法当中，存在鉴别网络的两个可能的输入：分割预测S(Xn)或者独热编码实况值Yn。进一步地，所述的分割网络训练，在半监督设置下，同时使用标记的和未标记的图像；当使用标记的图像时，分割网络同时受到关于实况标签图像的标准交叉熵损失函数和关于鉴别网络的对抗损失函数的监督；当使用未标记的图像时，使用提出的半监督方法训练分割网络；在获得未标记图像的原始的分割预测值之后，把分割预测值输入鉴别网络以获取置信图；使用自我学习程序轮流把此置信图当作监督信号，训练带有标记的交叉熵损失函数的分割网络。进一步地，所述的半监督设置，采用自我学习策略，利用带有未标记数据的训练获得鉴别器；其主要思想在于通过训练所获得的鉴别器可以产生一个置信图，即D(S(Xn))(h,w)；置信图可以推断出预测结果与实况分布值足够接近的区域；为了突出可靠的区域，将上述的置信图进行二值化处理；最后，利用二值化处理所得的置信图，定义自我学习实况值为被屏蔽的分割预测值进一步地，所述的自我学习策略，通过最小化下面的多任务损失函数来训练分割网络：其中，和分别表示空间多任务交叉熵损失函数、对抗损失函数和半监督损失函数，λadv和λsemi是用于平衡多任务训练过程的参数。进一步地，所述多任务损失函数，分别考虑标记数据和未标记数据；对于标记数据，给定一张输入图像Xn、独热编码实况值Yn和预测结果S(Xn)，可以构造交叉熵损失函数，即：采用对抗学习方法，通过对抗损失函数给出一个全卷积鉴别网络D(·)，即：利用该对抗损失函数，尝试训练分割网络，通过最大化分割预测的概率以欺骗鉴别器，让鉴别器误将其当作实况分布值。进一步地，所述的未标记数据，考虑在半监督设置下的对抗训练过程，对于未标记数据，由于不存在实况标签，因此无法利用而由于对抗损失函数仅仅需要鉴别网络，所以仍然可以使用进一步地，所述的鉴别网络训练，最小化关于两个类别的交叉熵损失函数；鉴别网络把一个控制通路的概率图像作为其输入；为了把带有离散标签值的实况标签图像转换成为控制通路的概率图像，在实况标签图像上采用独热编码程序；当属于类别c时，取值为1；否则取值为0。进一步地，所述的交叉熵损失函数，其形式上可以写成：其中，如果样本来自分割网络，则yn＝0；如果样本来自实况标签，则yn＝1。附图说明图1是本专利技术一种基于对抗网络的半监督语义分割方法的系统概况图。图2是本专利技术一种基于对抗网络的半监督语义分割方法的可视化置信图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本专利技术作进一步详细说明。图1是本专利技术一种基于对抗网络的半监督语义分割方法的系统概况图。其主要内容包括网络架构以及训练过程。其中，所述的网络架构，其主要包括：(1)分割网络：采用带有ResNet-101模型、在ImageNet数据库预训练的DeepLab-v2框架作为分割网络，移除最后一个分类网络层，并把最后两个卷积层的间距由2改为1；这使得输出图像的分辨率变为输入图像大小的八分之一；为了增大接收域，采用扩展的卷积网络；在最后一层之后，使用空间金字塔池化；最后，采用上采样网络层和Softmax函数，输出与输入图像大小相匹配的图像；(2)鉴别网络：除了最后一个卷积层之外的其他所有卷积层都使用由0.2参数化的基于整流器模型的改进神经网络；为了把网络转换为全卷积网络，在最后的网络层增加了一个上采样网络层，用于重新调整与输入图像大小相匹配的输出图像。其中，所述的训练过程，主要包括分割网络训练和鉴别网络训练；给定一张大小为H×W本文档来自技高网...

【技术保护点】
1.一种基于对抗网络的半监督语义分割方法，其特征在于，主要包括网络架构(一)；训练过程(二)。

【技术特征摘要】
1.一种基于对抗网络的半监督语义分割方法，其特征在于，主要包括网络架构(一)；训练过程(二)。2.基于权利要求书1所述的网络架构(一)，其特征在于，其主要包括：(1)分割网络：采用带有ResNet-101模型、在ImageNet数据库预训练的DeepLab-v2框架作为分割网络，移除最后一个分类网络层，并把最后两个卷积层的间距由2改为1；这使得输出图像的分辨率变为输入图像大小的八分之一；为了增大接收域，采用扩展的卷积网络；在最后一层之后，使用空间金字塔池化；最后，采用上采样网络层和Softmax函数，输出与输入图像大小相匹配的图像；(2)鉴别网络：除了最后一个卷积层之外的其他所有卷积层都使用由0.2参数化的基于整流器模型的改进神经网络；为了把网络转换为全卷积网络，在最后的网络层增加了一个上采样网络层，用于重新调整与输入图像大小相匹配的输出图像。3.基于权利要求书1所述的训练过程(二)，其特征在于，主要包括分割网络训练和鉴别网络训练；给定一张大小为H×W×3的输入图像Xn，用S(·)表示分割网络，用S(Xn)表示大小为H×W×C的预测概率图像；用D(·)表示全卷积鉴别器，其把大小为H×W×C的概率图像作为输入，并输出大小为H×W×1的置信图；在提出的方法当中，存在鉴别网络的两个可能的输入：分割预测S(Xn)或者独热编码实况值Yn。4.基于权利要求书3所述的分割网络训练，其特征在于，在半监督设置下，同时使用标记的和未标记的图像；当使用标记的图像时，分割网络同时受到关于实况标签图像的标准交叉熵损失函数和关于鉴别网络的对抗损失函数的监督；当使用未标记的图像时，使用提出的半监督方法训练分割网络；在获得未标记图像的原始的分割预测值之后，把分割预测值输入鉴别网络以获取置信图；使用自我学习程序轮流把此置信图当作监督信号，训练带有标记的交叉熵损失函数的分割...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44