一种增强特征空间对抗学习的域自适应语义分割方法技术

本发明专利技术提出了一种增强特征空间对抗学习的域自适应语义分割方法，通过引入分类约束鉴别器以及对抗学习和伪标签自训练相结合的混合协作框架，有效地缓解了特征空间对抗学习方法中的训练不平衡和特征失真问题以及分类器过度拟合源域特征的问题，促使网络更好地提取域不变特征，提高网络泛化能力的增强特征空间对抗学习的域自适应语义分割算法。对抗学习的域自适应语义分割算法。对抗学习的域自适应语义分割算法。

【技术实现步骤摘要】
一种增强特征空间对抗学习的域自适应语义分割方法


[0001]本专利技术属于无监督域自适应语义分割方法，具体地说，涉及一种增强特征空间对抗学习的域自适应语义分割方法。

技术介绍

[0002]语义分割的目的是通过标记每个像素来预测输入图像的结构化输出,作为计算机视觉领域的一个重要课题，语义分割在自主驾驶、医学图像分析等领域有着重要的应用。目前的语义分割方法主要是基于深度卷积神经网络的最新进展，随着全卷积网络(fully convolutional networks，FCN)的出现，以FCN为骨干网络的语义分割算法取得了巨大的成功。然而，训练深层神经网络需要大量带注释的训练数据。与图像分类任务预测图像的标签不同，语义分割需要对每个像素进行标记，才能预测输入图像的结构化输出，而用于语义分割的像素级注释非常昂贵和耗时。解决语义分割标注问题的一个很有前景的方法是从现代计算机图形学工具提供的合成图像中学习，例如，大量的图像和像素级标签可以从GTA5游戏中自动获取。然而，由于域间显著的差距，例如图像样式和场景布局上的不同，在合成数据集上训练的模型不能很好地泛化到实际图像的分割任务上。
[0003]作为解决上述泛化问题的一种方法，无监督域自适应的目的是使在带注释的源域数据集上训练的模型能够较好地迁移到另一个无标记的目标域数据集。当前域自适应的一个最流行的方法是特征空间对抗学习，该类方法致力于为下游任务学习语义上有意义并且领域通用的特征。在特征空间对抗训练中，网络需要训练一个域鉴别器来区分源域和目标域的特征表示，同时，特征生成器被鼓励生成域间不可区分的特征来混淆鉴别器。
[0004]生成对抗网络由生成器G和鉴别器D组成，是一种流行的图像合成深度生成模型。生成对抗网络旨在从噪声变量生成图像，使得图像能够捕获数据的分布。其框架对应一个基于值函数的双方对抗游戏：当将对抗学习方法引入到无监督的域自适应语义分割任务中时，需要生成的则是领域不变的特征，而鉴别器则用来预测生成的特征来自哪个领域。
[0005]然而，采用传统鉴别器进行特征对抗在自适应方法无法取得令人满意的性能，鉴别器的能力取决于感受野的大小，如果鉴别器感知到太多的上下文特征，可能会过于强大，打破对抗学习中的训练平衡。尽管特征编码器在训练过程中被期望通过生成域不变特征来混淆鉴别器，从而增强模型泛化能力，但编码器也可能产生失真和模棱两可的特征来欺骗鉴别器，导致网络对源域图像和目标域图像都产生失真和错误的预测。
[0006]故而现有技术存在以下缺陷：（1）尽管在分类任务上已经取得了很大的进展，现有的特征空间自适应方法在用于语义分割任务时，存在对抗训练不平衡问题。由于为分割任务提取的深层特征相比于分
类任务包含更加丰富的结构信息，可能会为鉴别器提供过多的领域线索,导致鉴别器可以很容易地区分来自源域和目标域的特征，由于训练平衡被打破，特征编码器无法产生令人满意的域不变特征。
[0007]（2）现有特征空间对抗学习方法的另一个问题是原有特征分布容易发生扭曲失真问题，尽管特征生成器致力于提取领域不变的特征来增强网络泛化能力，但它也可能产生失真和模棱两可的特征来欺骗鉴别器，在这种情况下，源域图像和目标域图像都会产生失真和错误的预测。
[0008]（3）此外，在特征空间对抗学习中，由于目标域标签的缺失，分类器只能根据源域标签进行参数更新，网络很难生成具有良好结构可分性的目标域特征，使用源域标签训练的分类器容易过度拟合源域特征，无法预测目标域的结构化输出。

技术实现思路

[0009]本专利技术针对现有的特征空间对抗学习方法中对抗训练不平衡、原有特征分布容易发生扭曲失真、无法预测目标域的结构化输出等问题，提出了一种增强特征空间对抗学习的域自适应语义分割方法，本专利技术通过引入分类约束鉴别器以及对抗学习和伪标签自训练相结合的混合协作框架,有效地缓解了特征空间对抗学习方法中的训练不平衡和特征失真问题以及分类器过度拟合源域特征的问题，促使网络更好地提取域不变特征，提高网络泛化能力的增强特征空间对抗学习的域自适应语义分割算法。
[0010]本专利技术具体实现内容如下：本专利技术提出了一种增强特征空间对抗学习的域自适应语义分割方法，基于增强特征空间对抗学习的域自适应语义分割系统，包括以下步骤：步骤1：采用特征编码器对源域图像和目标域图像进行特征提取，生成源域图像特征和目标域图像特征；步骤2：采用分类约束鉴别器对源域图像特征和目标域图像特征进行特征空间对抗学习；步骤3：使用对抗学习和伪标签自训练相结合的形式，通过共享分类器对源域图像特征和目标域图像特征进行分割，得到源域图像特征分割图和目标域图像特征分割图；步骤4：采用类别中心计算模块获取每一类别的源域图像特征分割图和每一类别的目标域图像特征分割图的特征中心，并将源域和目标域对应的同一类别的目标域图像特征分割图和源域图像特征分割图进行特征中心对齐；所述增强特征空间对抗学习的域自适应语义分割系统包括特征提取器、分类约束鉴别器、共享分类器、类别中心计算模块；所述分类约束鉴别器包括与特征提取器连接的分类器和鉴别器；所述共享分类器分别与所述特征提取器、类别中心计算模块连接；所述类别中心计算模块与所述特征提取器连接；所述分类器通过共享除最后一个功能层之外的所有参数来实现对鉴别器的约束；所述分类约束鉴别器通过最后一个功能层分别为分类器和鉴别器预测语义类别和域来源。
[0011]为了更好地实现本专利技术，进一步地，所述步骤2中，在分类约束鉴别器中，采用分类器组件作为约束，赋予鉴别器源域特征的结构信息，迫使特征编码器从目标域提取包含结构信息的域不变特征来混淆鉴别器；过程中，将源域图像特征和目标域图像特征输入到分
类约束鉴别器后，使用分类约束鉴别器损失进行训练，具体公式如下：；式中，等号右侧前两项为鉴别器的损失函数，第三项为针对分类器对于源域输出的辅助分割损失；C表示分类器，c代表类别，D表示鉴别器；和表示鉴别器的输出高和宽；h和w表示输入图像的高和宽；C1表示预定义的类别，是在训练分类约束鉴别器时控制辅助分割损失相对重要性的超参数。
[0012]为了更好地实现本专利技术，进一步地，在所述步骤2中，在特征空间对抗学习的过程中，采用对抗损失函数来对特征编码器进行训练，通过最大化目标域图像特征被视为源域图像特征的概率来混淆鉴别器，具体损失函数如下：；式中，D表示鉴别器，和表示鉴别器的输出高和宽；G表示特征编码器，C表示分类器；Ft为目标域图像特征。
[0013]为了更好地实现本专利技术，进一步地，所述步骤3中：对于带有标记的源域数据：采用预测和真值标签之间的交叉熵损失函数来训练分割网络，具体的损失函数如下：；式中，G1表示分割网络，h和w表示输入图像的高和宽，C2表示预定义的类别，c代表类别。
[0014]为了更好地实现本专利技术，进一步地，在所述步骤3中：对于没有标记的目标域图像特征：在自训练的过程中为目标域图像特征生成伪标签，利用伪标签指导网络更新，具体操作为：首先，通过预先训练的模型从整个目标域数据中选择高预测置信度的像素作为伪标签，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强特征空间对抗学习的域自适应语义分割方法，基于增强特征空间对抗学习的域自适应语义分割系统，其特征在于，包括以下步骤：步骤1：采用特征编码器对源域图像和目标域图像进行特征提取，生成源域图像特征和目标域图像特征；步骤2：采用分类约束鉴别器对源域图像特征和目标域图像特征进行特征空间对抗学习；步骤3：使用对抗学习和伪标签自训练相结合的形式，通过共享分类器对源域图像特征和目标域图像特征进行分割，得到源域图像特征分割图和目标域图像特征分割图；步骤4：采用类别中心计算模块获取每一类别的源域图像特征分割图和每一类别的目标域图像特征分割图的特征中心，并将源域和目标域对应的同一类别的目标域图像特征分割图和源域图像特征分割图进行特征中心对齐；所述增强特征空间对抗学习的域自适应语义分割系统包括特征提取器、分类约束鉴别器、共享分类器、类别中心计算模块；所述分类约束鉴别器包括与特征提取器连接的分类器和鉴别器；所述共享分类器分别与所述特征提取器、类别中心计算模块连接；所述类别中心计算模块与所述特征提取器连接；所述分类器通过共享除最后一个功能层之外的所有参数来实现对鉴别器的约束；所述分类约束鉴别器通过最后一个功能层分别为分类器和鉴别器预测语义类别和域来源。2.如权利要求1所述的一种增强特征空间对抗学习的域自适应语义分割方法，其特征在于，所述步骤2中，在分类约束鉴别器中，采用分类器组件作为约束，赋予鉴别器源域特征的结构信息，迫使特征编码器从目标域提取包含结构信息的域不变特征来混淆鉴别器；过程中，将源域图像特征和目标域图像特征输入到分类约束鉴别器后，使用分类约束鉴别器损失进行训练，具体公式如下：；式中，等号右侧前两项为鉴别器的损失函数，第三项为针对分类器对于源域输出的辅助分割损失；C表示分类器，c代表类别，D表示鉴别器；和表示鉴别器的输出高和宽；h和w表示输入图像的高和宽；C1表示预定义的类别，是在训练分类约束鉴别器时控制辅助分割损失相对重要性的超参数。3.如权利要求1或2所述的一种增强特征空间对抗学习的域自适应语义分割方法，其特征在于，在所述步骤2中，在特征空间对抗学习的过程中，采用对抗损失函数来对特征编码器进行训练，通过最大化目标域图像特征被视为源域图像特征的概率来混淆鉴别器，具体损失函数如下：；
式中，D表示鉴别器，和表示鉴别器的输出高和宽；G表示特征编码器，C表示分类器；Ft为目标域图像特征。4.如权利要求1所述的一种增强特征空间对抗学习的域自适应语义分割方法，其特征在于，所述步骤3中：对于带有标记的源域数据：采用预测和真值标签之间的交叉熵损失函数来训练分割网络，具体的损失函数如下：；式中，G1表示分割网络，h和w表示输入图像的高和宽，C2表示预定义的类别，c代表类别。5.如权利要求1所述的一种增强特征空间对抗学习的域自适应语义分割方法，其特征在于，在所述步骤3中：对于没有标记的目标域图像特征：在自训练的过程中为目标域图像特征生成伪标签，利用伪标签指导网络更新，具体操作为：首先，通过预先训练的模型从整个目标域数据中选择高预测置信度的像素作为伪标签，具体选取公式如下：；其中，是第n个像素属于类别c的概率，n=1,2,
……
,N；是为每个类c选择p
×
100%最可靠伪标签的阈值，代表将被预测为c类的所有像素的概率进行排序，选择，使其等于在从高到低排序中处于位置p
×
N
c
的概率；N
c
是预测为c类的像素数；p表示伪标签的比例，值介于[0，1]之间；然后，使用自训练损失函数来...

【专利技术属性】
技术研发人员：陈涛，姚亚洲，孙泽人，沈复民，
申请(专利权)人：南京码极客科技有限公司，
类型：发明
国别省市：