基于目标领域自监督学习的无监督领域适应方法和系统技术方案

本发明专利技术提供了一种基于目标领域自监督学习的无监督领域适应方法和系统，包括：领域不变特征提取步骤、图像特征阶梯式领域对齐步骤、语义分割步骤、边缘生成步骤、分割图领域对齐步骤、边缘图领域对齐步骤和边缘一致约束步骤。本发明专利技术通过对目标领域实施一种有效的自监督学习，从而提高目标领域的无监督分割精度，实现良好的领域适应。

【技术实现步骤摘要】
基于目标领域自监督学习的无监督领域适应方法和系统
本专利技术涉及计算机视觉和图像处理领域，具体地，涉及基于目标领域自监督学习的无监督领域适应方法和系统。
技术介绍
近年来，随着计算机视觉技术的迅速发展，语义分割任务作为视觉任务中的一个重要分支，越来越受到广泛研究。使用深度神经网络训练一个语义分割任务往往需要该数据集影像的人工标注作为监督，但是为每一个数据集都实现人工标注极为耗费人力物力财力。因此，我们一般会借助其他领域相关任务的带标注数据集，利用其数据和标注让模型在一定的监督下学习，从而缓解模型对目标数据集的标注的依赖。然而，由于来自不同领域的数据集往往其数据分布具有较大的差异，因此在一个领域上训练的模型如果直接在另一个领域的数据上测试，性能一般比较差。为了解决这一问题，无监督领域适应技术近年来被广泛研究。对于无监督领域适应技术而言，源领域图像具有标注，而目标领域图像没有任何标注。无监督领域适应分割技术利用源领域图像及其标注、目标领域图像，训练出一个在目标领域分割效果较好的模型。目前，很多无监督领域适应分割方法均试图通过对抗学习的机制来对齐源领域和目标领域的统计分布，从而使用对齐后了的领域无关特征训练语义分割模型。但是这种对抗学习一般都在网络的深层或者输出层来对齐源领域和目标领域的特征，而不会对齐浅层特征，更不会将浅层特征复用到深层去降低卷积操作带来的信息损失。此外，现有很多方法往往聚焦在语义分割任务本身，企图通过KL散度，聚类，加权损失函数等多种方法提升语义分割精度，但是它们都忽略了影响目标领域语义分割精度最大的区域：分割边缘区域，这些区域一般会过分割或者少分割。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于目标领域自监督学习的无监督领域适应方法和系统。根据本专利技术提供的一种基于目标领域自监督学习的无监督领域适应方法，包括：领域不变特征提取步骤：对源领域和目标领域的图像，使用特征提取网络提取图像的领域不变特征，得到源领域和目标领域各自的图像特征；图像特征阶梯式领域对齐步骤：对所述图像特征，使用阶梯式领域判别网络预测来自源领域和目标领域的概率；语义分割步骤：对所述图像特征，使用卷积和升采样构成的语义分割网络得到源领域和目标领域的语义分割图；边缘生成步骤：对所述图像特征，使用卷积和升采样构成的边缘生成网络得到源领域和目标领域的边缘生成图；分割图领域对齐步骤：对所述语义分割图，通过分割图领域判别网络预测来自源领域和目标领域的概率；边缘图领域对齐步骤：对所述边缘生成图，通过边缘图领域判别网络预测来自源领域和目标领域的概率；边缘一致约束步骤：对所述语义分割图和所述边缘生成图，使用边缘一致损失函数在目标领域实现自监督学习。优选地，所述领域不变特征提取步骤中，所述特征提取网络由层卷积和最大池化操作构成，将源领域的图像和目标领域的图像输入共享的所述特征提取网络，所述特征提取网络各层的领域不变特征；所述源领域的图像和目标领域的图像是来自两个不同分布的针对同一语义分割任务的图像，源领域的图像有相应的像素级标注，目标领域的图像没有标注信息。优选地，所述图像特征阶梯式领域对齐步骤中，特征提取网络和阶梯式领域判别网络进行min-max操作，阶梯式领域判别网络区分输入的源领域的各层的特征和目标领域的各层的特征，而特征提取网络提取各层的领域不变的特征来混淆阶梯式领域判别网络，使阶梯式领域判别网络无法区分特征来自哪个领域。优选地，所述语义分割步骤中，语义分割网络由层卷积和上采样操作构成，利用该语义分割网络，将特征提取网络提取出的源领域和目标领域的领域不变特征分别进行语义分割。优选地，所述边缘生成步骤中，边缘生成网络由若干层卷积和上采样操作构成，利用该边缘生成网络，将特征提取网络提取出的源领域和目标领域的领域不变特征分别生成对应的边缘图。优选地，所述分割图领域对齐步骤，语义分割网络和分割图领域判别网络进行min-max操作，分割图领域判别网络区分源领域的分割图和目标领域的分割图，而语义分割网络混淆分割图领域判别网络，从而语义分割网络生成的源领域的分割图和目标领域的分割图是领域无关的。优选地，所述边缘图领域对齐步骤，边缘生成网络和边缘图领域判别网络进行min-max操作，边缘图领域判别网络区分源领域的边缘图和目标领域的边缘图，而边缘生成网络混淆边缘图领域判别网络，从而边缘生成网络生成的源领域的边缘图和目标领域的边缘图是领域无关的。优选地，所述边缘一致约束步骤，语义分割网络生成的目标领域的分割图和边缘生成网络生成的目标领域的边缘图二者通过边缘一致性损失来约束一致性。优选地，所述图像特征阶梯式领域对齐步骤中，特征提取网络和阶梯式领域判别网络进行min-max操作，目标函数如下：其中，θF是特征提取网络的参数，θf是阶梯式领域判别网络的参数，K是特征提取网络的层数，k是其中第k层，Lf,k是第k层的损失函数，γk是第k层损失函数的权重，是特征提取网络第k层提取到的源领域特征，是特征提取网络第k层提取到的目标领域特征，F(Xs)是特征提取网络提取出的若干源领域特征，F(Xt)是特征提取网络提取出的若干目标领域特征，是阶梯式领域判别网络预测特征来自源领域的概率，是阶梯式领域判别网络预测特征来自目标领域的概率；随着k逐步递增至K，各层特征的领域信息逐步递减，因此min-max对抗的力度逐步递减，也即γk逐步递减；所述语义分割步骤中：对于有标注的源领域图像，将所述语义分割步骤得到的语义分割图与相应的像素级标注进行对比，从而计算如下损失函数：其中，θF是特征提取网络的参数，θS是语义分割网络的参数，是语义分割网络对源域特征计算得到的分割图，是源领域图像对应的像素级标注，是源领域的带权重交叉熵损失函数，是源领域的Dice损失函数；所述边缘生成步骤中：对于有标注的源领域图像，将所述边缘生成步骤得到的边缘图与相应的像素级标注的边缘图进行对比，从而计算如下损失函数：其中，θF是特征提取网络的参数，θG是边缘生成网络的参数，是边缘生成网络对源域特征计算得到的边缘图，是通过对源领域图像对应的像素级标注图求梯度从而得到的边缘图，是源领域的带权重交叉熵损失函数，是源领域的Dice损失函数；所述分割图领域对齐步骤包括：语义分割网络和分割图领域判别网络进行min-max的游戏，目标函数如下：其中，θS是语义分割网络的参数，是分割图领域判别网络的参数，是语义分割网络对源域特征计算得到的分割图，是语义分割网络对目标领域特征计算得到的分割图；所述边缘图领域对齐步骤，具体如下：边缘生成网络和边缘图领域判别网络进行min-max的游戏，目标函数如下：其中，θG是边缘生成网络的参数，是边缘图领域判别网络的参数，是边缘生成网络对源域特征计算得到的边缘图，是边缘生成网络对目标领域特征计算得到的边缘图；所本文档来自技高网...

【技术保护点】
1.一种基于目标领域自监督学习的无监督领域适应方法，其特征在于，包括：/n领域不变特征提取步骤：对源领域和目标领域的图像，使用特征提取网络提取图像的领域不变特征，得到源领域和目标领域各自的图像特征；/n图像特征阶梯式领域对齐步骤：对所述图像特征，使用阶梯式领域判别网络预测来自源领域和目标领域的概率；/n语义分割步骤：对所述图像特征，使用卷积和升采样构成的语义分割网络得到源领域和目标领域的语义分割图；/n边缘生成步骤：对所述图像特征，使用卷积和升采样构成的边缘生成网络得到源领域和目标领域的边缘生成图；/n分割图领域对齐步骤：对所述语义分割图，通过分割图领域判别网络预测来自源领域和目标领域的概率；/n边缘图领域对齐步骤：对所述边缘生成图，通过边缘图领域判别网络预测来自源领域和目标领域的概率；/n边缘一致约束步骤：对所述语义分割图和所述边缘生成图，使用边缘一致损失函数在目标领域实现自监督学习。/n

【技术特征摘要】
1.一种基于目标领域自监督学习的无监督领域适应方法，其特征在于，包括：
领域不变特征提取步骤：对源领域和目标领域的图像，使用特征提取网络提取图像的领域不变特征，得到源领域和目标领域各自的图像特征；
图像特征阶梯式领域对齐步骤：对所述图像特征，使用阶梯式领域判别网络预测来自源领域和目标领域的概率；
语义分割步骤：对所述图像特征，使用卷积和升采样构成的语义分割网络得到源领域和目标领域的语义分割图；
边缘生成步骤：对所述图像特征，使用卷积和升采样构成的边缘生成网络得到源领域和目标领域的边缘生成图；
分割图领域对齐步骤：对所述语义分割图，通过分割图领域判别网络预测来自源领域和目标领域的概率；
边缘图领域对齐步骤：对所述边缘生成图，通过边缘图领域判别网络预测来自源领域和目标领域的概率；
边缘一致约束步骤：对所述语义分割图和所述边缘生成图，使用边缘一致损失函数在目标领域实现自监督学习。


2.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述领域不变特征提取步骤中，所述特征提取网络由层卷积和最大池化操作构成，将源领域的图像和目标领域的图像输入共享的所述特征提取网络，所述特征提取网络各层的领域不变特征；
所述源领域的图像和目标领域的图像是来自两个不同分布的针对同一语义分割任务的图像，源领域的图像有相应的像素级标注，目标领域的图像没有标注信息。


3.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述图像特征阶梯式领域对齐步骤中，特征提取网络和阶梯式领域判别网络进行min-max操作，阶梯式领域判别网络区分输入的源领域的各层的特征和目标领域的各层的特征，而特征提取网络提取各层的领域不变的特征来混淆阶梯式领域判别网络，使阶梯式领域判别网络无法区分特征来自哪个领域。


4.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述语义分割步骤中，语义分割网络由层卷积和上采样操作构成，利用该语义分割网络，将特征提取网络提取出的源领域和目标领域的领域不变特征分别进行语义分割。


5.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述边缘生成步骤中，边缘生成网络由若干层卷积和上采样操作构成，利用该边缘生成网络，将特征提取网络提取出的源领域和目标领域的领域不变特征分别生成对应的边缘图。


6.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述分割图领域对齐步骤，语义分割网络和分割图领域判别网络进行min-max操作，分割图领域判别网络区分源领域的分割图和目标领域的分割图，而语义分割网络混淆分割图领域判别网络，从而语义分割网络生成的源领域的分割图和目标领域的分割图是领域无关的。


7.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述边缘图领域对齐步骤，边缘生成网络和边缘图领域判别网络进行min-max操作，边缘图领域判别网络区分源领域的边缘图和目标领域的边缘图，而边缘生成网络混淆边缘图领域判别网络，从而边缘生成网络生成的源领域的边缘图和目标领域的边缘图是领域无关的。


8.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述边缘一致约束步骤，语义分割网络生成的目标领域的分割图和边缘生成网络生成的目标领域的边缘图二者通过边缘一致性损失来约束一致性。


9.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述图像特征阶梯式领域对齐步骤中，特征提取网络和阶梯式领域判别网络进行min-max...

【专利技术属性】
技术研发人员：张娅，雪盈盈，冯世祥，张小云，王延峰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31