基于对象级别差异记忆的开放混合域适应图像分割方法技术

本发明专利技术涉及一种基于对象级别差异记忆的开放混合域适应图像分割方法，包括下列步骤：构建语义分割网络，利用源域图像对模型进行粗略训练，计算源域图像不同类别的特征的质心作为不同类别的类别键；对目标域的图像和语义分割结果送入OLDM模块；利用OLDM进行语义分割优化；利用OLDM进行伪标签更新，计算损失函数并反向传播。反向传播。反向传播。

【技术实现步骤摘要】
基于对象级别差异记忆的开放混合域适应图像分割方法


[0001]本专利技术属于人工智能、计算机视觉领域，涉及图像分割技术，具体为一种基于对象级别差异记忆的开放混合域适应图像分割方法。

技术介绍

[0002]图像分割指的是将数字图像细分为多个图像子区域的过程。它指的是在将输入图片分割成多个图像子区域。在安防、医疗、交通、互联网等区域均有应用。
[0003]一个场景下的数据集训练的语义分割模型，并不能很好的适应另一个场景的数据，所以需要对场景进行迁移，从而实现模型对多场景下的数据的良好分割。因此，提出了一种域适应的二维图像语义分割，将不同图像域的信息进行迁移、处理，最终得到大量用于语义分割模型训练的数据，增强模型分割性能。

技术实现思路

[0004]本专利技术提供了一种开放混合域适应图像分割方法，称之为基于对象级别差异记忆(OLDM)的开放混合域适应图像分割方法，利用不同类别的补偿内容来拉近源域与目标域图像之间的距离。在分割网络的训练过程中，构建OLDM来存储目标域图像特征生成的键和与源域特征的差。在分割任务的测试中，从OLD本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对象级别差异记忆的开放混合域适应图像分割方法，包括下列步骤：步骤一：构建语义分割网络，利用源域图像I
s
对模型进行粗略训练，计算源域图像不同类别的特征的质心A
l
作为不同类别的类别键；步骤二：对目标域的图像和语义分割结果R
t
送入OLDM模块，更新OLDM的方法为：(1)将目标域图像输入到语义分割网络；(2)得到目标域图像的特征以及整张图的语义分割结果R
t
；(3)构建用来存储目标域图像特征生成的键和与源域特征的差的OLDM，利用目标域特征与源域特征质心A
l
，对OLDM中的实例键N
l，m
与差异特征D
l，m
进行初始化以及更新，更新方法为：计算不同类别实例特征与保存的实例键N
l，m
的相似度w
l，m
，根据相似度采用加权方式进行更新；步骤三：利用OLDM进行语义分割优化，方法如下：(1)将目标域图像输入到语义分割网络中；(2)得到目标域图像的特征以及整张图的语义分割结果R
t
；(3)对于每一个像素点特征F
t
(x，y)，根据其初步语义分割结果R
t
(x，y)，选取其中最大的K个得分对应的类别；计算不同类别实例特征与保存的实例键N
k，m
的相似度w
k，m
，对于每一个实例键N
k，m
，获取其对应的实例内容D
k，m
，k为选取的最大的K个得分对应的类别中的类别索引；根据相似度与实例内容计算最终补偿内容，并将其加入像素点特征F
t
(x，y)中，生成最后的补偿后的特征和分割得分图步骤四：利用OLDM进行伪标签更新，计算损失函数并反向传播，方法如下：(1)根据输入的分割得分图设定阈值γ2，对于得分图中得分最大的类别的得分小于γ2的点，不进行更新，否则进行更新，由此计算伪标签Y
t
(x，y)进行更新；(2)对需要更新伪标签Y
t
(x，y)的像素点，计算损失函数并反向传播。2.根据权利要求1所述的开放混合域适应图像分割方法，其特征在于，步骤一的方法如下：(1)构建语义分割网络，将源域图像输入到此网络中；(2)得到源域图像的特征F
s
(x，y)，以及整张图像的语义分割结果R
s
，对每一个像素，将其归为分割结果中得分最高的类别l，并分类别计算出源域图像特征的质心A
l
作为不同类别的类别键，质心A
l
更新方式如下：对每一个类别，选择真实结果为该类别的所有像素I
s
(x，y)，经过编码后对应的源域图像特征为F
s
(x，y)，采用如下方式更新对应的质心A
l
...

【专利技术属性】
技术研发人员：冯伟，冯廷亮，林迪，万亮，刘雪阳，安慧莉，
申请(专利权)人：天津大学，
类型：发明
国别省市：