一种图像语义分割方法技术

本发明专利技术公开了一种图像语义分割方法，其通过第一图像分割模型逆向改进图像翻译模型的方式解决合成数据集图像语义分割对图像翻译模型性能的过度依赖的问题，通过优化后的图像翻译模型(第一图像翻译模型)的输出数据和第一图像分割模型的输出数据，使得第一图像分割模型可以通过监督学习再次进行优化，进行得到一个具有更强域不变特征区分力的图像语义分割模型(第二图像分割模型)，采用图像语义分割模型(第二图像分割模型)对目标图像进行语义分割，即可完成图像语义分割。本方法解决了现有技术中图像翻译模型性能对分割结果影响过大且无法被修正的问题。

【技术实现步骤摘要】
一种图像语义分割方法
本专利技术涉及图像处理领域，具体涉及一种图像语义分割方法。
技术介绍
像素级语义分割图是把图片上属于不同类别的像素用不同的标签标记出来，在自动驾驶中具有眼睛的作用。车辆拍到前方图片，通过分割模型得到分割图，就获得了道路包含的类别和位置信息，这些信息反馈给自动驾驶系统判断该前进还是停车还是转弯，或是其他操作。合成数据集图像分割技术面临的最主要困难是在完全不使用来自目标域的人工标签时，由合成数据集训练出的分割模型在应用中会出现域移位的现象。因此，现有的合成数据集图像分割技术的主要突破点也在进行域对齐上。现有的应用于图像语义分割的域对齐方法主要有两大类，第一类是通过尽可能地减小源域与目标域的分布差异来学习域不变表示的方法。该类方法的代表技术是最大平均差(MMD)损失、均值、协方差等。其核心思想是用这些统计信息作为两个域之间的公共距离度量。然而，当域的分布不是高斯分布时，想靠均值、协方差等统计信息来对齐两个差异较大的域是非常困难的。第二类方法是基于对抗学习的域对齐方法。它通过强制将不同领域的特征统一化来欺骗鉴别器，从而减少了两个域的差异性，这一过程也通常被称为翻译过程。该类方法最主要的缺点是分割模型的性能非常依赖于图像到图像翻译模型的性能。一旦图像到图像的转换失败或出现一定量的误差，在图像分割模型上就无法对其进行修正。
技术实现思路
针对现有技术中的上述不足，本专利技术提供的一种图像语义分割方法解决了现有技术中图像翻译模型性能对分割结果影响过大且无法被修正的问题，并给出了一个具有更强域不变特征区分力的图像语义分割方法。为了达到上述专利技术目的，本专利技术采用的技术方案为：提供一种图像语义分割方法，其包括以下步骤：S1、获取并将已知标签图像和无标签图像输入初始图像翻译模型；S2、通过初始图像翻译模型获取与已知标签图像相对应的第一翻译图像和与无标签图像相对应的第二翻译图像；S3、将第一翻译图像和无标签图像输入初始图像分割模型，分别得到与第一翻译图像相对应的第一分割结果和与无标签图像相对应的第二分割结果；S4、获取并基于第一分割结果和第二分割结果的对抗损失、第一分割结果与已知标签的分割损失和翻译过程特征区分损失得到初始图像分割模型的第一优化对象；S5、以初始图像分割模型的第一优化对象最小为目标，训练初始图像分割模型得到第一图像分割模型；S6、将已知标签图像、无标签图像、第一翻译图像和第二翻译图像输入第一图像分割模型，分别得到与已知标签图像相对应的第三分割结果、与无标签图像相对应的第四分割结果、与第一翻译图像相对应的第五分割结果和与第二翻译图像相对应的第六分割结果；S7、获取并基于第一翻译图像与无标签图像的对抗损失、已知标签图像与第二翻译图像的对抗损失、第一翻译图像重构回原图的重构损失、第二翻译图像重构回原图的重构损失、第三分割结果与第五分割结果的语义差异损失和第四分割结果与第六分割结果的语义差异损失得到初始图像翻译模型的优化对象；S8、以初始图像翻译模型的优化对象最小为目标，训练初始图像翻译模型得到第一图像翻译模型；并通过最大概率阈值方法从第四分割结果中获取置信度大于阈值的结果，并作为第七分割结果；S9、将已知标签图像和无标签图像输入第一图像翻译模型，分别得到与已知标签图像相对应的第三翻译图像和与无标签图像相对应的第四翻译图像；S10、将第三翻译图像和第四翻译图像输入第一图像分割模型，分别得到与第三翻译图像相对应的第八分割结果和与第四翻译图像相对应的第九分割结果；将第七分割结果所对应的无标签图像在第一图像分割模型中的结果作为第十分割结果；即第十分割结果来自于第九分割结果；S11、获取并基于第八分割结果和第九分割结果的对抗损失、翻译过程特征区分损失、第八分割结果与已知标签的分割损失和第十分割结果与第七分割结果的分割损失得到第一图像分割模型的第二优化对象；S12、以第一图像分割模型的第二优化对象最小为目标，训练第一图像分割模型得到第二图像分割模型；S13、采用第二图像分割模型对目标图像进行语义分割，完成图像语义分割。进一步地，步骤S1中的已知标签图像包括GTA5合成数据集中的24966张图片；无标签图像包括Cityscapes数据集中的2975张训练图像和500张验证图像。进一步地，图像翻译模型的翻译方法为风格迁移方法。进一步地，步骤S4中初始图像分割模型的第一优化对象的表达式为：其中为初始图像分割模型的第一优化对象；为常数；S1为第一翻译图像；T为无标签图像；M(S1)为第一分割结果；M(T)为第二分割结果；为第一分割结果和第二分割结果的对抗损失；SY为已知标签；为第一分割结果与已知标签的分割损失；为初始翻译模型的翻译过程特征区分损失。进一步地，初始翻译模型的翻译过程特征区分损失的获取方法为：将已知标签图像S和第二翻译图像T1分别输入初始图像分割模型，分别得到与已知标签图像S相对应的第十一分割结果M(S)和与第二翻译图像T1相对应的第十二分割结果M(T1)；根据公式：获取初始翻译模型的翻译过程特征区分损失其中；和均为常数；为已知标签图像通过初始图像翻译模型翻译向自己后得到的翻译结果再重构回翻译前的重构损失；为无标签图像通过初始图像翻译模型翻译向自己后得到的翻译结果再重构回翻译前的重构损失；为第十一分割结果M(S)和第一分割结果M(S1)之间的结构损失；为第二分割结果M(T)和第一分割结果M(S1)之间的纹理损失；为第二分割结果M(T)和第十二分割结果M(T1)之间的结构损失；为第十二分割结果M(T1)和第十一分割结果M(S)之间的纹理损失。进一步地，步骤S7中初始图像翻译模型的优化对象的表达式为：其中LF为初始图像翻译模型的优化对象；λGAN和λrecon均为常数；S为已知标签图像；T为无标签图像；S1为第一翻译图像；T1为第二翻译图像；F-1(·)表示初始图像翻译模型的逆操作；LGAN(S1，T)为第一翻译图像与无标签图像的对抗损失；LGAN(S,T1)为已知标签图像与第二翻译图像的对抗损失；Lrecon(S，F-1(S1))为第一翻译图像重构回原图的重构损失；Lrecon(T,F(T1))为第二翻译图像重构回原图的重构损失；Lper(M1(S),M1(S1))为第三分割结果与第五分割结果的语义差异损失，M1(·)表示第一图像分割模型；Lper(M1(T),M1(T1))为第四分割结果与第六分割结果的语义差异损失。进一步地，步骤S11中第一图像分割模型的第二优化对象的表达式为：其中为第一图像分割模型的第二优化对象；为常数；S2为第三翻译图像，M1(S2)为第八分割结果；T2为第四翻译图像，M1(T2)为第九分割结果；为第一图像翻译模型的翻译过程特征区分损失；SY为已知标签，为第八分割结果与已知标签的分割损失；Tssl为第七分割结果所对应的无标签图像，M1(Tssl)为第本文档来自技高网...

【技术保护点】
1.一种图像语义分割方法，其特征在于，包括以下步骤：/nS1、获取并将已知标签图像和无标签图像输入初始图像翻译模型；/nS2、通过初始图像翻译模型获取与已知标签图像相对应的第一翻译图像和与无标签图像相对应的第二翻译图像；/nS3、将第一翻译图像和无标签图像输入初始图像分割模型，分别得到与第一翻译图像相对应的第一分割结果和与无标签图像相对应的第二分割结果；/nS4、获取并基于第一分割结果和第二分割结果的对抗损失、第一分割结果与已知标签的分割损失和翻译过程特征区分损失得到初始图像分割模型的第一优化对象；/nS5、以初始图像分割模型的第一优化对象最小为目标，训练初始图像分割模型得到第一图像分割模型；/nS6、将已知标签图像、无标签图像、第一翻译图像和第二翻译图像输入第一图像分割模型，分别得到与已知标签图像相对应的第三分割结果、与无标签图像相对应的第四分割结果、与第一翻译图像相对应的第五分割结果和与第二翻译图像相对应的第六分割结果；/nS7、获取并基于第一翻译图像与无标签图像的对抗损失、已知标签图像与第二翻译图像的对抗损失、第一翻译图像重构回原图的重构损失、第二翻译图像重构回原图的重构损失、第三分割结果与第五分割结果的语义差异损失和第四分割结果与第六分割结果的语义差异损失得到初始图像翻译模型的优化对象；/nS8、以初始图像翻译模型的优化对象最小为目标，训练初始图像翻译模型得到第一图像翻译模型；并通过最大概率阈值方法从第四分割结果中获取置信度大于阈值的结果，并作为第七分割结果；/nS9、将已知标签图像和无标签图像输入第一图像翻译模型，分别得到与已知标签图像相对应的第三翻译图像和与无标签图像相对应的第四翻译图像；/nS10、将第三翻译图像和第四翻译图像输入第一图像分割模型，分别得到与第三翻译图像相对应的第八分割结果和与第四翻译图像相对应的第九分割结果；将第七分割结果所对应的无标签图像在第一图像分割模型中的结果作为第十分割结果；即第十分割结果来自于第九分割结果；/nS11、获取并基于第八分割结果和第九分割结果的对抗损失、翻译过程特征区分损失、第八分割结果与已知标签的分割损失和第十分割结果与第七分割结果的分割损失得到第一图像分割模型的第二优化对象；/nS12、以第一图像分割模型的第二优化对象最小为目标，训练第一图像分割模型得到第二图像分割模型；/nS13、采用第二图像分割模型对目标图像进行语义分割，完成图像语义分割。/n...

【技术特征摘要】
1.一种图像语义分割方法，其特征在于，包括以下步骤：
S1、获取并将已知标签图像和无标签图像输入初始图像翻译模型；
S2、通过初始图像翻译模型获取与已知标签图像相对应的第一翻译图像和与无标签图像相对应的第二翻译图像；
S3、将第一翻译图像和无标签图像输入初始图像分割模型，分别得到与第一翻译图像相对应的第一分割结果和与无标签图像相对应的第二分割结果；
S4、获取并基于第一分割结果和第二分割结果的对抗损失、第一分割结果与已知标签的分割损失和翻译过程特征区分损失得到初始图像分割模型的第一优化对象；
S5、以初始图像分割模型的第一优化对象最小为目标，训练初始图像分割模型得到第一图像分割模型；
S6、将已知标签图像、无标签图像、第一翻译图像和第二翻译图像输入第一图像分割模型，分别得到与已知标签图像相对应的第三分割结果、与无标签图像相对应的第四分割结果、与第一翻译图像相对应的第五分割结果和与第二翻译图像相对应的第六分割结果；
S7、获取并基于第一翻译图像与无标签图像的对抗损失、已知标签图像与第二翻译图像的对抗损失、第一翻译图像重构回原图的重构损失、第二翻译图像重构回原图的重构损失、第三分割结果与第五分割结果的语义差异损失和第四分割结果与第六分割结果的语义差异损失得到初始图像翻译模型的优化对象；
S8、以初始图像翻译模型的优化对象最小为目标，训练初始图像翻译模型得到第一图像翻译模型；并通过最大概率阈值方法从第四分割结果中获取置信度大于阈值的结果，并作为第七分割结果；
S9、将已知标签图像和无标签图像输入第一图像翻译模型，分别得到与已知标签图像相对应的第三翻译图像和与无标签图像相对应的第四翻译图像；
S10、将第三翻译图像和第四翻译图像输入第一图像分割模型，分别得到与第三翻译图像相对应的第八分割结果和与第四翻译图像相对应的第九分割结果；将第七分割结果所对应的无标签图像在第一图像分割模型中的结果作为第十分割结果；即第十分割结果来自于第九分割结果；
S11、获取并基于第八分割结果和第九分割结果的对抗损失、翻译过程特征区分损失、第八分割结果与已知标签的分割损失和第十分割结果与第七分割结果的分割损失得到第一图像分割模型的第二优化对象；
S12、以第一图像分割模型的第二优化对象最小为目标，训练第一图像分割模型得到第二图像分割模型；
S13、采用第二图像分割模型对目标图像进行语义分割，完成图像语义分割。


2.根据权利要求1所述的图像语义分割方法，其特征在于，所述步骤S1中的已知标签图像包括GTA5合成数据集中的24966张图片；无标签图像包括Cityscapes数据集中的2975张训练图像和500张验证图像。


3.根据权利要求1所述的图像语义分割方法，其特征在于，图像翻译模型的翻译方法为风格迁移方法。


4.根据权利要求1所述的图像语义分割方法，其特征在于，所述步骤S4中初始图像分割模型的第一优化对象的表达式为：



其中为初始图像分割模型的第一优化对象；为常数；S1为第一翻译图像；T为无标签图像；M(S1)为第一分割结果；M(T)为第二分割结果；为第一分割结果和第二分割结果的对抗损失；SY为已知标签；为第一分割结果与已知标签的分割损失；为初始翻译模型的翻译过程特征区分损失。


5.根据权利要求4所述的图像语义分割方法，其特征在于，所述初始翻译模型的翻译过程特征区分损失的获取方法为：
将已知标签图像S和第二翻译图像T1分别输入...

【专利技术属性】
技术研发人员：邵杰，陈俊铭，曹坤涛，
申请(专利权)人：宜宾电子科技大学研究院，
类型：发明
国别省市：四川;51