图像分割方法、设备、集群、介质、程序产品和装置制造方法及图纸

技术编号:42628807 阅读:22 留言:0更新日期:2024-09-06 01:30
本申请的实施例提供了图像分割方法、电子设备、计算机集群、计算机可读存储介质、程序产品和装置。该方法包括使用图像分割模型的编码器生成图像集的训练图像的第一特征图,并且使用视觉语言模型的图像编码器来生成训练图像的第二特征图。该方法还包括基于第一特征图与第二特征图,来调整图像分割模型。该方案能够提供附加的域无偏知识来给图像分割模型的域自适应训练过程降噪,从而降低图像分割模型对训练数据风格的偏向性,提高所得模型的鲁棒性。

【技术实现步骤摘要】

本申请涉及信息,更具体地,涉及图像分割方法、电子设备、计算机存储介质和程序产品。


技术介绍

1、图像的语义分割是计算机视觉领域的基础任务之一,其通过对图像上的像素分类来分割图像区域。经训练的机器学习模型(诸如深度神经网络)在执行语义分割中取得了良好的效果,因此被越来越广泛地应用在该领域。

2、然而,为了获得具有足够性能的分割模型,训练机器学习模型的全监督方法需要使用大量标注图片来对模型进行训练。并且,针对图像的语义分割来训练机器学习模型需要数据具有像素级别的标注。对充足训练数据以及相应标注的依赖使得训练图像分割模型的代价十分昂贵,例如,仅人工标注一张图片就可能需要超过一小时的时间。


技术实现思路

1、本申请的实施例提供了一种图像分割方案。

2、在第一方面,提供了一种图像分割方法。该方法包括:使用图像分割模型的编码器生成图像集的训练图像的第一特征图,该图像分割模型用于分割输入图像;使用视觉语言模型的图像编码器来生成训练图像的第二特征图,该视觉语言模型的图像编码器和文本编码器针对语义相关的本文档来自技高网...

【技术保护点】

1.一种图像分割方法,其特征在于,包括:

2.根据权利要求1所述的方法,其中基于所述第一特征图与所述第二特征图来调整所述图像分割模型包括:

3.根据权利要求2所述的方法,其中基于所述第一组高频特征与所述第二组高频特征的差异来调整所述图像分割模型的所述参数包括:

4.根据权利要求1所述的方法,其特征在于,还包括:

5.根据权利要求1所述的方法,其特征在于,还包括:

6.根据权利要求1所述的方法,其特征在于,其中所述图像集是第一图像集,并且所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述第二图像集中的图像...

【技术特征摘要】

1.一种图像分割方法,其特征在于,包括:

2.根据权利要求1所述的方法,其中基于所述第一特征图与所述第二特征图来调整所述图像分割模型包括:

3.根据权利要求2所述的方法,其中基于所述第一组高频特征与所述第二组高频特征的差异来调整所述图像分割模型的所述参数包括:

4.根据权利要求1所述的方法,其特征在于,还包括:

5.根据权利要求1所述的方法,其特征在于,还包括:

6.根据权利要求1所述的方法,其特征在于,其中所述图像集是第一图像集,并且所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述第二图像集中的图像的至少一部分像素不具有指示类别的标签。

8.根据权利要求6所述的方法,其特征在于,基于第二图像集来调整所述图像分割模型包括:

9.根据权利要求6所述的方法,其特征在于,基于第二图像集来调整所述图像分割模型包括:

10.根据权利要求8所述的方法,其中所述视觉语言模型是基于多个领域的多模态数据被训练的,其中所述文本编码器和所述图像编码器通过对比学习被训练。

11.一种用于图像分割的装置,其特征在于,包括:

12.根据权利要求11所述的装置,其中所述调整模块包括:

13.根据权利要求12所述的装置,其中所述高频调整模块包括:

14.根据权利要求11所述的装置,其特征在于,还包括:

【专利技术属性】
技术研发人员:田奇蒋东生谢凌曦王华宇沈为
申请(专利权)人:华为云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1