System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 抠图方法、装置、电子设备及存储介质制造方法及图纸_技高网

抠图方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40823989 阅读:2 留言:0更新日期:2024-04-01 14:44
本发明专利技术提供一种抠图方法、装置、电子设备及存储介质,其中方法包括:确定待抠图图像,以及确定所述待抠图图像的初始抠图结果;对所述待抠图图像进行语义分割,得到语义分割结果;基于所述语义分割结果对所述初始抠图结果进行调整,得到目标抠图结果。本发明专利技术提供的方法、装置、电子设备及存储介质,基于语义分割结果对初始抠图结果进行调整,相当于对初始抠图结果中的边缘模糊区域进行二次判定,从而解决在初始抠图结果中会出现前景物体边界模糊的问题,实现更好的边缘分割能力,进一步实现更精准的抠图效果。

【技术实现步骤摘要】

本专利技术涉及抠图,尤其涉及一种抠图方法、装置、电子设备及存储介质


技术介绍

1、抠图是计算机视觉领域重点的研究方向之一,是一种从图像中精准提取前景对象不透明信息的技术。

2、目前,抠图方法可分为传统方法和深度学习方法,传统的抠图方法主要基于低层次的像素对相似度,而且相似度仅仅基于颜色或人工的特征。然而深度学习方法可以提取到图像语义级别的像素间相似度,可以更好的实现图像抠图,因此基于深度卷积神经网络的抠图方法被广泛使用,逐渐替代了传统的数学方法,通过卷积核在输入图像滑动和计算内积来提取图像中的空间特征信息。

3、u2net为近些年来在图像抠图领域效果较好的模型,但是u2net在处理一些背景与显著性物体对比度和色彩度相似的图像时会出现前景物体边界模糊的问题。


技术实现思路

1、本专利技术提供一种抠图方法、装置、电子设备及存储介质,用以解决现有技术中u2net在处理一些背景与显著性物体对比度和色彩度相似的图像时会出现前景物体边界模糊的缺陷。

2、本专利技术提供一种抠图方法,包括:

3、确定待抠图图像,以及确定所述待抠图图像的初始抠图结果;

4、对所述待抠图图像进行语义分割,得到语义分割结果;

5、基于所述语义分割结果对所述初始抠图结果进行调整,得到目标抠图结果。

6、根据本专利技术提供的一种抠图方法,所述基于所述语义分割结果对所述初始抠图结果进行调整,得到目标抠图结果,包括:

7、确定所述初始抠图结果中的待调整像素点;

8、基于所述待调整像素点在所述初始抠图结果中的灰度值,以及所述待调整像素点在所述语义分割结果中的分割概率,确定所述待调整像素点在所述目标抠图结果中的灰度值。

9、根据本专利技术提供的一种抠图方法,所述基于所述待调整像素点在所述初始抠图结果中的灰度值,以及所述待调整像素点在所述语义分割结果中的分割概率,确定所述待调整像素点在所述目标抠图结果中的灰度值,包括:

10、在所述待调整像素点在所述语义分割结果中的分割概率大于等于第一预设阈值,且所述待调整像素点在所述初始抠图结果中的灰度值小于第二预设阈值的情况下,确定所述待调整像素点在所述目标抠图结果中的灰度值为第一预设灰度值;

11、在所述待调整像素点在所述语义分割结果中的分割概率大于等于第三预设阈值,且所述待调整像素点在所述初始抠图结果中的灰度值大于所述第二预设阈值且小于第四预设阈值的情况下,确定所述待调整像素点在所述目标抠图结果中的灰度值为所述第一预设灰度值;

12、在所述待调整像素点在所述语义分割结果中的分割概率小于所述第三预设阈值,且所述待调整像素点在所述初始抠图结果中的灰度值大于所述第二预设阈值且小于所述第四预设阈值的情况下,确定所述待调整像素点在所述目标抠图结果中的灰度值为第二预设灰度值;

13、在所述待调整像素点在所述语义分割结果中的分割概率小于所述第一预设阈值,且所述待调整像素点在所述初始抠图结果中的灰度值小于所述第二预设阈值的情况下,确定所述待调整像素点在所述目标抠图结果中的灰度值为所述第二预设灰度值;

14、将所述待调整像素点在所述目标抠图结果中的灰度值为所述第二预设灰度值的图像区域设置为背景区域,并将所述待调整像素点在所述目标抠图结果中的灰度值为所述第一预设灰度值的图像区域设置为前景区域。

15、根据本专利技术提供的一种抠图方法,所述对所述待抠图图像进行语义分割,得到语义分割结果,包括:

16、基于至少两种语义分割模型,分别对所述待抠图图像进行语义分割,得到至少两种初始语义分割结果;

17、基于所述至少两种初始语义分割结果,确定所述语义分割结果。

18、根据本专利技术提供的一种抠图方法,所述至少两种语义分割模型的模型结构互不相同。

19、根据本专利技术提供的一种抠图方法,所述确定所述待抠图图像的初始抠图结果,包括:

20、基于目标抠图模型,确定所述待抠图图像的初始抠图结果;

21、所述目标抠图模型的训练步骤包括:

22、获取样本图像、所述样本图像的抠图标签,以及初始抠图模型,所述初始抠图模型包括多个串联的解码层;

23、基于所述初始抠图模型,对所述样本图像的图像特征进行逐层解码,得到各解码层输出的解码特征,并对所述各解码层输出的解码特征进行抠图分类,得到所述各解码层对应的预测抠图结果;

24、基于所述抠图标签与所述各解码层对应的预测抠图结果,对所述初始抠图模型进行参数迭代,得到所述目标抠图模型。

25、根据本专利技术提供的一种抠图方法,所述基于所述抠图标签与所述各解码层对应的预测抠图结果,对所述初始抠图模型进行参数迭代,得到所述目标抠图模型,包括:

26、基于所述初始抠图模型,对所述各解码层输出的解码特征进行融合,并对融合后的解码特征进行抠图分类,得到预测融合抠图结果;

27、基于所述抠图标签与所述各解码层对应的预测抠图结果,以及所述抠图标签和所述预测融合抠图结果,对所述初始抠图模型进行参数迭代,得到所述目标抠图模型。

28、本专利技术还提供一种抠图装置,包括:

29、确定单元,用于确定待抠图图像,以及确定所述待抠图图像的初始抠图结果;

30、语义分割单元,用于对所述待抠图图像进行语义分割,得到语义分割结果;

31、调整单元,用于基于所述语义分割结果对所述初始抠图结果进行调整,得到目标抠图结果。

32、本专利技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述抠图方法。

33、本专利技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述抠图方法。

34、本专利技术还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述抠图方法。

35、本专利技术提供的抠图方法、装置、电子设备及存储介质,确定待抠图图像,以及确定待抠图图像的初始抠图结果,再对待抠图图像进行语义分割,得到语义分割结果,最后,基于语义分割结果对初始抠图结果进行调整,得到目标抠图结果。此过程基于语义分割结果对初始抠图结果进行调整,相当于对初始抠图结果中的边缘模糊区域进行二次判定,从而解决在初始抠图结果中会出现前景物体边界模糊的问题,实现更好的边缘分割能力,进一步实现更精准的抠图效果。

本文档来自技高网...

【技术保护点】

1.一种抠图方法,其特征在于,包括:

2.根据权利要求1所述的抠图方法,其特征在于,所述基于所述语义分割结果对所述初始抠图结果进行调整,得到目标抠图结果,包括:

3.根据权利要求2所述的抠图方法,其特征在于,所述基于所述待调整像素点在所述初始抠图结果中的灰度值,以及所述待调整像素点在所述语义分割结果中的分割概率,确定所述待调整像素点在所述目标抠图结果中的灰度值,包括:

4.根据权利要求1至3中任一项所述的抠图方法,其特征在于,所述对所述待抠图图像进行语义分割,得到语义分割结果,包括:

5.根据权利要求4所述的抠图方法,其特征在于,所述至少两种语义分割模型的模型结构互不相同。

6.根据权利要求1至3中任一项所述的抠图方法,其特征在于,所述确定所述待抠图图像的初始抠图结果,包括:

7.根据权利要求6所述的抠图方法,其特征在于,所述基于所述抠图标签与所述各解码层对应的预测抠图结果,对所述初始抠图模型进行参数迭代,得到所述目标抠图模型,包括:

8.一种抠图装置,其特征在于,包括:

9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述抠图方法。

10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述抠图方法。

...

【技术特征摘要】

1.一种抠图方法,其特征在于,包括:

2.根据权利要求1所述的抠图方法,其特征在于,所述基于所述语义分割结果对所述初始抠图结果进行调整,得到目标抠图结果,包括:

3.根据权利要求2所述的抠图方法,其特征在于,所述基于所述待调整像素点在所述初始抠图结果中的灰度值,以及所述待调整像素点在所述语义分割结果中的分割概率,确定所述待调整像素点在所述目标抠图结果中的灰度值,包括:

4.根据权利要求1至3中任一项所述的抠图方法,其特征在于,所述对所述待抠图图像进行语义分割,得到语义分割结果,包括:

5.根据权利要求4所述的抠图方法,其特征在于,所述至少两种语义分割模型的模型结构互不相同。

6.根据权...

【专利技术属性】
技术研发人员:陶晓天王建社许敏强方四安柳林
申请(专利权)人:合肥讯飞数码科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1