图像处理和图像处理模型的训练方法、装置、设备和介质制造方法及图纸

技术编号:40574711 阅读:20 留言:0更新日期:2024-03-06 17:15
本公开提供了一种图像处理和图像处理模型的训练方法、装置、设备和介质,涉及人工智能技术领域,具体为计算机视觉、深度学习、大模型等技术领域,可应用于人工智能的内容生成等场景。具体实现方案为:对展示有目标对象的待处理图像进行语义分割,得到对象图像和对象掩膜;基于对象掩膜,将对象图像的第一图像特征以及展示有目标背景的参考图像的第二图像特征进行融合,得到第三图像特征;根据第三图像特征,生成展示有目标背景和目标对象的目标图像。

【技术实现步骤摘要】

本公开涉及人工智能,具体为计算机视觉、深度学习、大模型等,可应用于人工智能的内容生成等场景,尤其涉及图像处理和图像处理模型的训练方法、装置、设备和介质


技术介绍

1、对于目标对象(比如商品)而言,网络销售平台中的各个商品,需要商家提供商品在不同背景(或特定背景)下的图像,以吸引用户或顾客购买商品,或者,主播或数字人直播带货场景中的各个商品,也需要在直播间展示商品在不同背景(或特定背景)下的图像,以吸引观众购买商品。

2、因此,如何生成目标对象在所需背景下的图像,是非常重要的。


技术实现思路

1、本公开提供了一种用于图像处理和图像处理模型的训练方法、装置、设备和介质。

2、根据本公开的一方面,提供了一种图像处理方法,包括:

3、获取展示有目标背景的参考图像和展示有目标对象的待处理图像;

4、对所述待处理图像进行语义分割,得到对象图像和对象掩膜;

5、基于所述对象掩膜,对所述对象图像的第一图像特征和所述参考图像的第二图像特征进行融合,得到所述第三图像特本文档来自技高网...

【技术保护点】

1.一种图像处理方法,包括:

2.根据权利要求1所述的方法,其中,所述根据所述第三图像特征,生成展示有所述目标背景和所述目标对象的目标图像,包括:

3.根据权利要求2所述的方法,其中,所述基于所述多个尺度的第一深度特征,对所述第四图像特征进行去扰动,以得到所述目标图像,包括:

4.根据权利要求2所述的方法,其中,所述对所述对象掩膜进行深度特征提取,得到多个尺度的第一深度特征,包括:

5.根据权利要求1-4中任一项所述的方法,其中,所述对所述待处理图像进行语义分割,得到对象图像和对象掩膜,包括:

6.根据权利要求5所述的方法,其中...

【技术特征摘要】

1.一种图像处理方法,包括:

2.根据权利要求1所述的方法,其中,所述根据所述第三图像特征,生成展示有所述目标背景和所述目标对象的目标图像,包括:

3.根据权利要求2所述的方法,其中,所述基于所述多个尺度的第一深度特征,对所述第四图像特征进行去扰动,以得到所述目标图像,包括:

4.根据权利要求2所述的方法,其中,所述对所述对象掩膜进行深度特征提取,得到多个尺度的第一深度特征,包括:

5.根据权利要求1-4中任一项所述的方法,其中,所述对所述待处理图像进行语义分割,得到对象图像和对象掩膜,包括:

6.根据权利要求5所述的方法,其中,所述对所述待处理图像进行对象检测,得到所述目标对象在所述待处理图像中的目标位置,包括:

7.根据权利要求6所述的方法,其中,所述采用对象检测模型对所述待处理图像进行对象检测,得到至少一个检测框的预测位置和概率分布,包括:

8.根据权利要求6所述的方法,其中,所述根据所述至少一个检测框的概率分布,从所述至少一个检测框中确定目标检测框,包括:

9.根据权利要求6所述的方法,其中,所述对象检测模型采用以下步骤训练得到:

10.根据权利要求1-4中任一项所述的方法,其中,所述对所述待处理图像进行语义分割,得到对象图像和对象掩膜之后,所述方法还包括:

11.根据权利要求10所述的方法,其中,所述基于所述对象掩膜,对所述对象图像的第一图像特征和所述参考图像的第二图像特征进行融合,得到所述第三图像特征,包括:

12.根据权利要求1-4中任一项所述的方法,其中,应用于服务端,所述获取展示有目标背景的参考图像和展示有目标对象的待处理图像,包括:

13.根据权利要求1-4中任一项所述的方法,其中,应用于服务端,所述获取展示有目标背景的参考图像和展示有目标对象的待处理图像,包括:

14.一种图像处理模型的训练方法,包括:

15.根据权利要求14所述的方法,其中,所述采用初始的图像生成模型基于所述多个尺度的深度特征,对所述样本图像进行处理,得到预测图像,包括:

16.根据权利要...

【专利技术属性】
技术研发人员:刘芳龙李鑫戎康宋雨鑫袁苇航张琦
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1