图像处理方法、装置、设备及存储介质制造方法及图纸

本申请提供一种图像处理方法、装置、设备及存储介质，可应用于人工智能、AI绘图、视频处理等各种领域。该方法包括：对第一图像中的物体进行分割，得到K个物体区域；获取K个物体区域的提示词；提取第一图像的图像特征信息，以及K个物体区域中每一个物体区域的提示词的文本特征信息；基于第一图像的图像特征信息和K个物体区域的提示词的文本特征信息，将第一图像的每个物体区域所包括的物体的初始特征，变换为对应提示词所描述的目标特征，得到第二图像。即本申请将第一图像划分为K个物体区域，并为K个物体区域分别设置提示词，实现对K个物体区域进行单独控制，可以在第一图像中不同物体上应用不同风格，提高了图生图的效果。

【技术实现步骤摘要】

本申请实施例涉及计算机，尤其涉及一种图像处理方法、装置、设备及存储介质。

技术介绍

1、随着人工智能(artificial intelligence, ai)技术的快速发展，ai绘图应用而生。ai绘图包括文字生图和图生图两种应用模式。其中文生图是可以根据用户输入的文本内容，快速生成符合要求的图像。图生图除了输入文本外，还会输入一张初始图像，进而根据输入的文本对初始图像做变换转换为另一张符合文本描述风格的图像。

2、目前图生图方法通常是基于扩散算法的图像生成模型生成，具体是按照对象输入的提示词，对初始图像进行风格变换。但是，目前的图生图方法，只支持使用单一提示词作为控制条件，若初始图像中包括多个物体时，生成的图像结果不理想。

技术实现思路

1、本申请提供一种图像处理方法、装置、设备及存储介质，可以实现对图像中不同物体的风格进行准备变换，提升图生图的效果。

2、第一方面，本申请提供一种图像处理方法，包括：

3、获取待处理的第一图像，并对所述第一图像中的k个物体进行分割，得到k个本文档来自技高网...

【技术保护点】

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像的图像特征信息和所述K个物体区域的提示词的文本特征信息，将所述第一图像的每个物体区域所包括的物体的初始特征，变换为对应提示词所描述的目标特征，得到第二图像，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像的加噪特征信息和所述K个物体区域的提示词的文本特征信息进行去噪处理，得到去噪后的图像特征信息，包括：

4.根据权利要求3所述的方法，其特征在于，所述去噪网络包括M个注意力模块，所述M为正整数，所述通过去噪网络，对所述第一图像的第...

【技术特征摘要】

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像的图像特征信息和所述k个物体区域的提示词的文本特征信息，将所述第一图像的每个物体区域所包括的物体的初始特征，变换为对应提示词所描述的目标特征，得到第二图像，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像的加噪特征信息和所述k个物体区域的提示词的文本特征信息进行去噪处理，得到去噪后的图像特征信息，包括：

4.根据权利要求3所述的方法，其特征在于，所述去噪网络包括m个注意力模块，所述m为正整数，所述通过去噪网络，对所述第一图像的第i次去噪特征信息和所述k个物体区域的提示词的文本特征信息进行去噪处理，得到第i次噪声预测值，包括：

5.根据权利要求4所述的方法，其特征在于，所述通过所述m个注意力模块，对所述第一图像的第i次去噪特征信息和所述k个物体区域的提示词的文本特征信息进行融合处理，得到所述第一图像的第m个图像特征信息，包括：

6.根据权利要求5所述的方法，其特征在于，所述通过所述第j个注意力模块，对所述第一图像的第j-1个图像特征信息和所述k个物体区域的提示词的文本特征信息进行处理，得到所述k个物体区域中每一个物体区域的第j个注意力特征信息，包括：

7.根据权利要求6所述的方法，其特征在于，所述通过所述第j个注意力模块，对所述第k个物体区域的提示词的文本特征信息，以及所述第一图像的第j-1个图像特征信息进行融合处理，得到所述第k个物体区域的第j个注意力特征信息，包括：

8.根据权利要求7所述的方法，其特征在于，所述通过所述第j个注意力模块，对所述第k个物体区域的提示词的第一文本特征信息和第二文本特征信息，以及所述第一图像的第j-1个图像特征信息进行融合处理，得到所述第k个物体区域...

【专利技术属性】
技术研发人员：姜博源，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：