一种图像生成方法、装置、电子设备及存储介质制造方法及图纸

本公开涉及一种图像生成方法、装置、电子设备及存储介质，该方法包括：获取初始图像的图像特征信息；图像特征信息包括初始图像中的初始对象的初始姿态信息和初始图像的初始背景语义信息；获取目标对象的对象特征信息；利用对象特征信息和图像特征信息对噪声图像进行合成处理，得到包含目标对象的目标图像；噪声图像是对初始图像添加高斯噪声得到的；目标图像的背景语义信息与初始背景语义信息相匹配，目标图像中的目标对象的姿态与初始姿态信息相匹配。本公开实施例提供了一种新颖的图像生成方法，在图像生成领域中具有广泛的应用前景。景。景。

【技术实现步骤摘要】
一种图像生成方法、装置、电子设备及存储介质


[0001]本公开涉及互联网
，尤其涉及一种图像生成方法、装置、电子设备及存储介质。

技术介绍

[0002]随着数字技术和人工智能(artificial intelligence，AI)技术的发展，内容生成领域逐渐从专业人士专业领域(比如具有专业领域知识的短视频博主)生成内容转向人工智能生成内容(artificial intelligence generated content，AIGC)。AIGC大大扩充了数字内容生成领域的丰富程度和想象力，将极大地丰富人们的数字生活，是未来全面迈向数字文明新时代不可或缺的支撑力量。
[0003]在目前的人工智能生成图像的领域中，根据文本生成对应图像，将原始图像进行风格转化生成新图像等任务已广泛应用，但目前任务形式均比较单一，亟需开发新的任务以提高图像生成领域中应用的多样性。

技术实现思路

[0004]本公开提供一种图像生成方法、装置、电子设备及存储介质，本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种图像生成方法，包括：
[0006]获取初始图像的图像特征信息；图像特征信息包括初始图像中的初始对象的初始姿态信息和初始图像的初始背景语义信息；
[0007]获取目标对象的对象特征信息；
[0008]利用对象特征信息和图像特征信息对噪声图像进行合成处理，得到包含目标对象的目标图像；噪声图像是对初始图像添加高斯噪声得到的；目标图像的背景语义信息与初始背景语义信息相匹配，目标图像中的目标对象的姿态与初始姿态信息相匹配。
[0009]在一些可能的实施例中，利用对象特征信息和图像特征信息对噪声图像进行合成处理，得到包含目标对象的目标图像，包括：
[0010]将对象特征信息和图像特征信息作为引导信息；
[0011]基于引导信息对噪声图像进行多次去噪处理，得到去噪图像；
[0012]直至去噪图像中包含目标对象和初始图像的初始背景，将去噪图像作为目标图像。
[0013]在一些可能的实施例中，基于引导信息对噪声图像进行多次去噪处理，得到去噪图像，包括：
[0014]通过图像去噪模型，对引导信息和噪声图像进行处理，预测所添加的噪音数据；
[0015]根据噪音数据、噪声图像和图像去噪模型的模型超参数，确定去噪图像分布参数；去噪图像分布参数包括均值和方差；
[0016]基于去噪图像分布参数从标准高斯分布中采样，得到去噪图像。
[0017]在一些可能的实施例中，对象特征信息的数据维度不同于图像特征信息的数据维度；
[0018]将对象特征信息和图像特征信息作为引导信息，包括：
[0019]将对象特征信息和图像特征信息进行特征融合，得到融合后的特征信息；融合后的特征信息的数据维度满足预设数据维度；
[0020]将融合后的特征信息作为引导信息。
[0021]在一些可能的实施例中，图像去噪模型的训练方式，包括：
[0022]获取初始训练图像；初始训练图像包括初始训练对象；
[0023]获取初始训练对象的对象训练特征信息；
[0024]获取第一初始训练模型；第一初始训练模型包括初始特征处理模型、图像加噪模块和初始图像去噪模型；
[0025]根据图像加噪模块，对初始训练图像添加符合高斯分布的噪音数据，得到对应的训练噪声图像；
[0026]根据初始特征处理模型，获取初始训练图像的图像训练特征信息；图像训练特征信息包括初始训练对象的初始姿态信息和初始训练图像的初始背景语义信息；
[0027]基于训练噪声图像、对象训练特征信息和图像训练特征信息，利用初始图像去噪模型得到预测噪音数据；
[0028]基于预测噪音数据和实际添加的噪音数据，对初始特征处理模型和初始图像去噪模型进行训练，直至得到训练好的特征处理模型和图像去噪模型；
[0029]其中，特征处理模型用于对初始图像进行特征提取，得到初始图像的图像特征信息。
[0030]在一些可能的实施例中，获取初始图像的图像特征信息，包括：
[0031]获取初始对象掩膜图像；
[0032]基于初始对象掩膜图像，确定初始图像中的初始对象区域；
[0033]对初始对象区域进行特征提取，得到初始对象的初始姿态信息；
[0034]基于初始对象掩膜图像，将初始图像中除初始对象外的区域确定为背景区域；
[0035]对背景区域进行背景语义提取，得到初始图像的初始背景语义信息。
[0036]在一些可能的实施例中，获取目标对象的对象特征信息，包括：
[0037]获取目标对象的描述信息；描述信息包括图片描述信息、文本描述信息、音频描述信息中的任一种；
[0038]根据特征编码模型对目标对象的描述信息进行特征编码，得到对象特征信息。
[0039]在一些可能的实施例中，特征编码模型的训练方式，包括：
[0040]获取多个训练样本对；多个训练样本对中每个训练样本对包括训练对象的第一描述信息和训练对象的第二描述信息；
[0041]获取第二初始训练模型；
[0042]根据第二初始训练模型对每个训练样本对中的第一描述信息进行特征编码，得到每个训练样本对的第一特征编码；基于每个训练样本对的第一特征编码，得到第一特征编码集合；
[0043]根据第二初始训练模型对每个训练样本对中的第二描述信息进行特征编码，得到
每个训练样本对中的第二特征编码；基于每个训练样本对的第二特征编码，得到第二特征编码集合；
[0044]基于第一特征编码集合中每个第一特征编码和第二特征编码集合中每个第二特征编码之间的相似度信息，对第二初始训练模型进行训练，直至得到特征编码模型。
[0045]根据本公开实施例的第二方面，提供一种图像生成方法，包括：
[0046]显示图像合成页面；图像合成页面包括第一展示区域、第二展示区域和第三展示区域；第一展示区域内显示有初始图像；第二展示区域内显示有目标对象的图像；
[0047]响应于合成指令，在第三展示区域内显示基于去除初始图像中的初始对象后的初始图像和目标对象合成得到的目标图像；目标图像的背景语义信息与初始图像的初始背景语义信息相匹配，目标图像中的目标对象的姿态与初始对象的初始姿态信息相匹配。
[0048]在一些可能的实施例中，方法还包括：
[0049]响应于作用于第一展示区域的触发指令，将被选中的初始图像显示在第一展示区域；
[0050]响应于作用于第二展示区域的目标对象选择指令，将被选中的目标对象的图像显示在第二展示区域。
[0051]在一些可能的实施例中，图像合成页面中包括第一操作控件，方法还包括：
[0052]响应于针对第一操作控件的操作指令，启动擦除功能，并基于擦除功能遮蔽在第一展示区域内显示的初始图像中的初始对象。
[0053]在一些可能的实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：获取初始图像的图像特征信息；所述图像特征信息包括所述初始图像中的初始对象的初始姿态信息和所述初始图像的初始背景语义信息；获取目标对象的对象特征信息；利用所述对象特征信息和所述图像特征信息对噪声图像进行合成处理，得到包含所述目标对象的目标图像；所述噪声图像是对所述初始图像添加高斯噪声得到的；所述目标图像的背景语义信息与所述初始背景语义信息相匹配，所述目标图像中的目标对象的姿态与所述初始姿态信息相匹配。2.根据权利要求1所述的图像生成方法，其特征在于，所述利用所述对象特征信息和所述图像特征信息对噪声图像进行合成处理，得到包含所述目标对象的目标图像，包括：将所述对象特征信息和所述图像特征信息作为引导信息；基于所述引导信息对所述噪声图像进行多次去噪处理，得到去噪图像；直至所述去噪图像中包含所述目标对象和所述初始图像的初始背景，将所述去噪图像作为所述目标图像。3.根据权利要求2所述的图像生成方法，其特征在于，所述基于所述引导信息对所述噪声图像进行多次去噪处理，得到去噪图像，包括：通过图像去噪模型，对所述引导信息和所述噪声图像进行处理，预测所添加的噪音数据；根据所述噪音数据、所述噪声图像和所述图像去噪模型的模型超参数，确定去噪图像分布参数；所述去噪图像分布参数包括均值和方差；基于所述去噪图像分布参数从标准高斯分布中采样，得到所述去噪图像。4.根据权利要求2所述的图像生成方法，其特征在于，所述对象特征信息的数据维度不同于所述图像特征信息的数据维度；所述将所述对象特征信息和所述图像特征信息作为引导信息，包括：将所述对象特征信息和所述图像特征信息进行特征融合，得到融合后的特征信息；所述融合后的特征信息的数据维度满足预设数据维度；将所述融合后的特征信息作为所述引导信息。5.根据权利要求3所述的图像生成方法，其特征在于，所述图像去噪模型的训练方式，包括：获取初始训练图像；所述初始训练图像包括初始训练对象；获取所述初始训练对象的对象训练特征信息；获取第一初始训练模型；所述第一初始训练模型包括初始特征处理模型、图像加噪模块和初始图像去噪模型；根据所述图像加噪模块，对所述初始训练图像添加符合高斯分布的噪音数据，得到对应的训练噪声图像；根据所述初始特征处理模型，获取所述初始训练图像的图像训练特征信息；所述图像训练特征信息包括所述初始训练对象的初始姿态信息和所述初始训练图像的初始背景语义信息；基于所述训练噪声图像、所述对象训练特征信息和所述图像训练特征信息，利用所述
初始图像去噪模型得到预测噪音数据；基于所述预测噪音数据和实际添加的噪音数据，对所述初始特征处理模型和所述初始图像去噪模型进行训练，直至得到训练好的特征处理模型和所述图像去噪模型；其中，所述特征处理模型用于对所述初始图像进行特征提取，得到所述初始图像的图像特征信息。6.根据权利要求1所述的图像生成方法，其特征在于，所述获取初始图像的图像特征信息，包括：获取初始对象掩膜图像；基于所述初始对象掩膜图像，确定所述初始图像中的初始对象区域；对所述初始对象区域进行特征提取，得到所述初始对象的初始姿态信息；基于所述初始对象掩膜图像，将所述初始图像中除所述初始对象外的区域确定为背景区域；对所述背景区域进行背景语义提取，得到所述初始图像的初始背景语义信息。7.根据权利要求1
‑
6任一所述的图像生成方法，其特征在于，所述获取目标对象的对象特征信息，包括：获取所述目标对象的描述信息；所述描述信息包括图片描述信息、文本描述信息、音频描述信息中的任一种；根据特征编码模型对所述目标对象的描述信息进行特征编码，得到所述对象特征信息。8.根据权利要求7所述的图像生成方法，其特征在于，所述特征编码模型的训练方式，包括：获取多个训练样本对；每个训...

【专利技术属性】
技术研发人员：陈瑞，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：