图像生成方法、图像去噪模型的训练方法和设备技术

本发明专利技术提供一种图像生成方法、图像去噪模型的训练方法和设备，涉及图像生成技术领域，解决了如何生成与引导信息的信息内容相匹配的目标无噪声图像的问题。该方法包括：先获取待处理的噪声图像、噪声图像对应的引导信息、目标加噪阶段和空引导信息；引导信息包括语义轮廓图像，或者，包括语义轮廓图像和目标文本；并基于噪声图像、引导信息、目标加噪阶段及空引导信息，对噪声图像进行去噪处理，生成目标无噪声图像；其中，目标无噪声图像的图像内容与引导信息的信息内容的匹配度大于第一阈值。这样结合引导信息和空引导信息对噪声图像进行去噪处理，可以生成与引导信息的信息内容相匹配的目标无噪声图像，提高了生成的目标无噪声图像的准确度。声图像的准确度。声图像的准确度。

【技术实现步骤摘要】
图像生成方法、图像去噪模型的训练方法和设备


[0001]本专利技术涉及图像生成
，尤其涉及一种图像生成方法、图像去噪模型的训练方法和设备。

技术介绍

[0002]在扩散模型场景下的图像去噪采样过程中，通常是将语义轮廓图像作为引导信息，基于生成对抗网络（Generative adversarial nets，GAN）生成与语义轮廓图像相匹配的目标无噪声图像，但是，生成的目标无噪声图像与语义轮廓图像的匹配度较差。
[0003]因此，如何生成与引导信息的信息内容相匹配的目标无噪声图像，从而提高生成的目标无噪声图像的准确度是本领域技术人员亟待解决的问题。

技术实现思路

[0004]本专利技术提供一种图像生成方法、图像去噪模型的训练方法和设备，可以生成与引导信息的信息内容相匹配的目标无噪声图像，从而提高了生成的目标无噪声图像的准确度。
[0005]本专利技术提供一种图像生成方法，该图像生成方法可以包括：获取待处理的噪声图像、所述噪声图像对应的引导信息、目标加噪阶段和空引导信息；其中，所述引导信息包括语义轮廓图像；或者本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：获取待处理的噪声图像、所述噪声图像对应的引导信息、目标加噪阶段和空引导信息；其中，所述引导信息包括语义轮廓图像；或者，所述引导信息包括语义轮廓图像和目标文本；基于所述噪声图像、所述引导信息、所述目标加噪阶段以及所述空引导信息，对所述噪声图像进行去噪处理，生成目标无噪声图像；其中，所述目标无噪声图像的图像内容与所述引导信息的信息内容匹配度大于第一阈值。2.根据权利要求1所述的图像生成方法，其特征在于，所述基于所述噪声图像、所述引导信息、所述目标加噪阶段以及所述空引导信息，对所述噪声图像进行去噪处理，生成目标无噪声图像，包括：S1、将所述噪声图像、所述引导信息以及所述目标加噪阶段输入至扩散模型中的图像去噪模型中，得到第一参数；并将所述噪声图像、所述空引导信息以及所述目标加噪阶段输入至所述图像去噪模型中，得到第二参数；S2、根据所述第一参数所述第二参数，生成所述噪声图像在所述目标加噪阶段对应的无噪声图像；S3、更新所述目标加噪阶段，判断更新后的加噪阶段是否等于第二阈值；S4、在确定所述更新后的加噪阶段等于第二阈值的情况下，则将所述噪声图像在所述目标加噪阶段对应的无噪声图像，确定为所述目标无噪声图像；S5、在确定所述更新后的加噪阶段大于所述第二阈值的情况下，则确定所述目标加噪阶段的前一次加噪阶段对应的噪声图像，并将所述前一次加噪阶段对应的噪声图像确定为所述待处理的噪声图像，将所述更新后的加噪阶段确定为所述目标加噪阶段，重复执行上述S1
‑
S5，直至更新后的加噪阶段等于第二阈值，并将所述噪声图像在所述更新后的加噪阶段对应的无噪声图像，确定为所述目标无噪声图像。3.根据权利要求2所述的图像生成方法，其特征在于，所述第一参数包括第一均值和第一方差，所述第二参数包括第二均值，所述根据所述第一参数所述第二参数，生成所述噪声图像在所述目标加噪阶段对应的无噪声图像，包括：对所述第一均值和所述第二均值进行融合，得到对应的目标均值；根据所述目标均值和所述第一方差，生成所述噪声图像在所述目标加噪阶段对应的无噪声图像。4.根据权利要求3所述的图像生成方法，其特征在于，所述对所述第一均值和所述第二均值进行融合，得到对应的目标均值，包括：确定所述第一均值和所述第二均值的差值，并确定所述差值与其对应的权重之前的乘积；将所述第二均值与所述乘积的和，确定为所述目标均值。5.根据权利要求2
‑
4任一项所述的图像生成方法，其特征在于，所述确定所述目标加噪阶段的前一次加噪阶段对应的噪声图像，包括：根据所述噪声图像、所述噪声图像在所述目标加噪阶段对应的无噪声图像以及所述第一参数中的第一方差，生成所述前一次加噪阶段对应的噪声图像。6.根据权利要求5所述的图像生成方法，其特征在于，所述根据所述噪声图像、所述噪
声图像在所述目标加噪阶段对应的无噪声图像以及所述第一方差，生成所述前一次加噪阶段对应的噪声图像，包括：根据所述噪声图像、所述噪声图像在所述目标加噪阶段对应的无噪声图像，以及所述第一方差确定第三均值；基于所述第一方差确定第二方差；根据所述第三均值和所述第二方差，生成所述前一次加噪阶段对应的噪声图像。7.一种图像去噪模型的训练方法，其特征在于，包括：获取多个干净图像样本、所述多个干净图像样本各自对应的引导信息和加噪阶段、以及各自在所述加噪阶段对应的噪声图像样本；其中，所述多个干净图像样本包括对应的引导信息为非空引导信息的干净图像样本和对应的引导信息为空引导信息的干净图像样本，所述引导信息包括语义轮廓图像；或者，所述引导信息包括语义轮廓图像和目标文本；将所述多个干净图像样本各自在所述加噪阶段对应的噪声图像样本、所述引导信息和所述加噪阶段输入至初始扩散模型中的初始图像去噪模型中，得到所述多个干净图像样本在所述加噪阶段各自对应的噪声图像样本所包含噪声的均值和方差；根据所述多个干净图像样本，以及所述多个干净图像样本在所述加噪阶段各自对应的噪声图像样本所包含噪声的均值和方差，对所述初始图像去噪模型的模型参数进行更新，以得到图像去噪模型。8.根据权利要求7所述的图像去噪模型的训练方法，其特征在于，所述根据所述多个干净图像样本，以及所述多个干净图像样本在所述加噪阶段各自对应的噪声图像样本所包含噪声的均值和方差，对所述初始图像去噪模型的模型参数进行更新，包括：根据所述多个干净图像样本在所述加噪阶段各自对应的噪声图像样本所包含噪声的均值和方差，得到所述多个干净图像样本在所述加噪阶段各自对应的预测干净图像样本；根据所述多个干净图像样本、以及所述多个干净图像样本在所述加噪阶段各自对应的预测干净图像样本，对所述初始图像去噪模型的模型参数进行更新。9.根据权利要求8所述的图像去噪模型的训练方法，其特征在于，所述根据所述多个干净图像样本、以及所述多个干净图像样本在所述加噪阶段各自对应的预测干净图像样本，对所述初始图像去噪模型的模型参数进行更新，包括：针对各干净图像样本，根据所述干净图像样本的均值和所述干净图像样本在所述加噪阶段对应的预测干净图像样本的均值，构造所述干净图像样本对应的均方差损失；并根据所述加噪阶段的取值和所述干净图像样本在所述加噪阶段对应的噪声图像样本，构造所述干净图像样...

【专利技术属性】
技术研发人员：吴凌翔，王金桥，牛蕴方，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：