本发明专利技术提供一种图像生成方法、装置和电子设备，涉及图像生成技术领域，解决了如何生成与目标文本的文本内容相匹配的目标无噪声图像的问题。该方法包括：可以先获取待处理的噪声图像、噪声图像对应的目标文本、目标加噪阶段和随机非空文本；并基于噪声图像、目标文本、目标加噪阶段以及随机非空文本，对噪声图像进行去噪处理，生成目标无噪声图像；其中，目标无噪声图像的图像内容与目标文本的文本内容的匹配度大于第一阈值。这样将目标文本和随机非空文本作为去噪处理过程中的引导信息，对噪声图像进行去噪处理，可以生成与目标文本的文本内容相匹配的目标无噪声图像，从而提高了生成的目标无噪声图像的准确度。的目标无噪声图像的准确度。的目标无噪声图像的准确度。
【技术实现步骤摘要】
图像生成方法、装置和电子设备
[0001]本专利技术涉及图像生成
，尤其涉及一种图像生成方法、装置和电子设备。
技术介绍
[0002]在扩散模型场景下的图像去噪采样过程中，通常情况下，扩散模型生成的图像与目标文本的匹配度较差。
[0003]因此，如何生成与目标文本的文本内容相匹配的目标无噪声图像，从而提高生成的目标无噪声图像的准确度是本领域技术人员亟待解决的问题。
技术实现思路
[0004]本专利技术提供一种图像生成方法，可以生成与目标文本的文本内容相匹配的目标无噪声图像，从而提高了生成的目标无噪声图像的准确度。
[0005]本专利技术提供一种图像生成方法，该图像生成方法可以包括：获取待处理的噪声图像、所述噪声图像对应的目标文本和目标加噪阶段和随机非空文本。
[0006]基于所述噪声图像、所述目标文本、所述目标加噪阶段以及所述随机非空文本，对所述噪声图像进行去噪处理，生成目标无噪声图像；其中，所述目标无噪声图像的图像内容与所述目标文本的文本内容的匹配度大于第一阈值。
[0007]根据本专利技术提供的一种图像生成方法，所述基于所述噪声图像、所述目标文本、所述目标加噪阶段以及所述随机非空文本，对所述噪声图像进行去噪处理，得到目标无噪声图像，包括：S1、将所述噪声图像、所述目标文本以及所述目标加噪阶段输入至扩散模型中的图像去噪模型中，得到第一参数；并将所述噪声图像、所述随机非空文本以及所述目标加噪阶段输入至所述图像去噪模型中，得到第二参数。
[0008]S2、根据所述第一参数所述第二参数，生成所述噪声图像在所述目标加噪阶段对应的无噪声图像。
[0009]S3、更新所述目标加噪阶段，判断更新后的加噪阶段是否等于第二阈值。
[0010]S4、在确定所述更新后的加噪阶段等于第二阈值的情况下，则将所述噪声图像在所述目标加噪阶段对应的无噪声图像，确定为所述目标无噪声图像。
[0011]S5、在确定所述更新后的加噪阶段大于所述第二阈值的情况下，则确定所述目标加噪阶段的前一次加噪阶段对应的噪声图像，并将所述前一次加噪阶段对应的噪声图像确定为所述待处理的噪声图像，将所述更新后的加噪阶段确定为所述目标加噪阶段，将新的随机非空文本确定为所述随机非空文本，重复执行上述S1
‑
S5，直至更新后的加噪阶段等于第二阈值，并将所述噪声图像在所述更新后的加噪阶段对应的无噪声图像，确定为所述目标无噪声图像。
[0012]根据本专利技术提供的一种图像生成方法，所述第一参数包括第一均值和第一方差，
所述第二参数包括第二均值，所述根据所述第一参数所述第二参数，生成所述噪声图像在所述目标加噪阶段对应的无噪声图像，包括：对所述第一均值和所述第二均值进行融合，得到对应的目标均值。
[0013]根据所述目标均值和所述第一方差，生成所述噪声图像在所述目标加噪阶段对应的无噪声图像。
[0014]根据本专利技术提供的一种图像生成方法，所述对所述第一均值和所述第二均值进行融合，得到对应的目标均值，包括：确定所述第一均值和所述第二均值的差值，并确定所述差值与其对应的权重之间的乘积。
[0015]将所述第二均值与所述乘积的和，确定为所述目标均值。
[0016]根据本专利技术提供的一种图像生成方法，所述确定所述目标加噪阶段的前一次加噪阶段对应的噪声图像，包括：根据所述噪声图像、所述噪声图像在所述目标加噪阶段对应的无噪声图像以及所述第一参数中的第一方差，生成所述前一次加噪阶段对应的噪声图像。
[0017]根据本专利技术提供的一种图像生成方法，所述根据所述噪声图像、所述噪声图像在所述目标加噪阶段对应的无噪声图像以及所述第一方差，生成所述前一次加噪阶段对应的噪声图像，包括：根据所述噪声图像、所述噪声图像在所述目标加噪阶段对应的无噪声图像，以及所述第一方差确定第三均值。
[0018]基于所述第一方差确定第二方差。
[0019]根据所述第三均值和所述第二方差，生成所述前一次加噪阶段对应的噪声图像。
[0020]根据本专利技术提供的一种图像生成方法，所述图像去噪模型是基于多个噪声图像样本、所述多个噪声图像样本各自对应的文本和加噪阶段，对初始扩散模型中的初始图像去噪模型进行训练得到的。
[0021]本专利技术还提供一种图像生成装置，该图像生成装置可以包括：获取单元，用于获取待处理的噪声图像、所述噪声图像对应的目标文本、目标加噪阶段和随机非空文本。
[0022]生成单元，用于基于所述噪声图像、所述目标文本、所述目标加噪阶段以及所述随机非空文本，对所述噪声图像进行去噪处理，生成目标无噪声图像；其中，所述目标无噪声图像的图像内容与所述目标文本的文本内容的匹配度大于第一阈值。
[0023]根据本专利技术提供的一种图像生成装置，所述生成单元，具体用于执行：S1、将所述噪声图像、所述目标文本以及所述目标加噪阶段输入至扩散模型中的图像去噪模型中，得到第一参数；并将所述噪声图像、所述随机非空文本以及所述目标加噪阶段输入至所述图像去噪模型中，得到第二参数。
[0024]S2、根据所述第一参数所述第二参数，生成所述噪声图像在所述目标加噪阶段对应的无噪声图像。
[0025]S3、更新所述目标加噪阶段，判断更新后的加噪阶段是否等于第二阈值。
[0026]S4、在确定所述更新后的加噪阶段等于第二阈值的情况下，则将所述噪声图像在所述目标加噪阶段对应的无噪声图像，确定为所述目标无噪声图像。
[0027]S5、在确定所述更新后的加噪阶段大于所述第二阈值的情况下，则确定所述目标加噪阶段的前一次加噪阶段对应的噪声图像，并将所述前一次加噪阶段对应的噪声图像确定为所述待处理的噪声图像，将所述更新后的加噪阶段确定为所述目标加噪阶段，将新的随机非空文本确定为所述随机非空文本，重复执行上述S1
‑
S5，直至更新后的加噪阶段等于第二阈值，并将所述噪声图像在所述更新后的加噪阶段对应的无噪声图像，确定为所述目标无噪声图像。
[0028]根据本专利技术提供的一种图像生成装置，所述第一参数包括第一均值和第一方差，所述第二参数包括第二均值，所述生成单元，具体用于对所述第一均值和所述第二均值进行融合，得到对应的目标均值；根据所述目标均值和所述第一方差，生成所述噪声图像在所述目标加噪阶段对应的无噪声图像。
[0029]根据本专利技术提供的一种图像生成装置，所述生成单元，具体用于确定所述第一均值和所述第二均值的差值，并确定所述差值与其对应的权重之间的乘积；将所述第二均值与所述乘积的和，确定为所述目标均值。
[0030]根据本专利技术提供的一种图像生成装置，所述生成单元，具体用于根据所述噪声图像、所述噪声图像在所述目标加噪阶段对应的无噪声图像以及所述第一参数中的第一方差，生成所述前一次加噪阶段对应的噪声图像。
[0031]根据本专利技术提供的一种图像生成装置，所述生成单元，具体用于根据所述噪声图像、所述噪声图像在所述目标加噪阶段对应的无噪声图像，以及所述第一方差确定第本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：获取待处理的噪声图像、所述噪声图像对应的目标文本和目标加噪阶段和随机非空文本；基于所述噪声图像、所述目标文本、所述目标加噪阶段以及所述随机非空文本，对所述噪声图像进行去噪处理，生成目标无噪声图像；其中，所述目标无噪声图像的图像内容与所述目标文本的文本内容的匹配度大于第一阈值。2.根据权利要求1所述的图像生成方法，其特征在于，所述基于所述噪声图像、所述目标文本、所述目标加噪阶段以及所述随机非空文本，对所述噪声图像进行去噪处理，生成目标无噪声图像，包括：S1、将所述噪声图像、所述目标文本以及所述目标加噪阶段输入至扩散模型中的图像去噪模型中，得到第一参数；并将所述噪声图像、所述随机非空文本以及所述目标加噪阶段输入至所述图像去噪模型中，得到第二参数；S2、根据所述第一参数所述第二参数，生成所述噪声图像在所述目标加噪阶段对应的无噪声图像；S3、更新所述目标加噪阶段，判断更新后的加噪阶段是否等于第二阈值；S4、在确定所述更新后的加噪阶段等于第二阈值的情况下，则将所述噪声图像在所述目标加噪阶段对应的无噪声图像，确定为所述目标无噪声图像；S5、在确定所述更新后的加噪阶段大于所述第二阈值的情况下，则确定所述目标加噪阶段的前一次加噪阶段对应的噪声图像，并将所述前一次加噪阶段对应的噪声图像确定为所述待处理的噪声图像，将所述更新后的加噪阶段确定为所述目标加噪阶段，将新的随机非空文本确定为所述随机非空文本，重复执行上述S1
‑
S5，直至更新后的加噪阶段等于第二阈值，并将所述噪声图像在所述更新后的加噪阶段对应的无噪声图像，确定为所述目标无噪声图像。3.根据权利要求2所述的图像生成方法，其特征在于，所述第一参数包括第一均值和第一方差，所述第二参数包括第二均值，所述根据所述第一参数所述第二参数，生成所述噪声图像在所述目标加噪阶段对应的无噪声图像，包括：对所述第一均值和所述第二均值进行融合，得到对应的目标均值；根据所述目标均值和所述第一方差，生成所述噪声图像在所述目标加噪阶段对应的无噪声图像。4.根据权利要求3所述的图像生成...
【专利技术属性】
技术研发人员：吴凌翔，王金桥，牛蕴方，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。