一种基于扩散模型生成图像的方法、设备和存储介质技术

本申请公开了一种基于扩散模型生成图像的方法、设备和存储介质。所述方法包括：从初始噪声分布中采集噪声图像；根据最优传输映射将所述噪声图像逆向传输至目标扩散步数处，以获得用于逆向扩散生成所述目标图像的最优初始扩散分布；以及基于所述最优初始扩散分布，利用预先训练完成的扩散模型执行逆向扩散操作，以生成所述目标图像。利用本申请的方案，能够在减少扩散步长提升效率的同时，避免模式混淆，提高生成图像的质量。提高生成图像的质量。提高生成图像的质量。

【技术实现步骤摘要】
一种基于扩散模型生成图像的方法、设备和存储介质


[0001]本申请一般涉及图像处理
更具体地，本申请涉及一种基于扩散模型生成图像的方法、设备和计算机可读存储介质。

技术介绍

[0002]扩散模型(Diffusion Model)是一类深层生成模型，其包括两个主要的过程域：正向扩散和逆向扩散(例如图1所示)。在正向扩散阶段，图像被逐渐引入噪声分布，直到图像成为完全随机噪声。在逆向扩散阶段，利用一系列马尔科夫链在每个时间步逐步去除噪声，从而从高斯噪声中恢复图像。
[0003]通常，在利用扩散模型生成图像时，需要数百或数千步的反扩散轨迹才能获得高质量的图像，这使得扩散模型的效率较为低。目前，已有通过知识蒸馏、调整方差以及去噪方程来设计扩散模型，以提升生成图像的效率和生成图像的质量。然而，前述方法无法确保在生成图像的效率和生成图像的质量方面都是最优，且前述方法在短步扩散内容易出现模式混淆，从而影响生成图像的质量。
[0004]有鉴于此，亟需提供一种基于扩散模型生成图像的方法方案，以便能够在减少扩散步长提升效率的同时，避免模式混淆本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于扩散模型生成图像的方法，包括：从初始噪声分布中采集噪声图像；根据最优传输映射将所述噪声图像逆向传输至目标扩散步数处，以获得用于逆向扩散生成所述目标图像的最优初始扩散分布；以及基于所述最优初始扩散分布，利用预先训练完成的扩散模型执行逆向扩散操作，以生成所述目标图像。2.根据权利要求1所述的方法，其中所述最优传输映射通过以下操作确定：给定图像样本并且构建辅助向量；基于给定的所述图像样本执行正向扩散操作来优化所述辅助向量；以及根据优化后的辅助向量确定所述最优传输映射。3.根据权利要求2所述的方法，其中给定的所述图像样本包含相应的分布信息，并且基于给定的所述图像样本执行正向扩散操作来优化所述辅助向量包括：基于给定的所述图像样本正向扩散多步，利用预先训练完成的扩散模型执行正向扩散操作获得多个数据集；提取所述目标扩散步数处的数据集，并在最终扩散步数处采集对应数据集中的白噪声分布；以及根据所述目标扩散步数处的数据集、所述白噪声分布和相应的分布信息来优化所述辅助向量。4.根据权利要求3所述的方法，其中根据所述目标扩散步数处的数据集、所述白噪声分布和相应的分布信息来优化所述辅助向量包括：根据所述目标扩散步数处的数据集和所述白噪声分布确定所述白噪声分布中的白噪声点在所述目标扩散步数处的数据集中的频数；基于所述频数和相应的分布信息确定所述辅助向量的梯度；以及基于所述辅助向量的梯度来优化所述辅助向量。5.根据权利要求4所述的方法，其中基于所述辅助向量的梯度来优化所述辅助向量包括：基于所述辅助向量的梯度不断优化所述辅助向量，并计算能量函数；以及响应于所述能量函数的能量值...

【专利技术属性】
技术研发人员：雷娜，李泽增，李声豪，罗钟铉，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：