一种基于扩散模型的图像风格化方法技术

本发明专利技术公开了一种基于扩散模型的图像风格化方法，包括以下步骤：S1，输入原始图像；S2，对原始图像分成上步骤和下步骤进行处理，上步骤和下步骤中均在前向过程中还原为初始高斯噪声图像；S3，将上步骤中的初始高斯噪声图像，在反向过程中以噪扩散隐式模型DDIM逐步去噪，得到原始去噪图像，然后提取出空间特征S4，将下步骤中的初始高斯噪声图像，在反向过程中以文本条件稳定扩散模型LDM逐步去噪，同时加入步骤S3中得到的空间特征及输入引导文本，输出风格图像。本发明专利技术提高了原始图像结构的保真度，减轻原始图像不必要外观泄漏的问题，提高风格图像的风格化程度。

【技术实现步骤摘要】

本专利技术涉及图像处理，具体地说是一种基于扩散模型的图像风格化方法。

技术介绍

1、图像风格迁移在实践中很有吸引力，因为它允许业余爱好者将现实世界的照片转换成模仿艺术品风格的渲染图，而不需要任何专业技能。之前的的风格迁移方法基于提取的风格纹理，将风格图像的语义纹理迁移到内容图像并生成生动的艺术品。

2、gan(对抗神经网络)的发展为图像风格迁移技术带来了新的思路。gan可以生成逼真的图像，将gan(对抗神经网络)技术与图像风格迁移相结合，可以实现更高质量、更逼真的风格迁移效果。基于深度学习的开创性方法提出了各种基于gan(对抗神经网络)的框架，以鼓励输出图像符合目标域的分布。然而，这些方法需要来自源域和目标域的示例图像数据集，并且通常需要为每个风格迁移任务(例如，马到斑马、白天到晚上、夏天到冬天)从头开始训练。同时基于gan的方法依赖示例图像数据集鉴别器，在示例图像数据集不合适的情况下无法生成令人满意的结果。

3、随着基于扩散模型的方法的发展，他们在视觉任务上展示了惊人的结果，特别是在生成艺术品方面。如今，基于扩散模型的生成器可以合本文档来自技高网...

【技术保护点】

1.一种基于扩散模型的图像风格化方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于扩散模型的图像风格化方法，其特征在于，所述扩散隐式模型DDIM是概率生成模型，其中图像是通过从初始高斯噪声图像xT～N(0,I)中逐步去除噪声来生成的，在前向过程中，高斯噪声逐渐添加到干净的图像x0中,公式表达如下：

3.根据权利要求2所述的基于扩散模型的图像风格化方法，其特征在于，对图像还进行反向过程处理，反向过程的目的是逐渐对xT进行去噪，其中每一步都会获得更清晰的图像，这个过程是通过预测添加噪声z的神经网络∈θ(xt,t)来实现，训练完成后，反向过程的每一步都包括将...

【技术特征摘要】

1.一种基于扩散模型的图像风格化方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于扩散模型的图像风格化方法，其特征在于，所述扩散隐式模型ddim是概率生成模型，其中图像是通过从初始高斯噪声图像xt～n(0,i)中逐步去除噪声来生成的，在前向过程中，高斯噪声逐渐添加到干净的图像x0中,公式表达如下：

3.根据权利要求2所述的基于扩散模型的图像风格化方法，其特征在于，对图像还进行反向过程处理，反向过程的目的是逐渐对xt进行去噪，其中每一步都会获得更清晰的图像，这个过程是通过预测添加噪声z的神经网络∈θ(xt,t)来实现，训练完成后，反向过程的每一步都包括将∈θ应用于当前xt，并去除高斯噪声扰动以获得更清晰干净的xt-1。

4.根据权利要求3所述的基于扩散模型的图像风格化方法，其特征在于，所...

【专利技术属性】
技术研发人员：叶武剑，汪鹏，刘怡俊，钟表，韩超，丁发海，张军博，陈沛宇，
申请(专利权)人：广东美晨通讯有限公司，
类型：发明
国别省市：