【技术实现步骤摘要】
本专利技术属于图像处理，具体涉及一种基于分阶段引导扩散采样的中国水墨画风格迁移方法。
技术介绍
1、图像风格迁移技术是指将风格图片的风格样式迁移到指定的内容图像上，实现从一个图像域到另一个图像域的转换，在艺术图像生成等多个领域都有广泛的应用。例如，用户可以根据自己的兴趣将日常的照片转换为指定的动漫风格。图像风格迁移的一个主要挑战就是在保持内容语义基本不变的条件下生成与目标风格逼近的图像。早期的风格迁移方法大都是通过神经网络提取风格图像的色彩、纹理以及局部形状等风格信息，然后再通过融合模块将风格信息与内容图像的内容信息相结合，从而生成新的风格化图像。gatys等人首次在风格迁移领域引入了神经网络方法，通过反复迭代内容图像本身，同时最小化内容损失以及风格损失实现内容与风格的融合。由于gatys等人的方法需要消耗较长的时间，ulyanov等人提出了使用前馈神经网络实现快速风格迁移的方法，这种做法由于具有较高的生成效率以及更强的实用性逐渐成为风格迁移的主流生成模式。adain，wct以及cast等方法通过使用更好的特征提取模块与特征融合模块取得了更好的生成效果与更高的生成效率。
2、然而，一般的基于特征提取与融合的生成方法无法在特定的风格领域内发挥较好的效果，如动漫风格以及油画风格等。针对这个问题，cartoongan与animegan等方法通过生成对抗网络实现了现实图像到动漫风格的高质量转换，其效果远超一般的前馈神经网络方法；koto等针对油画风格迁移任务提出了一种基于可微笔触渲染器的生成方法，生成的油画笔触效果极佳。因此
3、经检索，公开号为cn113313625b的中国专利文献公开了一种水墨画艺术风格转换方法、系统、计算机设备及存储介质，其在cyclegan骨架的基础上构建了不对称循环一致性生成对抗网络模型，输入真实的自然图像到生成器中输出水墨画图像；使用显著性边缘损失函数等损失训练整个生成对抗网络。尽管该方案能够实现真实自然图像转变为水墨画图像，但是却不能指定具体的水墨画风格，不适用于精细的个性化使用场景。
4、基于以上分析，现有技术需要一种针对中国水墨画领域且能实现个性化风格迁移的方法。
技术实现思路
1、本专利技术的目的在于克服传统技术中存在的无法迁移指定水墨画风格图像真实纹理的问题，提供一种基于分阶段引导扩散采样的中国水墨画风格迁移方法。本专利技术构建了一个包括内容、风格以及色彩等方面损失的分阶段引导扩散采样算法，用于在扩散模型采样生成过程中指导风格化图像的内容与风格生成，能够根据指定风格图像生成真实感强的对应水墨画风格纹理，从而能够满足用户个性化的需求。
2、为实现上述技术目的，达到上述技术效果，本专利技术是通过以下技术方案实现：
3、本专利技术提供一种基于分阶段引导扩散采样的中国水墨画风格迁移方法，包括如下步骤：
4、s1、利用公开的中国水墨画图像数据集，制作扩散模型去噪unet网络的训练数据集；
5、s2、依据步骤s1制作的数据集来对去噪unet网络进行训练，保存训练参数；
6、s3、构建一个包括内容、风格以及色彩方面损失的分阶段引导扩散采样算法，用于图像引导生成；
7、s4、将内容图像和风格图像作为网络的输入，利用步骤s2学习得到的参数以及步骤s3设计的采样算法得到风格化结果作为输出。
8、进一步地，步骤s1中使用公开的中国水墨画图像数据集制作扩散模型去噪unet训练数据集，制作过程为：剔除内容不清晰质量较差的图像，将剩余图像统一缩放至256*256大小。
9、进一步地，步骤s2中使用步骤s1中构建的训练数据集对扩散模型去噪unet网络进行训练，训练过程为：使用随机噪声(n)对训练数据(x)进行随机t次加噪得到含噪数据(xt)，然后使用unet网络对含噪数据进行噪声估计，对估计的噪声与真实的噪声计算均方差损失，用公式(1)表示如下：
10、l＝mse(unet(xt,t),n) (1)
11、再采用adam优化算法优化unet网络模型的参数，使用学习率衰减策略，通过最小化均方差损失来进行模型优化，用公式(2)表示如下：
12、
13、其中，vi+1表示本次的权重更新值，而vi表示上一次的权重更新值，而μ是上一次梯度值的权重，α是学习率，是梯度。
14、进一步地，步骤s3中构建的包括内容、风格以及色彩等方面损失的分阶段引导扩散采样算法，其中内容图像和风格图像作为输入分别提供内容指导信息与风格指导信息；
15、首先将内容图像通过扩散模型的加噪公式进行加噪处理，得到一个包含部分内容结构信息的含噪数据xt，xt服从分布，其中是超参，i是服从标准正态分布的随机噪声；
16、然后使用由步骤s2训练得到的unet网络进行噪声估计得到xt对应的噪声∈t并进行一次去噪得到下一时刻的初步的数据x't-1；在这之后使用估计公式在t时刻直接估计干净的输出图像然后将估计的图像与输入的内容图像计算内容方面的损失，与风格图像计算色彩方面的损失，再根据时段判断是否计算风格纹理方面的损失；
17、最后使用pytorch自动求导工具从损失进行梯度回传得到对应于xt的梯度让x't-1减去这个梯度从而得到修正后的xt-1，至此完成一次迭代去噪，迭代完成后就能够得到目标风格化图像，同时包含内容图像的内容信息与风格图像的风格信息。
18、进一步地，步骤s3中构建的损失驱动的采样算法共有三个损失函数，分别是：
19、内容结构与图像细节损失函数，用于计算风格化图像与内容图像在内容方面的差异；
20、水墨风格纹理损失函数，用于计算风格化图像与风格图像在纹理方面的差异；
21、水墨色彩损失函数，用于计算风格化图像与风格图像在色彩方面的差异；
22、进一步地，在内容结构与图像细节损失函数上，同时使用基于预训练visiontransformer(vit)的多头自注意力的keys信息、基于预训练vgg网络的特征图信息以及基于预训练hed网络的图像边缘信息；内容结构与图像细节损失函数用公式(3)表达:
23、lcon＝lvitc+lvggc+lhed
24、lvitc＝||sl(xc)-sl(x)||2,
25、
26、lhed＝||hed(xc)-hed(x)||2 (3)
27、其中和分别是vit第l层的keys中的第i和第j个key，cos()计算这两个数据的余弦相似度，xc为内容图像，x为风格化图像；vgg(x)i是指图像x在vgg网络中第i层的特征图；hed(x)是图像x在hed网络中的输出，为边缘图。
28、进一步地，在水墨风格纹理损失函数中，同时使用基于预训练vit的分类token信息以及基于vgg网络特征图的本文档来自技高网...
【技术保护点】
1.基于分阶段引导扩散采样的中国水墨画风格迁移方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于分阶段引导扩散采样的中国水墨画风格迁移方法，其特征在于，步骤S1中使用公开的中国水墨画图像数据集制作扩散模型去噪Unet训练数据集，制作过程为：剔除内容不清晰质量较差的图像，将剩余图像统一缩放至256*256大小。
3.根据权利要求1所述的基于分阶段引导扩散采样的中国水墨画风格迁移方法，其特征在于，步骤S2中使用步骤S1中构建的训练数据集对扩散模型去噪Unet网络进行训练，训练过程为：使用随机噪声(n)对训练数据(x)进行随机t次加噪得到含噪数据(xt)，然后使用Unet网络对含噪数据进行噪声估计，对估计的噪声与真实的噪声计算均方差损失，用公式(1)表示如下：
4.根据权利要求1所述的基于分阶段引导扩散采样的中国水墨画风格迁移方法，其特征在于，步骤S3中构建的包括内容、风格以及色彩等方面损失的分阶段引导扩散采样算法，其中内容图像和风格图像作为输入分别提供内容指导信息与风格指导信息；
5.根据权利要求4所述的基于分阶段引导扩散采
6.根据权利要求5所述的基于分阶段引导扩散采样的中国水墨画风格迁移方法，其特征在于，在内容结构与图像细节损失函数上，同时使用基于预训练Vision Transformer(ViT)的多头自注意力的Keys信息、基于预训练VGG网络的特征图信息以及基于预训练HED网络的图像边缘信息；内容结构与图像细节损失函数用公式(3)表达:
7.根据权利要求5所述的基于分阶段引导扩散采样的中国水墨画风格迁移方法，其特征在于，在水墨风格纹理损失函数中，同时使用基于预训练ViT的分类token信息以及基于VGG网络特征图的Gram矩阵信息；水墨风格纹理损失函数用公式(4)表达：
8.根据权利要求5所述的基于分阶段引导扩散采样的中国水墨画风格迁移方法，其特征在于，在水墨色彩损失函数中，计算风格图像与风格化图像在RGB色彩空间上均值与方差的区别；水墨色彩损失函数用公式(5)表达：
...【技术特征摘要】
1.基于分阶段引导扩散采样的中国水墨画风格迁移方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于分阶段引导扩散采样的中国水墨画风格迁移方法，其特征在于，步骤s1中使用公开的中国水墨画图像数据集制作扩散模型去噪unet训练数据集，制作过程为：剔除内容不清晰质量较差的图像，将剩余图像统一缩放至256*256大小。
3.根据权利要求1所述的基于分阶段引导扩散采样的中国水墨画风格迁移方法，其特征在于，步骤s2中使用步骤s1中构建的训练数据集对扩散模型去噪unet网络进行训练，训练过程为：使用随机噪声(n)对训练数据(x)进行随机t次加噪得到含噪数据(xt)，然后使用unet网络对含噪数据进行噪声估计，对估计的噪声与真实的噪声计算均方差损失，用公式(1)表示如下：
4.根据权利要求1所述的基于分阶段引导扩散采样的中国水墨画风格迁移方法，其特征在于，步骤s3中构建的包括内容、风格以及色彩等方面损失的分阶段引导扩散采样算法，其中内容图像和风格图像作为输入分别提供内容指导信息与风格指导信息；
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。