风格化图像生成方法、装置及图像处理设备制造方法及图纸

本申请实施例提供一种风格化图像生成方法、装置及图像处理设备，通过变分自编码器对待转换图像进行处理得到的所述待转换图像的各特征维度的隐向量的均值和方差，然后根据所述各特征维度的隐向量的均值和方差得到所述待转换图像在各特征维度的目标空间隐向量，最后将所述目标空间隐向量输入训练好的风格化图像生成器进行图像风格化转换，生成具有设定图像风格的风格化图像。如此，通过变分自编码器对输入图像进行多尺度特征提取，并根据特征提取结果先计算输入图像各特征维度的隐向量的均值和方差，再基于均值和方差采样获得目标空间的隐向量生成相应的风格化图像。如此，可以提升生成的风格化图像的图像质量。以提升生成的风格化图像的图像质量。以提升生成的风格化图像的图像质量。

【技术实现步骤摘要】
风格化图像生成方法、装置及图像处理设备


[0001]本申请涉及图形图像处理相关
，具体而言，涉及一种风格化图像生成方法、装置及图像处理设备。

技术介绍

[0002]图像风格化又可以叫做图像风格迁移，是一种可以将具有特色(如艺术特色)的图像风格迁移到另一张图像上的技术，使原有的图像保留原始内容的同时，具有独特的艺术风格，如卡通、漫画、油画、水彩、水墨等风格。例如，在图像风格化技术的一种典型的应用场景中，可以将用户输入的一张人脸图片进行风格化转换后输出一张特定风格的人脸图片，例如，可以将用户输入的人脸图片进行风格化转换后输出迪士尼风格、漫威风格、动漫风格等的人脸图片，以满足用户的特定需求。
[0003]基于用户对图像风格化需求的逐渐提升，使得如何提高图像风格化转换所得到的风格化图片的质量一直以来是本领域相关人员一直致力于研究的课题。

技术实现思路

[0004]基于以上内容，为了解决上述的至少部分问题，第一方面，本申请实施例提供一种风格化图像生成方法，所述方法包括：
[0005]将待转换图像输入事先训练得到的变分自编码器中，通过所述变分自编码器对所述待转换图像进行处理得到的所述待转换图像的各特征维度的隐向量的均值和方差；
[0006]根据所述各特征维度的隐向量的均值和方差得到所述待转换图像在各特征维度的目标空间隐向量；
[0007]将所述目标空间隐向量输入训练好的风格化图像生成器进行图像风格化转换，生成具有设定图像风格的风格化图像。
[0008]在本实施例的一种可能的实施方式中，根据所述各特征维度的隐向量的均值和方差得到所述待转换图像在各特征维度的目标空间隐向量，包括：
[0009]通过所述变分自编码器对所述各特征维度的隐向量的均值和方差进行采样，得到所述待转换图像在各特征维度的第一空间隐向量；
[0010]对所述待转换图像在各特征维度的第一空间隐向量进行修正，得到所述待转换图像在各特征维度的第二空间隐向量，作为所述目标空间隐向量。
[0011]其中，对所述待转换图像在各特征维度的第一空间隐向量进行修正的修正公式为：
[0012][0013]其中，s+为所述第二空间隐向量，s为所述第一空间隐向量，x代表输入图像，ε
θ
代表所述变分自编码器，代表所述风格化图像生成器，所述代表所述风格化图像生成器生成的风格化图像和所述待转换图像在像素级别保持一致，
代表所述待转换图像的语义特征损失，F代表VGG网络，用于计算待转换图像从第一空间进行图像生成的感知相似度，w
vgg
是预设的权重参数，代表所述第二空间隐向量与第一空间隐向量的初始值s0的差距需要在设定的范围内，代表以s0为初始值做小幅度的微调并迭代设定次数。
[0014]在本实施例的一种可能的实施方式中，所述变分自编码器包括依次级联的多个编码层、依次级联的多个解码层以及分别与各所述解码层连接的全连接层，每个编码层与一个对应的解码层连接，每个所述解码层与一个所述全连接层连接；
[0015]所述待转换图像从多个所述编码层中的首层编码层输入，每个所述编码层依次对所述待转换图像进行降尺度的编码处理得到编码特征图并将得到的编码特征图输出给下一层的编码层以及与该编码层对应的解码层；
[0016]所述首层解码层的输入为其对应的编码层的输出，其他各解码层的输入为其上一层解码层的输出加上其对应的编码层的输出，各所述解码层分别对其输入的数据进行解码处理输出不同维度大小的特征图，并通过所述全连接层对该特征图进行处理，得到所述待转换图像对应的不同特征维度的隐向量的均值和方差；
[0017]其中，多个所述解码层中，从首层解码层开始，各级解码层输出的特征图的维度逐级减小。
[0018]在本实施例的一种可能的实施方式中，所述方法还包括对所述变分自编码器进行训练的步骤，该步骤包括：
[0019]获取第一训练数据集，所述第一训练数据集包括多张样本图像；
[0020]将所述样本图像依次输入所述变分自编码器，得到所述样本图像对应的目标空间隐向量；
[0021]将样本图像对应的所述目标空间隐向量输入所述训练好的风格化图像生成器，得到所述样本图像对应的风格化图像；
[0022]根据所述风格化图像和所述样本图像计算得到所述变分自编码器的损失函数，并根据所述损失函数调整所述变分自编码器的模型参数，直到满足训练收敛条件。
[0023]在本实施例的一种可能的实施方式中，所述损失函数包括像素级别损失、语义相似度损失、身份信息损失、所述损失函数的表达式如下：
[0024]L＝L
rec
+W
per
L
per
+W
kl
L
arc
，其中：
[0025]代表所述像素级别损失，x为所述样本图像，ε
θ
代表所述变分自编码器，代表训练好的风格化图像生成器，L2代表所述样本图像与所述风格化图像生成器生成的风格化图像之间的图像距离；
[0026]代表所述语义相似度损失，L
lpips
代表通过语义提取模型对样本图像和生成的样本图像的风格化图像分别进行语义特征提取后计算得到的二者之间的语义特征相似度；
[0027]代表所述身份信息损失，L
arc
代表分别对所述样本图像以及
生成的所述样本图像的风格化图像进行身份信息识别得到的身份特征之间的相似度；
[0028]所述w
per
、w
id
、w
kl
分别是预先为所述L
per
、L
id
、L
arc
设定的权重参数。
[0029]在本实施例的一种可能的实施方式中，所述方法还包括预先对所述风格化图像生成器训练的步骤，该步骤包括：
[0030]获取风格化图像数据集，所述风格化图像数据集包括多张风格化样本图像；
[0031]将所述风格化样本图像依次输入待训练的风格化图像生成器，得到所述风格化样本图像对应的生成图像，并计算得到所述风格化图像生成器的损失函数值；
[0032]根据所述损失函数值对所述风格化图像生成器的网络参数进行优化，直到计算得到的损失函数值满足训练收敛条件，得到训练好的风格化图像生成器；
[0033]其中，所述风格化图像生成器包括分别与不同图像分辨率对应的卷积层，在对所述风格化图像生成器的网络参数进行优化时，与小于设定图像分辨率对应的卷积层的网络参数保持不变。
[0034]其中，所述风格化图像生成器的损失函数值的计算公式如下：
[0035]其中：
[0036][0037]x～p
d
代表所述风格化图像数据集的分布，表示通过所述风格化图像生成器根据各所述风格化样本图像生成的风格化图像组成的数据集的分布，D是判别器，表示对风格化样本图像的判别器梯度计算算子本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种风格化图像生成方法，其特征在于，应用于图像处理设备，所述方法包括：将待转换图像输入事先训练得到的变分自编码器中，通过所述变分自编码器对所述待转换图像进行处理得到的所述待转换图像的各特征维度的隐向量的均值和方差；根据所述各特征维度的隐向量的均值和方差得到所述待转换图像在各特征维度的目标空间隐向量；将所述目标空间隐向量输入训练好的风格化图像生成器进行图像风格化转换，生成具有设定图像风格的风格化图像。2.根据权利要求1所述的风格化图像生成方法，其特征在于，根据所述各特征维度的隐向量的均值和方差得到所述待转换图像在各特征维度的目标空间隐向量，包括：通过所述变分自编码器对所述各特征维度的隐向量的均值和方差进行采样，得到所述待转换图像在各特征维度的第一空间隐向量；对所述待转换图像在各特征维度的第一空间隐向量进行修正，得到所述待转换图像在各特征维度的第二空间隐向量，作为所述目标空间隐向量。3.根据权利要求2所述的风格化图像生成方法，其特征在于，对所述待转换图像在各特征维度的第一空间隐向量进行修正的修正公式为：其中，s+为所述第二空间隐向量，s为所述第一空间隐向量，x代表输入图像，ε
θ
代表所述变分自编码器，代表所述风格化图像生成器，所述代表所述风格化图像生成器生成的风格化图像和所述待转换图像在像素级别保持一致，代表所述待转换图像的语义特征损失，F代表VGG网络，用于计算待转换图像从第一空间进行图像生成的感知相似度，w
vgg
是预设的权重参数，代表所述第二空间隐向量与第一空间隐向量的初始值s0的差距需要在设定的范围内，代表以s0为初始值做小幅度的微调并迭代设定次数。4.根据权利要求1所述的风格化图像生成方法，其特征在于，所述变分自编码器包括依次级联的多个编码层、依次级联的多个解码层以及分别与各所述解码层连接的全连接层，每个编码层与一个对应的解码层连接，每个所述解码层与一个所述全连接层连接；所述待转换图像从多个所述编码层中的首层编码层输入，每个所述编码层依次对所述待转换图像进行降尺度的编码处理得到编码特征图并将得到的编码特征图输出给下一层的编码层以及与该编码层对应的解码层；所述首层解码层的输入为其对应的编码层的输出，其他各解码层的输入为其上一层解码层的输出加上其对应的编码层的输出，各所述解码层分别对其输入的数据进行解码处理输出不同维度大小的特征图，并通过所述全连接层对该特征图进行处理，得到所述待转换图像对应的不同特征维度的隐向量的均值和方差；其中，多个所述解码层中，从首层解码层开始，各级解码层输出的特征图的维度逐级减小。5.根据权利要求4所述的风格化图像生成方法，其特征在于，所述方法还包括对所述变
分自编码器进行训练的步骤，该步骤包括：获取第一训练数据集，所述第一训练数据集包括多张样本图像；将所述样本图像依次输入所述变分自编码器，得到所述样本图像对应的目标空间隐向量；将样本图像对应的所述目标空间隐向量输入所述训练好的风格化图像生成器，得到所述样本图像对应的风格化图像；根据所述风格化图像和所述样本图像计算得到所述变分自编码器的损失函数，并根据所述损失函数调整所述变分自编码器的模型参数，直到满足训练收敛条件。6.根据权利要求5所述的风格化图像生成方法，其特征在于，所述损失函数...

【专利技术属性】
技术研发人员：金成彬，韩欣彤，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：