基于风格收集机制的一对多风格书法图片生成方法技术

本申请涉及一种基于风格收集机制的一对多风格书法图片生成方法，本申请在模型训练过程中，通过风格收集机制收集每一种字体的风格特征，构成风格编码参数集并保存；基于保存的风格编码参数集为生成对抗网络提供风格指引，帮助生成对抗网络生成与目标风格更加相似的汉字图片；与现有技术相比，模型可以同时生成多种风格字体，并且显著降低重新训练的工作量。量。量。

【技术实现步骤摘要】
基于风格收集机制的一对多风格书法图片生成方法


[0001]本申请涉及计算机图像处理
，具体地，涉及一种基于风格收集机制的一对多风格书法图片生成方法。

技术介绍

[0002]在书法作品修复领域，目前主要采用书法图片生成算法，通过改变输入图片的纹理特征与内容特征，将一种字体图片转换为另一种字体图片。书法图片的生成是风格迁移的子领域，而风格迁移方法在近些年取得了很大的成就。例如，StarGAN实现了多对多的图像翻译，CycleGAN是第一个实现了基于非配对数据的风格迁移方法。然而，一般图像的风格迁移只能对图像做简单的纹理变换，例如将橘子变成苹果，很难做到改变图像的几何结构特征。此外，汉字书法图片不同于一般的图片，例如风景和动物的照片。生成书法图片的方法需要对图像做到更加细微精细的控制，因为略微的结构变化会导致图片中汉字意义的改变。
[0003]目前大多数的汉字生成模型都不能生成多种字体，对于每一种新字体需要重新训练模型的映射关系。这些方法都只能转换结构简单的字体风格，对于风格结构更加复杂的字体，往往会转换失败，产生不必要的噪声，并且这些模型都缺乏从集合层次对风格特征建模的能力，这会使模型学习到的目标风格不够完整。

技术实现思路

[0004]为了克服现有技术中的至少一个不足，本申请提供一种基于风格收集机制的一对多风格书法图片生成方法。
[0005]第一方面，提供一种一对多风格书法图片生成模型构建方法，包括：
[0006]获取源域数据集和目标域数据集，源域数据集包括多张属于同一种风格的书法图片，目标域数据包括多张属于不同种目标风格的书法图片；
[0007]构建训练模型，训练模型包括风格收集机制和生成对抗网络，风格收集机制包括VGG16神经网络和风格特征编码网络，生成对抗网络包括生成器和判别器；
[0008]基于源域数据集和目标域数据集对训练模型进行迭代训练，得到训练后的生成器，并保留最后一次迭代训练中风格收集机制输出的风格编码参数集，风格编码参数集中包括每种目标风格对应的风格编码参数；训练后的生成器，即为一对多风格书法图片生成模型，保留的风格编码参数集作为一对多风格书法图片生成模型的输入；
[0009]在训练过程中，将目标域数据集输入到风格收集机制，得到风格编码参数集，将源域数据集和风格编码参数集输入到生成对抗网络。
[0010]在一个实施例中，将目标域数据集输入到风格收集机制，得到风格编码参数集，包括：
[0011]将目标域数据集中的图片分批次输入到VGG16神经网络，得到每个图片对应的图片特征；
[0012]风格特征编码网络包括两个多层感知机，每个多层感知机包括3个依次连接的全连接层，风格特征编码网络用于将每个图片对应的图片特征映射为风格编码参数；
[0013]求属于同一种目标风格的所有批次的图片对应的风格编码参数的平均值，得到每种目标风格对应的风格编码参数，每种目标风格对应的风格编码参数构成风格编码参数集。
[0014]在一个实施例中，生成器包括图像编码器、迁移网络和图像解码器，图像编码器包括多个下采样层，迁移网络包括多个残差网络层，图像解码器包括多个上采样层；图像编码器用于提取图片的内容特征，迁移网络用于将内容特征和风格编码参数集进行融合，得到融合后的特征；图像解码器用于将融合后的特征解码为多种目标风格的书法图片。
[0015]在一个实施例中，训练过程采用的损失函数包括生成损失和判别损失
[0016][0017][0018]其中，为生成器对抗损失，为生成器分类损失，为重构损失，为像素级别损失，λ
cls
为分类损失权重，λ
rec
为重构损失权重，λ
pixel
为像素级别损失权重；为判别器对抗损失，为判别器分类损失。
[0019]在一个实施例中，生成器对抗损失采用以下公式计算：
[0020][0021]其中，x表示源域的书法图片，c表示目标域的目标风格标签，θ
c
表示风格标签为c的风格编码参数，G表示生成器的输出，D表示判别器判别真假的输出，E表示期望；
[0022]判别器对抗损失采用以下公式计算：
[0023][0024]其中，t表示真实的目标域的书法图片；
[0025]生成器分类损失采用以下公式计算：
[0026][0027]其中，D
cls
表示判别器的分类输出；c|G(x,c,θ
c
)表示G(x,c,θ
c
)的风格标签为c；
[0028]判别器分类损失采用以下公式计算：
[0029][0030]其中，c|t表示t的风格标签为c；
[0031]重构损失采用以下公式计算：
[0032][0033]其中，c
′
表示源域的风格标签；
[0034]像素级别损失，采用以下公式计算：
[0035][0036]第二方面，提供一种基于风格收集机制的一对多风格书法图片生成方法，包括：
[0037]获取待转换书法图片；
[0038]将待转换书法图片输入到一对多风格书法图片生成模型，得到多种目标风格的书法图片；
[0039]一对多风格书法图片生成模型为根据上述的一对多风格书法图片生成模型构建方法得到的。
[0040]第三方面，提供一种一对多风格书法图片生成模型构建装置，包括：
[0041]数据集获取模块，用于获取源域数据集和目标域数据集，源域数据集包括多张属于同一种风格的书法图片，目标域数据包括多张属于不同种目标风格的书法图片；
[0042]训练模型构建模块，用于构建训练模型，训练模型包括风格收集机制和生成对抗网络，风格收集机制包括VGG16神经网络和风格特征编码网络，生成对抗网络包括生成器和判别器；
[0043]训练模块，用于基于源域数据集和目标域数据集对训练模型进行迭代训练，得到训练后的生成器，并保留最后一次迭代训练中风格收集机制输出的风格编码参数集，风格编码参数集中包括每种目标风格对应的风格编码参数；训练后的生成器，即为一对多风格书法图片生成模型，保留的风格编码参数集作为一对多风格书法图片生成模型的输入；
[0044]在训练过程中，将目标域数据集输入到风格收集机制，得到风格编码参数集，将所述源域数据集和风格编码参数集输入到生成对抗网络。
[0045]在一个实施例中，训练模块，还用于：
[0046]将目标域数据集中的图片分批次输入到VGG16神经网络，得到每个图片对应的图片特征；
[0047]风格特征编码网络包括两个多层感知机，每个多层感知机包括3个依次连接的全连接层，风格特征编码网络用于将每个图片对应的图片特征映射为风格编码参数；
[0048]求属于同一种目标风格的所有批次的图片对应的风格编码参数的平均值，得到每种目标风格对应的风格编码参数，每种目标风格对应的风格编码参数构成风格编码参数集。
[0049]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种一对多风格书法图片生成模型构建方法，其特征在于，包括：获取源域数据集和目标域数据集，所述源域数据集包括多张属于同一种风格的书法图片，所述目标域数据包括多张属于不同种目标风格的书法图片；构建训练模型，所述训练模型包括风格收集机制和生成对抗网络，所述风格收集机制包括VGG16神经网络和风格特征编码网络，所述生成对抗网络包括生成器和判别器；基于所述源域数据集和所述目标域数据集对所述训练模型进行迭代训练，得到训练后的生成器，并保留最后一次迭代训练中所述风格收集机制输出的风格编码参数集，所述风格编码参数集中包括每种目标风格对应的风格编码参数；所述训练后的生成器，即为所述一对多风格书法图片生成模型，所述保留的风格编码参数集作为所述一对多风格书法图片生成模型的输入；在训练过程中，将所述目标域数据集输入到所述风格收集机制，得到风格编码参数集，将所述源域数据集和所述风格编码参数集输入到所述生成对抗网络。2.如权利要求1所述的方法，其特征在于，其中，将所述目标域数据集输入到所述风格收集机制，得到风格编码参数集，包括：将所述目标域数据集中的图片分批次输入到所述VGG16神经网络，得到每个图片对应的图片特征；所述风格特征编码网络包括两个多层感知机，每个多层感知机包括3个依次连接的全连接层，所述风格特征编码网络用于将每个图片对应的图片特征映射为风格编码参数；求属于同一种目标风格的所有批次的图片对应的风格编码参数的平均值，得到每种目标风格对应的风格编码参数，所述每种目标风格对应的风格编码参数构成所述风格编码参数集。3.如权利要求1所述的方法，其特征在于，所述生成器包括图像编码器、迁移网络和图像解码器，所述图像编码器包括多个下采样层，所述迁移网络包括多个残差网络层，所述图像解码器包括多个上采样层；所述图像编码器用于提取图片的内容特征，所述迁移网络用于将所述内容特征和所述风格编码参数集进行融合，得到融合后的特征；所述图像解码器用于将所述融合后的特征解码为多种目标风格的书法图片。4.如权利要求1所述的方法，其特征在于，训练过程采用的损失函数包括生成损失和判别损失判别损失判别损失其中，为生成器对抗损失，为生成器分类损失，为重构损失，为像素级别损失，λ
cls
为分类损失权重，λ
rec
为重构损失权重，λ
pixel
为像素级别损失权重；为判别器对抗损失，为判别器分类损失。5.如权利要求4所述的方法，其特征在于，所述生成器对抗损失采用以下公式计算：
其中，x表示源域的书法图片，c表示目标域的目标风格标签，θ
c
表示风格标签为c的风格编码参数，G表示生成器的输出，D表示判别器判别真假的输出，E表示期望；所述判别器对抗损失采用以下公式计算：其中，t表示真实的目标域的书法图片；所述生成器分类损失采用以下公式计算：其...

【专利技术属性】
技术研发人员：肖云，董智强，常晓军，吕昊，王宁，张益朦，陈红卫，许鹏飞，郑霞，
申请(专利权)人：西北大学，
类型：发明
国别省市：