一种基于CycleGAN的个性字体生成方法技术

本发明专利技术提供一种基于CycleGAN的个性字体生成方法。本方法从图像风格迁移的思想出发，基于循环生成对抗网络(Cycle Generative Adversarial Network，CycleGAN)搭建了用于字体风格迁移的模型，主要创新点是将图片风格迁移的方法运用到字体风格设计中，并对循环生成对抗网络的生成器进行了优化，将生成器中原本的Resnet结构替换为U

【技术实现步骤摘要】
一种基于CycleGAN的个性字体生成方法


[0001]本专利技术属于风格图像生成领域，特别涉及针对手写个性字体的基于循环生成对抗式网络的字体图像生成模型。

技术介绍

[0002]中文字体风格设计是指以现有的少量风格字体为基准，将目标内容的字体直接转换成风格字体。作为一种十分复杂的表达意思的语种，中文字体的设计显得极为复杂。汉字的数量和种类远远多于表音的英文字母，因此完成覆盖范围比较全的汉字字体设计需要十分巨大的工作量。除此之外，在追求个性化的时代，许多人要求建立属于个人的字体库。但字体库的建立需要个人对大量的汉字进行书写并上传，个人字库建立的门槛较高。
[0003]近几年，人们在进行图像风格迁移的研究时，尝试多种模型，并取得了较好的效果。现有的较为成熟的技术包括生成对抗式网络(Generative Adversarial Network，GAN)、pix2pix等。在汉字图像风格迁移上，图像风格迁移起到了很重要的借鉴作用。在该思想的影响下，将汉字直接作为图片，向网络中输入少量的汉字图片，学习其风格并输出具有该风格字体。
[0004]Shamir等人提出了一种参数化特征建模的方式进行字体设计，但是这种方法是非自动的，需要人为地对特征和约束进行提取，过程十分复杂。Suvveerannont等人提出了一种自动生成新字体的方法，该方法依赖于用户定义的实例(Exampled
‑
Based)。该方法是从每个字的轮廓中提取出对应的拓扑特征，然后保留这个提取的特征，与原本的字体进行运算，加上相应的权重，生成新的字体。曾理等人提出了一种自动识别技术，该技术可以在不同的字体和不同的格式情况下，识别出文字图像里的具体内容。Xu等人提出了一种智能算法，该算法能模拟手写汉字的风格，通过分解和重组字符组件来实现，但这个算法复杂，不适用。对比汉字字体和英文字体，汉字的笔画和结构都更加复杂，所以在生成结果上并不太理想，会出现扭曲、断裂等情况。
[0005]随着深度学习技术的发展，图像风格迁移领域有了重大突破，出现了基于生成式对抗网络的图像到图像翻译的方法。图像到图像翻译是指给定一张特定领域的图像，将其按照内容特点，“翻译”到另一个领域中，生成对应的图像。生成式对抗网络将风格迁移的适用范围极大地扩展，由画风迁移扩展到了任意图像集合之间的迁移。因此，研究者们不断探索，希望利用深度学习技术进行字体的风格迁移。首先，研究者们将目标放在较为简单的英文字体上。2017年，Baluja等人提出了一种深度模型，该模型利用深度神经网络进行学习，然后对英文字体进行建模。在该实验中，研究者们把4个英文字母作为研究对象，学习其风格，然后生成了同样风格的剩下22个字母。2017年，Azadi等人为了合成艺术体英文，提出了一个基于堆栈条件生成对抗网络(Stacked CGAN)的模型。这个模型可以直接输入原始特征，输出预测的结果，不需要进行特征提取，是一个端到端的模型，并用该方式实现了字体风格迁移。该方法可以输入少量的字母例子，然后合成需要的艺术体英文字母。除此之外，该模型具有很广泛的应用，能够学习各种数据集，并生成对应的风格迁移字体。
[0006]但是，汉字字体不论是从笔画、结构和字形上都比英文字体复杂得多，对英文字体效果较好的风格迁移方法应用到汉字风格迁移上就不理想。于是，更多的研究者开始开展汉字字体风格迁移的研究工作。2017年，Luy等人为了实现中国书法汉字的字体风格迁移，提出了一个基于深度神经网络(DNN)的模型。该模型借鉴了普通图像的风格迁移的想法，实现了汉字图像到汉字图像的风格迁移，完成了汉字图像风格迁移任务普通的深度学习网络需要大量配对的图像进行训练，但是有些配对图像的获取较为困难，适用范围较窄。
[0007]综上，针对汉字个性字体，如何实现非配对图像之间的风格迁移是本领域研究人员重点关注的问题。

技术实现思路

[0008]针对现有技术中存在的问题，可以将汉字个性字体生成看作图像风格迁移任务的一种变形，充分运用CycleGAN网络，实现非配对图像之间的风格迁移。
[0009]本专利技术提出一种基于CycleGAN的汉字图像风格迁移模型，对CycleGAN网络中的生成器结构进行改进，更改成适用于汉字图像风格迁移的改进的编码
‑
解码器结构，增加对汉字风格的学习能力。具体包括如下步骤：
[0010]步骤1，采集图像数据集，对图像数据集中的图像数据进行预处理，构建实验所需训练数据集，包括汉字图像数据集和手写汉字图像数据集；
[0011]步骤2，构建循环生成对抗式网络模型，实现汉字图像的风格迁移；
[0012]所述循环生成对抗式网络模型是将原始的CycleGAN网络中的生成器结构替换为U
‑
net结构，判别器中使用PatchGAN网络；
[0013]所述循环生成对抗式网络模型的目的是实现一个域到域的映射，即学习输入域A和目标域B之间的风格转换的映射关系，而不是两个数据域中具体的输入图片a和目标图片b之间的一一映射的关系，解决模型高度依赖配对图片的问题；
[0014]步骤3，利用步骤1中的训练数据集对步骤2中构建的循环生成对抗式网络模型进行训练，生成风格图片；
[0015]步骤4，根据生成的图片效果，不断地对循环生成对抗式网络模型的参数进行修正，并对模型的损失函数进行修改，得到效果更好的风格图片，最后确定效果最好的参数，生成相应的结果图。
[0016]进一步的，实验所需训练数据集包括宋体汉字图像数据集和手写汉字图像数据集，两个数据集分别包含N张128*128大小图像，图像内容包含N个宋体汉字和对应的手写体汉字，数据集中选出n张图像作为测试集，在进行训练前，为了构建数据集，进行了如下处理：
[0017]步骤11：宋体汉字图像选择
[0018]宋体汉字图像数据集构建时，先按照汉字的ASCII码范围生成若干个字并存储在txt文件中；将txt文件中存储的字按照顺序生成对应的128*128的宋体图片；对这些宋体图片进行预处理，选出平时使用率较高的宋体字图像N张；
[0019]步骤12：手写汉字图像获取
[0020]选取N个汉字进行书写，保证风格的统一，同时确保图片的大小相同；
[0021]步骤13：数据增强
[0022]为了扩充数据量，将数据集的每张图片进行倒置，生成新的图片，保证其笔画特征不发生变化，通过这种方法，大大扩充数据量。
[0023]进一步的，所述的循环生成对抗式网络模型具体结构包括；
[0024]两个生成器Generator A2B和Generator B2A，以及两个判别器Discriminator A和Discriminator B；
[0025]其中生成器采用U
‑
net网络，U
‑
net网络被分为左部的编码部分和右部的解码部分，编码部分用来提取图片的比较表面的特征，特征的提取过程靠下采样和卷积来实现，在这个过程中，图片的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于CycleGAN的个性字体生成方法，其特征在于，包括以下步骤：步骤1，采集图像数据集，对图像数据集中的图像数据进行预处理，构建实验所需训练数据集，包括汉字图像数据集和手写汉字图像数据集；步骤2，构建循环生成对抗式网络模型，实现汉字图像的风格迁移；所述循环生成对抗式网络模型是将原始的CycleGAN网络中的生成器结构替换为U
‑
net结构，判别器中使用PatchGAN网络；所述循环生成对抗式网络模型用于实现一个域到另一个域的映射，即学习输入域和目标域之间的风格转换的映射关系，而不是两个数据域中具体的输入图片和目标图片之间的一一映射的关系，从而解决模型高度依赖配对图片的问题；步骤3，利用步骤1中的训练数据集对步骤2中构建的循环生成对抗式网络模型进行训练，生成风格图片；步骤4，根据生成的风格图片效果，不断地对循环生成对抗式网络模型的参数进行修正，并对模型的损失函数进行修改，得到效果更好的风格图片，最后确定效果最好的参数，生成相应的结果图。2.根据权利要求书1所述的一种基于循环生成对抗网络的个性字体生成方法，其特征在于：实验所需训练数据集为包括宋体汉字图像数据集和手写汉字图像数据集，两个数据集分别包含N张128*128大小图像，图像内容包含N个宋体汉字和对应的手写体汉字，从数据集中选出n张图像作为测试集，在进行训练前，为了构建数据集，进行了如下处理：步骤11：宋体汉字图像选择构建宋体汉字图像数据集时，先按照汉字的ASCII码范围生成若干个字并存储在txt文件中；将txt文件中存储的字按照顺序生成对应的128*128的宋体图片；对这些宋体图片进行预处理，选出平时使用率较高的宋体字图像N张；步骤12：手写汉字图像获取选取N个汉字进行书写，保证风格的统一，同时确保图片的大小相同；步骤13：数据增强为了扩充数据量，将数据集的每张图片进行倒置，生成新的图片，保证其笔画特征不发生变化，通过这种方法，大大扩充数据量。3.根据权利要求书1所述的一种基于循环生成对抗网络的个性字体生成方法，其特征在于：所述的循环生成对抗式网络模型具体结构包括；两个生成器Generator A2B和Generator B2A，以及两个判别器Discriminator A和Discriminator B；其中生成器采用U
‑
net网络，U
‑
net网络被分为左部的编码部分和右部的解码部分，编码部分用来提取图片的比较表面的特征，特征的提取过程靠下采样和卷积来实现，在这个过程中，图片的尺寸减小的同时通道数会增加，解码部分用来提取图片的较深的、比较内核的特征，这个过程通过上采样和反卷积实现，反卷积的填充方式选用stride和valid中的valid方式，解码过程中，图片的尺寸会增大，通道数会减小，U
‑
net网络中间的连接方式为跳跃连接，该方式将编码部分和解码部分获得的特征结合，实现了浅层特征和深层次特征的融合，得到最终的特征图像，对得到的特征图像进行细分，并进行预测分割，得到最后的预测分割图；具体为：将手写字体图片输入U
‑
net网络，交替通过3*3的卷积层和2*2最大...

【专利技术属性】
技术研发人员：李治江，徐慧婷，黄煜城，曹丽琴，
申请(专利权)人：武汉大学，
类型：发明
国别省市：