一种中文字体风格迁移方法技术

一种中文字体风格迁移方法，特征是，对手写汉字进行无监督的风格迁移学习，在原始的对抗式生成网络的基础上，开创性地在循环生成对抗网络组成的生成器上增添了两个辅助网络，其一通过汉字分类识别残差网络同时对原图和生成器生成图提取其字体结构特征，取特定层的矩阵信息作辅助损失函数使其控制两者的字体结构一致性；其二使用风格编码器将生成器生成图的风格特征提取出来反馈给生成器进而控制两者的风格一致性。

【技术实现步骤摘要】
一种中文字体风格迁移方法
本专利技术涉及一种中文字体风格迁移方法。技术背景文字是人们用来传达信息的工具，是人类文化的重要组成部分。汉字的专利技术不仅使我国悠久的历史得以传承，种类繁多的汉字字体(如古代文人墨客著作中的书法体、设计师们设计的艺术体)更是起到了视觉传达的作用，是一种艺术象征。然而，在历史悠久的汉字设计领域一直以来存在着些许痛点，使汉字字体的扩展十分困难。首先，在进行字体设计时，为了保证字形统一，设计师们往往会在每个字的设计上花费大量的时间。同时，相比只有26个字母的英文，汉字有着大量的通用字，这就导致一个完整汉字字库的设计需要历时几年甚至几十年。为了解决这一难题，“汉字风格迁移技术”随之诞生。“汉字风格迁移技术”指的是从一个汉字中提取风格，并应用到另一个汉字中。利用这一技术我们能够自动生成新的汉字，而不需要逐字设计。例如，这一技术可以提取某个手写字的风格，运用到另一个已知黑体字中，这样就做到了手写体的自动生成。如今汉字风格迁移的具体实现方法可以归为两类：第一类是基于单字体的编码器—译码器实现方法；第二类是基于成对字体的点对点字体转换。第一类基于单字体编码器—译码器的实现方法主要利用了卷积神经网络对部分汉字内容和风格进行特征提取，并将提取后的特征映射到新的内容上，它通过不断降低内容和风格的特征损失来生成高质量的目标汉字内容，但缺点在于这类方法在风格迁移的过程中难以保留针对每个汉字本身的笔画特点，生成的内容质量有局限性、也难以泛化至字库。第二类基于点对点的字体转换实现方法首先将源字体与目标字体成对纳入数据集，之后基于目前发展火热的生成式对抗网络(GAN:GenerativeAdversarialNetwork)训练得到从源字体到目标字体的风格转换模型，从而利用该模型能够将任意汉字泛化到期望的目标字体，以达到字体生成的目的。这里提到的生成式对抗网络是一种图像生成技术，它能生成一种风格的某一图像在另一种风格的对应表示。将这一图像生成的思想运用到字体生成，便得到了前文所述的第二类方法。第二类方法相比第一类，由于增加了源域和目标域的两类字体作为训练数据，能够得到生成效果更加好、更容易泛化的模型。不过它的缺点在于需要源字体—目标字体相配对的训练集，成本较大；并且同一个模型只能将一种字体转化为一种字体，遇到新的目标字体只能重新训练。1.1相关的现有技术“一种基于特征融合的个性化汉字字体图片生成方法”，专利公开号：CN111667008A。1.1.1现有技术的技术方案CN111667008A利用了生成式对抗网络技术，构建了从一种汉字到另一种汉字的字体风格转换模型，从而达到了个性化汉字字体的自动生成。首先，该专利技术需要有一个标准字体的字库。例如宋体，就将GB2312国际码标准字库中的该字体以独立图片形式保存到字库图集里，并选择预设数量的部分汉字(大约670个)作为训练标准汉字数据集。其次，该专利技术需要字体设计者对选择出来的标准汉字中的每个字进行逐字设计，得到它对应的个性化汉字字形，并将这些汉字转换为图像保存到训练个性化汉字数据图集中。并保证标准汉字和个性化汉字图集的图像大小一致。之后进行生成对抗网络模型构建，包括三个部分：预训练的字体特征提取网络、生成器、以及判别器。其中预训练的字体特征提取网络会随机选取字库图集中75％的图片作为训练集，剩余25％的图片作为测试集，并保存训练参数；生成器部分是采用编码器—译码器的结构，目的是提取汉字的风格并将这些风格映射到生成的汉字中；判别器则是卷积神经网络，用来判断汉字是真实的还是生成的。然后，将训练集中的标准汉字图像输入到生成器的编码器中，产生生成出来的汉字，判别器则不断对比生成出来的汉字与设计者提供的汉字，训练一直到生成对抗网络模型损失函数的值最小时完成。对于训练好的模型就可以进行生成字体图像集获取：将标准字库中的任意某个汉字(包括未在训练集出现的汉字)分别输入训练好的生成器、以及字体特征提取网络，从而分别得到字体特征编码、以及字体特征向量；将二者与字体类别向量组合到一起作为特征组合向量，输入到生成对抗网络模型的解码器中即能生成具有目标字体风格的个性化汉字图像。1.1.2现有技术可改进点CN111667008A技术的第一个主要缺点在于它需要标准字体与个性化汉字字体的汉字成对出现，即汉字设计者提供与选择到标准字体数据集中同样的汉字，需要对这些汉字逐字设计。从而，如果数据集中选择的标准汉字换了一批，则这些设计的汉字也需要重新更换，这对于设计者来说成本还是太高。第二个缺点在于这一技术对于同一个源字体只能生成一种目标字体，如果想要对生成的个性化汉字风格进行修改则需要新一轮的设计、训练，从而该技术下得到的模型适用范围有限，在个性化汉字生成的方面不够灵活、也没有多样性，模型也没法通用。
技术实现思路
现有的使用GAN来完成的汉字风格迁移模型只能将当前种字体转换到之前已经训练过的一种字体。而不能完成让一种字体转化为任意不同风格的字体。这是本专利技术方案所解决的痛点。本专利技术方案可以让经过训练的网络，将一种字体的风格转化为任意风格的字体。这是现有模型所不能完成的任务。同时，现有模型只能训练配对的字体，即在输入训练集的过程中，输入的内容必须是一种字体与风格字体的一一匹配。风格字体与我们输入的想要转化的字体必须是同一个字，即在现有模型中，网络无法进行字体结构和风格的分开抽取，而必须是同时抽取。而本专利技术方案所解决的问题是，我们可以在输入原字体和风格字体的图像的字体内容不一致的情况下完成汉字的风格迁移。本专利技术提出的汉字风格迁移方法，首先在训练过程中无需将源字体与目标字体的汉字配对，允许源域和目标域有着不同汉字内容；其次可以只训练一次便能将一种字体迁移到多种不同字体。对比已有的方法来说在极大减少了成本、且不影响生成效果的同时，又增加了生成汉字风格的多样性、灵活性与通用性。技术方案一种中文字体风格迁移方法，特征是，对手写汉字进行无监督的风格迁移学习，在原始的对抗式生成网络的基础上，开创性地在循环生成对抗网络组成的生成器上增添了两个辅助网络，其一通过汉字分类识别残差网络同时对原图和生成器生成图提取其字体结构特征，取特定层的矩阵信息作辅助损失函数使其控制两者的字体结构一致性；其二使用风格编码器将生成器生成图的风格特征提取出来反馈给生成器进而控制两者的风格一致性。具体方法为：首先，目标字体通过风格编码器提取出对应的风格编码或者由随机噪点通过映射网络生成的无监督风格编码作为生成器可接受风格编码，这个风格编码象征着该类字体的统计上的风格共性。再者，将风格编码与原图共同传给生成器网络G生成对应的目标图片完成整体的中文字体风格迁移的完整流程。同时，将生成的目标图片传回判别器网络D进而进行判别并反馈给对应的网络中优化损失函数；将生成的目标图片与原图一起传递给残差网络，由其进行字体结构特征的提取和比较，辅助性地正反馈给生成器网络。最后得到的目标图就是风本文档来自技高网...

【技术保护点】
1.一种中文字体风格迁移方法，特征是，对手写汉字进行无监督的风格迁移学习，在原始的对抗式生成网络的基础上，开创性地在循环生成对抗网络组成的生成器上增添了两个辅助网络，其一通过汉字分类识别残差网络同时对原图和生成器生成图提取其字体结构特征，取特定层的矩阵信息作辅助损失函数使其控制两者的字体结构一致性；其二使用风格编码器将生成器生成图的风格特征提取出来反馈给生成器进而控制两者的风格一致性。/n

【技术特征摘要】
1.一种中文字体风格迁移方法，特征是，对手写汉字进行无监督的风格迁移学习，在原始的对抗式生成网络的基础上，开创性地在循环生成对抗网络组成的生成器上增添了两个辅助网络，其一通过汉字分类识别残差网络同时对原图和生成器生成图提取其字体结构特征，取特定层的矩阵信息作辅助损失函数使其控制两者的字体结构一致性；其二使用风格编码器将生成器生成图的风格特征提取出来反馈给生成器进而控制两者的风格一致性。


2.如权利要求1所述方法，特征是，具体方法为：
首先，目标字体通过风格编码器提取出对应...

【专利技术属性】
技术研发人员：叶晨，杨煜，魏宇翔，李昊龙，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31