一种基于多任务生成对抗网络的字体风格迁移方法和系统技术方案

本发明专利技术提供了一种基于多任务生成对抗网络的字体风格迁移方法和系统，其原理在于：将跨领域的迁移条件附加为生成器的输入，同时输入多种字体样本，实现支持来自不同字体风格之间的转换，解决了一对一字体风格迁移的问题，从而实现多个字体风格之间的迁移；且在本发明专利技术中，在构建生成对抗网络模型时，在生成对抗网络的生成器中加入了特征注意力模块，提高对抗网络中生成器特征学习能力，通过提高对字体图片局部细节特征的捕捉能力，从而提高图像生成质量。质量。质量。

【技术实现步骤摘要】
一种基于多任务生成对抗网络的字体风格迁移方法和系统


[0001]本专利技术属于计算机视觉和图像处理领域，特别涉及一种基于多任务和特征注意力机制的生成对抗网络的字体风格迁移方法和系统。

技术介绍

[0002]字体风格的设计是一项极其困难的工作，现在仍然被认为是专业设计师的特权，现有的软件系统不具备专业设计师的创造力。然而，大多数商业字体产品实际上都是按照对某些字形属性的特定要求手工设计的，如斜体、衬线、草书、宽度、角度等。
[0003]而中文字体风格设计尤为困难。据统计，中文汉字里，1000个常用汉字能覆盖约92％的书面资料，2000个汉字可覆盖98％以上，3000字时已到99％，因此，至少需要完成约2800左右的单个中文字的设计，才能满足实际使用的需求。中文字体设计艺术家对中文字体已经设计了如楷体，宋体，方正仿宋，黑体等多种字体。但由于中文字符的类别繁多、偏旁构造复杂，长短不一。设计时每个字由许多部首和笔画组成，先通过几何建模，之后人为操作来完成，所以设计过程需耗费大量的人力资源。
[0004]字体风格迁移属于图像风格迁移的一个具体应用背景，在一些字体设计开发的应用中有较大的研究意义和商业价值。目前现有的技术路线方案主要分为两条：
[0005]1、采用基于CNN深度学习网络，思路是采取图像分类方向下的基准网络用于提取字体特征，使用均方误差或绝对误差损失用于优化网络，其缺点仅仅完成单一字体的迁移功能，即仅支持单一风格的风格变换，如宋体转楷体，迁移后的字体的边缘细节比较模糊，优点是技术简单方便，效率高。
[0006]2、采用基于生成对抗网络GAN实现字体风格的迁移。即端到端的中文字体迁移的深度学习算法，采用全卷积网络FCN作为迁移网络，从目标字符捕获书法样式信息，然后重建目标字体的输出，结合生成对抗网络GAN优点来辅助优化迁移网络的参数，从而提高单一字体风格迁移的效果和逼真度，其缺点在于需要大量的训练数据。
[0007]近年来，受图像风格转移技术的启发，人们开始探讨更有效的中文字体风格设计方法，即：如何以人工设计的少部分目标字体为基准，通过相关算法将其余字符直接转换成与目标相同风格的字体。现有技术的字体风格迁移模型不仅需要大量的训练数据，且现有技术很多仅支持单一字体的迁移，同时字体风格迁移的效果不是很好。

技术实现思路

[0008]针对上述问题，本专利技术提供一种基于多任务和特征注意力机制的生成对抗网络的字体风格迁移方法和系统，能够克服现有技术中字体迁移模型仅支持单一字体转换的问题，并提高字体风格迁移的效果，实现利用少部分目标字体进行字体风格迁移。
[0009]一种基于多任务生成对抗网络的字体风格迁移方法，包括下面步骤：
[0010]获取包含多种字体的样本集，并对每种字体风格迁移条件进行标注；
[0011]构建生成对抗网络模型；
[0012]将所述样本集和所述字体风格迁移条件输入所述生成对抗网络模型，对所述生成对抗网络模型进行训练，并根据训练结果对所述生成对抗网络模型进行参数优化直至网络收敛稳定；
[0013]获取所述生成对抗网络模型训练后得到的生成器。
[0014]进一步地，所述的构建生成对抗网络模型包括步骤：
[0015]构建生成对抗网络的生成器，在所述生成器中加入特征注意力模块，所述特征注意力模块用于将卷积特征图转换为注意力特征图。
[0016]进一步地，所述的将卷积特征图转换为注意力特征图的步骤为：
[0017]所述的将卷积特征图转换为注意力特征图的步骤为：
[0018]将卷积特征图X输入所述特征注意力模块；
[0019]卷积特征图X∈R
C
×
H
×
W
经1
×
1卷积得到F、G、M三个特征空间；F、G、M对应的通道数量分别为C/8、C/8和C，C、H和W分别代表卷积特征图的通道数、特征图宽度以及高度；
[0020]将特征空间F转置后与特征空间G进行矩阵乘法操作，得到特征注意力层；
[0021]采用Softmax得到所述特征注意力层的参数：
[0022][0023]其中，P
j,i
表示第i个位置的特征对第j个位置的特征的影响权重值，i和j的范围为1～H
×
W；
[0024]F
i
表示:F特征空间第i个像素位置上所有通道的值的行向量，G
j
表示：G特征空间第j个像素位置上所有通道的值的列向量；
[0025]两个位置的特征相似性同它们之间的相关性成正相关；
[0026]将所述特征注意力层转置后与特征空间M进行矩阵乘法操作，得到所述特征注意力模块输出的注意力特征图P：
[0027]P＝(P1,P2,
…
,P
(HxW)
)，P∈R
C
×
H
×
W
；
[0028][0029]其中，P
j,i
表示第i个位置的特征对第j个位置的特征的影响权重值，M
i
表示：M特征空间第i个像素位置上所有通道的值的行向量，P
j
表示：第j个通道的特征图。
[0030]进一步地，所述的构建生成对抗网络模型包括步骤：
[0031]构建生成对抗网络的判别器，在所述判别器中添加全连接层作为辅助分类器，所述辅助分类器用于对迁移结果的字体进行分类。
[0032]进一步地，所述的获取包含多种字体的样本集的步骤为：
[0033]确定作为样本的、预定数量的且互不相同的文字；
[0034]收集包括目标迁移字体在内多种不同字体的、每个文字的图片；
[0035]对收集到的所述图片进行图像二值化处理。
[0036]进一步地，所述图片的格式为JPG或PNG格式。
[0037]进一步地，所述样本集包括训练集和测试集，
[0038]所述训练集用于对所述生成对抗网络模型进行训练；
[0039]所述测试集用于对训练后的所述生成对抗网络模型的准确度进行验证。
[0040]进一步地，在对所述生成对抗网络模型进行训练时，采取均匀采样方法对所述样本集进行采样。
[0041]进一步地，使用Pytorch或TensorFlow深度学习框架对所述生成对抗网络模型进行训练。
[0042]本专利技术还提供一种基于多任务生成对抗网络的字体风格迁移系统，包括：
[0043]样本获取模块，用于获取包含多种字体的样本集，并对每种字体风格迁移条件进行标注；
[0044]网络构建模块，用于构建生成对抗网络模型；
[0045]模型训练模块，用于接收所述样本集和所述字体风格迁移条件，对所述生成对抗网络模型进行训练，并根据训练结果对所述生成对抗网络模型进行参数优化直至网络收敛稳定；
[0046]生成器获取模块，用于获取所述生成对抗网络模型训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务生成对抗网络的字体风格迁移方法，其特征在于，包括下面步骤：获取包含多种字体的样本集，并对每种字体风格迁移条件进行标注；构建生成对抗网络模型；将所述样本集和所述字体风格迁移条件输入所述生成对抗网络模型，对所述生成对抗网络模型进行训练，并根据训练结果对所述生成对抗网络模型进行参数优化直至网络收敛稳定；获取所述生成对抗网络模型训练后得到的生成器。2.根据权利要求1所述的基于多任务生成对抗网络的字体风格迁移方法，其特征在于，所述的构建生成对抗网络模型包括步骤：构建生成对抗网络的生成器，在所述生成器中加入特征注意力模块，所述特征注意力模块用于将卷积特征图转换为注意力特征图。3.根据权利要求2所述的基于多任务生成对抗网络的字体风格迁移方法，其特征在于，所述的将卷积特征图转换为注意力特征图的步骤为：将卷积特征图X输入所述特征注意力模块；卷积特征图X∈R
C
×
H
×
W
经1
×
1卷积得到F、G、M三个特征空间；F、G、M对应的通道数量分别为C/8、C/8和C，C代表卷积特征图的通道数；H代表卷积特征图的宽度，W代表卷积特征图的高度；将特征空间F转置后与特征空间G进行矩阵乘法操作，得到特征注意力层；采用Softmax得到所述特征注意力层的参数：其中，P
j,i
表示第i个位置的特征对第j个位置的特征的影响权重值，i和j的范围为1～H
×
W；F
i
表示:F特征空间第i个像素位置上所有通道的值的行向量，G
j
表示：G特征空间第j个像素位置上所有通道的值的列向量；两个位置的特征相似性同它们之间的相关性成正相关；将所述特征注意力层转置后与特征空间M进行矩阵乘法操作，得到所述特征注意力模块输出的注意力特征图P：P＝(P1,P2,
…
,P
(HxW)
)，P∈R
C
×
H
×
W
；其中，M
i
...

【专利技术属性】
技术研发人员：田辉，刘其开，
申请(专利权)人：合肥高维数据技术有限公司，
类型：发明
国别省市：