一种汉字风格迁移模型的训练装置和方法制造方法及图纸

本发明专利技术实施方式公开了一种汉字风格迁移模型的训练装置和方法。包括：生成模块，用于基于汉字的源字体图像和所述汉字的标签字体图像，经由生成网络生成所述汉字的目标字体图像，基于所述源字体图像中的汉字基础部件图像和所述标签字体图像中的、对应的汉字基础部件图像，经由所述生成网络生成目标字体的汉字基础部件图像；判别模块，用于基于所述汉字的标签字体图像，经由判别网络对所述目标字体图像进行判别以输出全局特征向量，基于所述标签字体图像中的、对应的汉字基础部件图像，经由所述判别网络对所述目标字体的汉字基础部件图像进行判别以输出局部特征向量，并根据所述全局特征向量和所述局部特征向量确定所述判别网络的损失函数。

A training device and method of Chinese character style transfer model

【技术实现步骤摘要】
一种汉字风格迁移模型的训练装置和方法
本专利技术涉及文字处理
，尤其涉及一种汉字风格迁移模型的训练装置和方法。
技术介绍
风格多样的汉字字体是一种重要的中国文化符号，它的设计和操作是一项需要大量专业知识的艰巨工作。汉字作为世界上最古老的文字之一，经历了甲骨文、篆书、隶书、楷书等字体，在弘扬中华民族传统文化中发挥着重要的作用。但是人为制作一种标准的中文字库，不仅费时费力，而且对设计者的学术水平有相当高的要求。随着科学技术的不断发展，以及基于深度学习的图像风格迁移技术的成功应用，为中文字库的制作带来了新的研究方向。在现实场景中，风格迁移技术已经成功应用于图像生成、数据增强等研究领域，解决了小数据集、训练数据量不足的问题。目前也有将该技术应用于字体的风格迁移，比如海报中艺术字的设计、手写体汉字研究等。汉字结构复杂，基础部件之多，字体风格多样，且差异较大。针对汉字的风格迁移问题，现有技术中的传统方法是基于拆分匹配的汉字迁移方法，主要是根据汉字结构，将源字体拆分为多个基础部件，对应为目标字体的基础部件，再按照一定的缩放比例拼接成相应的目标字体，从而实现新字体的生成。现有技术中另一种方法是基于生成式对抗网络(GAN)的汉字迁移方法。该方法主要是输入源字体图片，利用生成网络和判别网络两者之间相互博弈学习的过程，生成仿真度高的目标字体图片，从而实现汉字的风格迁移。基于拆分匹配的汉字迁移方法，对于一些结构复杂的汉字，计算机难以将其正确的拆分开，且利用该方法生成的目标字体太过于古板化，缩放拼接不是很自然。基于生成式对抗网络的汉字迁移方法，该方法对于风格差异较小的两种字体可以生成仿真度较高的目标字体，比如宋体迁移到黑体，网络生成的目标字体效果很好，优于基于拆分匹配的汉字迁移方法，但是对于风格差异较大的两种字体实现的效果并不是很好，这是因为该方法只是单纯利用了汉字的全局特征去训练网络的模型参数，并未利用汉字的局部特征，所以对于一些笔画内容改动较大的字体，网络无法很好的学习到这种变化。
技术实现思路
本专利技术实施例提出一种汉字风格迁移模型的训练装置和方法，从而提高汉字的风格迁移效果。本专利技术实施方式的技术方案如下：一种汉字风格迁移模型的训练装置，包括：生成模块，用于基于汉字的源字体图像和所述汉字的标签字体图像，经由生成网络生成所述汉字的目标字体图像，基于所述源字体图像中的汉字基础部件图像和所述标签字体图像中的、对应的汉字基础部件图像，经由所述生成网络生成目标字体的汉字基础部件图像；判别模块，用于基于所述汉字的标签字体图像，经由判别网络对所述目标字体图像进行判别以输出全局特征向量，基于所述标签字体图像中的、对应的汉字基础部件图像，经由所述判别网络对所述目标字体的汉字基础部件图像进行判别以输出局部特征向量，并根据所述全局特征向量和所述局部特征向量确定所述判别网络的损失函数。在一个实施方式中，还包括：预处理模块，用于将所述源字体图像和所述标签字体图像预处理为相同的格式，将所述源字体图像中的汉字基础部件图像和所述标签字体图像中的、对应的汉字基础部件图像预处理为相同的格式。在一个实施方式中，还包括：融合模块，用于将所述全局特征向量和所述局部特征向量拼接为整体特征向量，利用全连接网络对所述整体特征向量进行判别，以确定所述目标字体图像为真或假。在一个实施方式中，所述判别网络的损失函数为d_loss，其中：d_loss＝E[logD(Xlabel)+log(1-D((Yglobal))]+E[logD(Clabel)+log(1-D((Ylocal))]；其中D(Yglobal)是所述全局特征向量；D(Ylocal)是所述局部特征向量；E是期望函数；D是判决函数；Xlabel是所述标签字体图像；Yglobal是所述目标字体图像；Clabel是所述标签字体图像中的、对应的汉字基础部件图像；Ylocal是所述目标字体的汉字基础部件图像；log是对数函数。在一个实施方式中，所述生成网络的损失函数为g_loss，其中：g_loss＝||Yglobal-Xlabel||+||Ylocal-Clabel||；其中Yglobal是所述目标字体图像；Xlabel是所述标签字体图像；Ylocal是所述目标字体的汉字基础部件图像；Clabel是所述标签字体图像中的、对应的汉字基础部件图像。一种汉字风格迁移模型的训练方法，该方法包括：基于汉字的源字体图像和所述汉字的标签字体图像，经由生成网络生成所述汉字的目标字体图像，基于所述源字体图像中的汉字基础部件图像和所述标签字体图像中的、对应的汉字基础部件图像，经由所述生成网络生成目标字体的汉字基础部件图像；基于所述汉字的标签字体图像，经由判别网络对所述目标字体图像进行判别以输出全局特征向量，基于所述标签字体图像中的、对应的汉字基础部件图像，经由所述判别网络对所述目标字体的汉字基础部件图像进行判别以输出局部特征向量，并根据所述全局特征向量和所述局部特征向量确定所述判别网络的损失函数。在一个实施方式中，还包括：将所述源字体图像和所述标签字体图像预处理为相同的格式；将所述源字体图像中的汉字基础部件图像和所述标签字体图像中的、对应的汉字基础部件图像预处理为相同的格式。在一个实施方式中，还包括：将所述全局特征向量和所述局部特征向量拼接为整体特征向量，利用全连接网络对所述整体特征向量进行判别，以确定所述目标字体图像为真或假。在一个实施方式中，所述判别网络的损失函数为d_loss，其中：d_loss＝E[logD(Xlabel)+log(1-D((Yglobal))]+E[logD(Clabel)+log(1-D((Ylocal))]；其中D(Yglobal)是所述全局特征向量；D(Ylocal)是所述局部特征向量；E是期望函数；D是判决函数；Xlabel是所述标签字体图像；Yglobal是所述目标字体图像；Clabel是所述标签字体图像中的、对应的汉字基础部件图像；Ylocal是所述目标字体的汉字基础部件图像；log是对数函数。在一个实施方式中，所述生成网络的损失函数为g_loss，其中：g_loss＝||Yglobal-Xlabel||+||Ylocal-Clabel||；其中Yglobal是所述目标字体图像；Xlabel是所述标签字体图像；Ylocal是所述目标字体的汉字基础部件图像；Clabel是所述标签字体图像中的、对应的汉字基础部件图像。从上述技术方案可以看出，本专利技术实施方式中，生成模块，用于基于汉字的源字体图像和汉字的标签字体图像，经由生成网络生成汉字的目标字体图像，基于源字体图像中的汉字基础部件图像和标签字体图像中的、对应的汉字基础部件图像，经由生成网络生成目标字体的汉字基础部件图像；判别模块，用于基于汉字的标签字体图像，经由判别网络对目标字体图像进行判别以输出全局特征向量，基于标签字体图像中的、对应的汉本文档来自技高网...

【技术保护点】
1.一种汉字风格迁移模型的训练装置，其特征在于，包括：/n生成模块，用于基于汉字的源字体图像和所述汉字的标签字体图像，经由生成网络生成所述汉字的目标字体图像，基于所述源字体图像中的汉字基础部件图像和所述标签字体图像中的、对应的汉字基础部件图像，经由所述生成网络生成目标字体的汉字基础部件图像；/n判别模块，用于基于所述汉字的标签字体图像，经由判别网络对所述目标字体图像进行判别以输出全局特征向量，基于所述标签字体图像中的、对应的汉字基础部件图像，经由所述判别网络对所述目标字体的汉字基础部件图像进行判别以输出局部特征向量，并根据所述全局特征向量和所述局部特征向量确定所述判别网络的损失函数。/n

【技术特征摘要】
1.一种汉字风格迁移模型的训练装置，其特征在于，包括：
生成模块，用于基于汉字的源字体图像和所述汉字的标签字体图像，经由生成网络生成所述汉字的目标字体图像，基于所述源字体图像中的汉字基础部件图像和所述标签字体图像中的、对应的汉字基础部件图像，经由所述生成网络生成目标字体的汉字基础部件图像；
判别模块，用于基于所述汉字的标签字体图像，经由判别网络对所述目标字体图像进行判别以输出全局特征向量，基于所述标签字体图像中的、对应的汉字基础部件图像，经由所述判别网络对所述目标字体的汉字基础部件图像进行判别以输出局部特征向量，并根据所述全局特征向量和所述局部特征向量确定所述判别网络的损失函数。


2.根据权利要求1所述的汉字风格迁移模型的训练装置，其特征在于，还包括：
预处理模块，用于将所述源字体图像和所述标签字体图像预处理为相同的格式，将所述源字体图像中的汉字基础部件图像和所述标签字体图像中的、对应的汉字基础部件图像预处理为相同的格式。


3.根据权利要求1所述的汉字风格迁移模型的训练装置，其特征在于，还包括：
融合模块，用于将所述全局特征向量和所述局部特征向量拼接为整体特征向量，利用全连接网络对所述整体特征向量进行判别，以确定所述目标字体图像为真或假。


4.根据权利要求1所述的汉字风格迁移模型的训练装置，其特征在于，
所述判别网络的损失函数为d_loss，其中：
d_loss＝E[logD(Xlabel)+log(1-D((Yglobal))]+E[logD(Clabel)+log(1-D((Ylocal))]；
其中D(Yglobal)是所述全局特征向量；D(Ylocal)是所述局部特征向量；E是期望函数；D是判决函数；Xlabel是所述标签字体图像；Yglobal是所述目标字体图像；Clabel是所述标签字体图像中的、对应的汉字基础部件图像；Ylocal是所述目标字体的汉字基础部件图像；log是对数函数。


5.根据权利要求1所述的汉字风格迁移模型的训练装置，其特征在于，
所述生成网络的损失函数为g_loss，其中：
g_loss＝||Yglobal-Xlabel||+||Ylocal-Clabel||；
其中Yglobal是所述目标字体图像；Xlabel是所述标签字体图像；Ylocal是所述目标字体的汉字基础部件图像；Clabel是所述标签字体图像中的、对应的汉字基础...

【专利技术属性】
技术研发人员：王歌，
申请(专利权)人：普天信息技术有限公司，
类型：发明
国别省市：北京;11