基于压缩与激励的GAN网络的汉字字体生成方法技术

本发明专利技术公开了基于压缩与激励的GAN网络的汉字字体生成方法，包括：获取字体数据集，所述字体数据集包括两部分；构建字体风格转换网络，实现汉字字体样式的转换，得到字体图像；通过细节重构网络模型，采用端对端的深度卷积对所述字体图像进行细节重建，将汉字笔画语义与深度生成网络相融合；利用解码器中不同中间层的特征，为细节重构网络模型补充对抗训练；依次将所述字体数据集输入到对抗训练后的细节重构网络模型中，通过生成器输入相对应的完整目标字体；采用注意力机制对不同的尺度空间赋予不同的权重，获得不同的尺度空间的全局和综合表示，提升神经网络的感受可以进一步提高生成图像的质量。

【技术实现步骤摘要】
基于压缩与激励的GAN网络的汉字字体生成方法
本专利技术涉及GAN网络模型
，具体涉及基于压缩与激励的GAN网络的汉字字体生成方法。
技术介绍
文字作为人类文明的重要载体，是文化的象征，是人类文明进步的重要标志，也是古往今来信息记录保存、传递发展的重要方式。与英文等其他文字不同的是，汉字是目前被唯一被广泛应用的以二维形式表现的文字。汉字是中国文化的一部分，字体则为汉字的载体，每个字的造型，比例，细节和风格根据应用场景的不同而发生着变化。字体不仅能够增强可读性、可理解性、可信度，还能够增加美感。不同的字体呈现的形态不同，为视觉增添新的表达方式的同时，也能为字体增加视觉美感和传播价值。现在越来越多的人喜欢在不同情况下使用个性化字体。一方面，不同的字体风格可以灵活地表达个性，赋予文本反应时代的特征和标志。另一方面，个性化字体风格中的字形带来动态视觉感知，能够在各种社交网络媒体中吸引更多注意力。然而，创建一套完整的中文字体至今为止仍然是一项耗时且费力的工作，汉字字体不仅量大，而且复杂，一套字体设计周期长、反复工作量大，想要实现独特性表达几乎不能完成。在人工智能计算机视觉领域内，深度学习的应用和发展取得了伟大成就。随着人工智能持续升温，人工智能技术的不断发展不仅提升生产力，也不断的创造新产品走进人们的生活。汉字字体生成因为其领域相对较小，而且成本硬件较低，使得汉字字体生成问题受到了越来越多的关注。在设计字体的过程中，使用人工智能的方式解决针对传统汉字设计工艺缓慢，耗时费力的问题。借助生成模型和计算机的运算，通过生成模型学习较少字体样本的风格，并根据少数字体样本的风格生成其他风格一致的字体，这将极大地减轻重复性的工作，提高字体设计的效率。其次通过这种方式能够降低字体库建立的门槛，使得创建属于私有的字体库成为可能。基于深度学习的方法，可以将其看作是一个图像到图像的转换问题，基于深度神经网络模型可以直接从标准字体图像生成书法图像。生成的字体中通常包含模糊和重影的伪图像。这些方法对于具有复杂结构和或草书手写风格的字符，通常产生不合理笔画和不正确结构的结果。因汉字数量庞大，结构复杂，创建一套完整的个性化中文字体至今仍是一项艰巨的任务。在人工智能和计算机图形学领域，自动生成中文字体是一个有待解决的问题。基于计算机图形学方法仍然离不开人工干预，基于人工智能方法生成的字体图像往往存在不正确的笔画和严重的模糊问题。
技术实现思路
针对现有技术存在上述缺陷，本申请提供一种基于压缩与激励的GAN网络的汉字字体生成方法，将汉字笔画语义与深度生成网络相融合，使得模型生成的字体具有更合理笔画。为实现上述目的，本申请的技术方案为：基于压缩与激励的GAN网络的汉字字体生成方法，包括：获取字体数据集，所述字体数据集包括两部分，第一部分为不同样式的字体库数据集，第二部分为字符数据集；构建字体风格转换网络，实现汉字字体样式的转换，得到字体图像；通过细节重构网络模型，采用端对端的深度卷积对所述字体图像进行细节重建，将汉字笔画语义与深度生成网络相融合；利用解码器中不同中间层的特征，为细节重构网络模型补充对抗训练；依次将所述字体数据集输入到对抗训练后的细节重构网络模型中，通过生成器输入相对应的完整目标字体；根据模型评级体系评价字体生成质量。进一步的，所述获取字体数据集，具体为：随机挑选不同手写风格和设计风格的多个中文字库；将字符数据集分为两部分，第一部分为按照使用频率选取的字符集；再选取若干个字符补充字符集；将选取包含所有33种类型的笔划字形结构复杂得字符作为第二部分；得到最佳输入字符集。进一步的，所述构建字体风格转换网络，实现汉字字体样式的转换，得到字体图像，具体为：通过字体图像生成器G和字体图像鉴别器D构成字体风格转换网络；所述字体图像生成器G包括编码器与解码器，所述编码器与解码器为带跳跃连接的UNet结构；卷积层的特征图和与之相应成镜像关系的反卷积层特征图进行跳跃连接，对应通道直接拼接后经过非线性激活层然后传入下一层；卷积层逐渐减小特征图的大小，反卷积层再逐渐增大特征图的大小，确保输入输出大小一致，卷积核大小都相同；给定一对训练样本(x,y)，该训练样本包括同一字符的标准字体图像x和目标字体图像y；最终目标是:minGmaxDV(D，G)＝Ey～pdata(y)[logD(x，y)]+Ex～pdata(x)[log(1-D(x，G(x)))]其中，minGmaxDV(D,G)表示在给定G的情况下最大化V(D,G)求解D，然后固定D最小化V(D,G)求解G；Ey～pdata(y)表示对字体图像鉴别器D鉴别真实样本的能力的数学期望,Ex～pdata(x)表示字体图像生成器G欺骗鉴别器的能力的数学期望；logD(x，y)表示字体图像鉴别器D鉴别真实样本的能力，log(1-D(x,G(x)))表示字体图像生成器G欺骗鉴别器的能力；采用3×3、5×5、7×7卷积核三种不同大小的卷积核获取空间信息，并采用注意力机制对不同的尺度空间赋予不同的权重，以获得选择权重的全局和综合表示；对于输入的特征图X∈RH×W×C，采用三个卷积层进行变换：F1:X→U1∈RH×W×C,F2:X→U2∈RH×W×C和F3:X→U3∈RH×W×C；其中X表示字体图像，H表示图像高度，W表示宽度，C表示通道，R表示实数范围，三种不同的卷积层F1、F2、F3的卷积核大小分别是3×3、5×5、7×7；每个卷积层均进行BatchNormalization处理，采用ReLU作为激活函数；采用元素求对三个卷积层的输出进行合并：U＝U1+U2+U3其中U∈RH×W×K，U表示对于三个不同卷积层输出的U1、U2、U3的合并；U的第k个特征图的统计信息通过平均池化操作求得：其中，Fgp(Uk)表示对Uk做平均池化,Uk(i,j)表示图像矩阵；k表示维度；i,j表示二维数组中的一个元素；然后采用全连接层将s进行降维：z＝ReLu(BN(Ws))其中BN表示批量标准化，W∈Rd×K，d为d＝max(K/16,32)，Ws表示sk的集合；获得三种不同尺度空间下第k个特征图的的注意力值：其中A,B,C∈RK×d，ak、bk、ck分别表示U1、U2、U3每个特征图的注意力值，Akz是Ak的第z行，Bkz是Bk的第z行、Ckz是Ck的第z行；将三个不同尺度上的注意力特征图相加求得：Vk＝ak·U1k+bk·U2k+ck·U3k其中V＝[V1,V2,...,VK]，Vk∈RH×W；通过不同的感受得到了不同的尺度空间的全局和综合表示，进一步提高生成字体图像的质量。进一步的，采用四个卷积层对细节重构网络模型进行构建，具体为：将生成器生成的字体图像X输入至第一卷积层F1中：F1(y)＝max(0，W1*X+B1)其中W1代表卷积核的权本文档来自技高网...

【技术保护点】
1.基于压缩与激励的GAN网络的汉字字体生成方法，其特征在于，包括：/n获取字体数据集，所述字体数据集包括两部分，第一部分为不同样式的字体库数据集，第二部分为字符数据集；/n构建字体风格转换网络，实现汉字字体样式的转换，得到字体图像；/n通过细节重构网络模型，采用端对端的深度卷积对所述字体图像进行细节重建，将汉字笔画语义与深度生成网络相融合；利用解码器中不同中间层的特征，为细节重构网络模型补充对抗训练；/n依次将所述字体数据集输入到对抗训练后的细节重构网络模型中，通过生成器输入相对应的完整目标字体；/n根据模型评级体系评价字体生成质量。/n

【技术特征摘要】
1.基于压缩与激励的GAN网络的汉字字体生成方法，其特征在于，包括：
获取字体数据集，所述字体数据集包括两部分，第一部分为不同样式的字体库数据集，第二部分为字符数据集；
构建字体风格转换网络，实现汉字字体样式的转换，得到字体图像；
通过细节重构网络模型，采用端对端的深度卷积对所述字体图像进行细节重建，将汉字笔画语义与深度生成网络相融合；利用解码器中不同中间层的特征，为细节重构网络模型补充对抗训练；
依次将所述字体数据集输入到对抗训练后的细节重构网络模型中，通过生成器输入相对应的完整目标字体；
根据模型评级体系评价字体生成质量。


2.根据权利要求1所述基于压缩与激励的GAN网络的汉字字体生成方法，其特征在于，所述获取字体数据集，具体为：
随机挑选不同手写风格和设计风格的多个中文字库；
将字符数据集分为两部分，第一部分为按照使用频率选取的字符集；
再选取若干个字符补充字符集；
将选取包含所有33种类型的笔划字形结构复杂得字符作为第二部分；
得到最佳输入字符集。


3.根据权利要求1所述基于压缩与激励的GAN网络的汉字字体生成方法，其特征在于，所述构建字体风格转换网络，实现汉字字体样式的转换，得到字体图像，具体为：
通过字体图像生成器G和字体图像鉴别器D构成字体风格转换网络；所述字体图像生成器G包括编码器与解码器，所述编码器与解码器为带跳跃连接的UNet结构；
卷积层的特征图和与之相应成镜像关系的反卷积层特征图进行跳跃连接，对应通道直接拼接后经过非线性激活层然后传入下一层；卷积层逐渐减小特征图的大小，反卷积层再逐渐增大特征图的大小，确保输入输出大小一致，卷积核大小都相同；
给定一对训练样本(x，y)，该训练样本包括同一字符的标准字体图像x和目标字体图像y；最终目标是：
minGmaxDV(D，G)＝Ey～pdata(y)[logD(x，y)]+Ex～pdata(x)[log(1-D(x，G(x)))]
其中，minGmaxDV(D，G)表示在给定G的情况下最大化V(D，G)求解D，然后固定D最小化V(D，G)求解G；Ey～pdata(y)表示对字体图像鉴别器D鉴别真实样本的能力的数学期望，Ex～pdata(x)表示字体图像生成器G欺骗鉴别器的能力的数学期望；logD(x，y)表示字体图像鉴别器D鉴别真实样本的能力，log(1-D(x，G(x)))表示字体图像生成器G欺骗鉴别器的能力；
采用3×3、5×5、7×7卷积核三种不同大小的卷积核获取空间信息，并采用注意力机制对不同的尺度空间赋予不同的权重，以获得选择权重的全局和综合表示；
对于输入的特征图X∈RH×W×C，采用三个卷积层进行变换：F1：X→U1∈RH×W×C，F2：X→U2∈RH×W×C和F3：X→U3∈RH×W×C；其中X表示字体图像，H表示图像高度，W表示宽度，C表示通道，R表示实数范围，三种不同的卷积层F1、F2、F3的卷积核大小分别是3×3、5×5、7×7；每个卷积层均进行批量标准化处理，ReLU作为激活函数；采用元素求对三个卷积层的输出进行合并：
U＝U1+U2+U3
其中U∈RH×W×K，U表示对于三个不同卷积层输出的U1、U2、U3的合并；U的第k个特征图的统计信息通过平均池化操作求得：



其中，Fgp(Uk)表示对Uk做平均池化，Uk(i，j)表示图像矩阵；k表示维度；i，j表示二维数组中的一个元素；
然后采用全连接层将s进行降维：
...

【专利技术属性】
技术研发人员：王存睿，丁阳，战国栋，
申请(专利权)人：大连民族大学，
类型：发明
国别省市：辽宁;21