一种基于对抗学习以及隐空间插值的新字体样式生成方法技术

本发明专利技术公开了一种基于对抗学习以及隐空间插值的新字体样式生成方法，首先将已有样式的字体图像输入到内容编码器中提取内容信息得到内容隐码；之后将得到的内容隐码和代表目标样式的标签拼接之后输入到生成网络中，通过专门设计的损失函数保证生成图像与原始输入图像的内容一致，同时生成图像符合指定字体样式风格。当模型训练完毕后在生成器的隐空间进行插值，以得到任意两种已有样式之间的任意程度的中间插值样式，这些中间插值样式即得到的全新的字体样式。全新的字体样式。全新的字体样式。

【技术实现步骤摘要】
一种基于对抗学习以及隐空间插值的新字体样式生成方法


[0001]本专利技术涉及计算机视觉的
，尤其是指一种基于对抗学习以及隐空间插值的新字体样式生成方法。

技术介绍

[0002]文字作为信息交流的重要工具，与我们的日常生活息息相关，是人类文明中不可或缺的组成部分。然而在传统的字库创建中，专业的设计师需要对每一个字进行单独的绘制，并保证字体样式统一。这对于中文(超过60,000个字符)、日文(超过50,000个字符)及韩文(超过10,000个字符)等语言来说，需要耗费大量的时间和人力。为了有效解决传统字库创建方法耗时耗力的问题，本专利技术提出了一种基于对抗学习以及隐空间插值的新字体样式生成方法。
[0003]生成对抗网络(Generative Adversarial Network，简称GAN)是深度学习的一种方法，其特点是通过让两个神经网络以相互博弈的方式进行学习。生成对抗网络由一个生成网络和一个判别网络组成。对于传统的纯生成网络而言，生成网络从隐空间中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本尽可能分辨出来，而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗，不断调整参数，最终目的是使判别网络无法判断生成网络输出的结果是否真实。
[0004]样式生成是指保留图片的内容，将图片的样式转化为目标样式。字体样式生成则是指在保留一个汉字原本的内容生成具有特定样式的新的汉字。利用这一技术可以自动生成具有指定样式的新的汉字，而不需要逐字进行设计。例如，可以从已有样式的完整字库中获得所有汉字的图片，由这些图片提供汉字的内容，设计师只需要设计部分具有特定样式的字体，通过字体样式生成就可以自动生成具有特定样式的完整字库。

技术实现思路

[0005]本专利技术的目的在于解决新的字体样式创建过程中耗时耗力的问题。为此，提出了一种基于对抗学习以及隐空间插值的新字体样式生成方法，该方法使用神经网络对已有的字体样式进行学习，之后通过隐空间插值得到全新的不同于已有字体样式的中间样式。
[0006]为实现上述目的，本专利技术所提供的技术方案为：一种基于对抗学习以及隐空间插值的新字体样式生成方法，包括以下步骤：
[0007]S1、对训练集数据进行处理，将具有同样样式的字体图片标注相同的标签；
[0008]S2、从训练集数据中获取一个样本(x,y)，其中x表示字体图像，y表示标签信息，即字体样式，将图像信息x输入到内容编码网络得到输入图片对应的内容隐码z
c
；
[0009]S3、在保证输入图像内容不变的前提下，将输入文字图像的样式转化为给定标签指定的字体样式，即将S2中得到的图片的内容隐码z
c
和任意指定的样式标签y1输入到生成网络中得到生成图片x
g
；为了保证生成图像中字体内容与原始输入图像内容保持一致，且
生成图像的样式为指定的样式，本专利技术使用了对抗损失、生成图片和目标图片之间的一致损失以及内容一致性损失来约束神经网络的学习过程；
[0010]S4、重复步骤S2
‑
S3，直至达到预先设定的训练次数即完成对神经网络的训练。之后使用训练好的内容编码网络和生成网络对需要进行样式变化的图片进行处理，即将输入图片转化为具有指定样式的字体图片；
[0011]S5、使用训练完毕的生成网络的隐空间中对不同样式的图片进行插值，并使用插值得到的隐码进行后续的生成，进而得到介于两种字体样式之间的新的字体样式。
[0012]在步骤S1中，准备数据集，数据集中应该包括多种样式的字体图片，每种样式的图片中对应的内容即相应的汉字应该保持一致；对数据集进行标注的方法如下，对具有相同字体样式的图像标注相同的标签，具有不同样式的文字图像标注不同的标签；再将所有的数据划分为训练数据集S和测试数据集V两类，训练数据集和测试数据集中都包含所有数据集中的所有字体样式，同时训练数据集和测试数据集中的字体内容不相交。
[0013]在步骤S2中，从训练数据集S中的字体图像提取出图像内容即字体的内容信息，而不考虑字体的样式信息，因此使用一个由多个卷积层组成的内容编码网络E。内容编码网络从输入图像提取出其内容信息并输出，即将字体图片作为输入，将其从RGB图像空间映射到隐空间，得到内容隐码z
c
。在训练过程中采用内容一致损失函数对内容编码网络E的结构进行优化，如下所示：
[0014][0015]其中E内容编码网络，x
s
和x
t
表示同一个字的两种不同的样式的两张图像，比如：“大”字的宋体和楷体，两张图像经过内容编码网络E编码后得到对应的内容隐码，||为绝对值符号，用于计算这两个内容隐码的距离。
[0016]在步骤S3中，将步骤S2中得到的内容隐码z
c
和需要生成的字体样式的对应标签y1输入到生成网络G中以得到输出图像，具体过程如下：
[0017]a)通过一个嵌入层将字体样式标签y1转化为与z
c
相同维度的向量y
1e
；
[0018]b)将y
1e
和z
c
进行拼接，之后输入到生成网络的编码部分中得到隐空间变量w；
[0019]c)将w输入到生成网络的解码部分，得到输出图片x
g
。
[0020]为了保证生成网络能够正确生成样本，在训练过程中定义了一个生成图片和目标图片之间的距离损失函数L
gt
，用于优化生成器的网络结构，其表述如下：
[0021]L
gt
＝|x
t
‑
G(E(x
s
),y
t
))|
[0022]其中y
t
代表指定字体样式的标签，用于指定生成图像的字体风格，x
s
代表输入内容图片，用于指定生成图像的对应的汉字，x
t
代表目标图片，即具有与x
s
相同汉字，并且字体样式标签为y
t
的真实字体，||为绝对值符号，用于计算生成图片和真实图像的距离。
[0023]为了使模型的生成的图片没有缺陷与瑕疵，使用了生成对抗网络中的判别网络D，其能够将转换样式后的生成图像和真实图像区分开。为了与D对抗，生成网络G需要生成更加接近真实的图像，以匹配真实样本的分布。对抗训练中神经网络的生成部分的损失函数L
adv
如下：
[0024]L
adv
＝log D(x
t
)+log(1
‑
D(G(E(x
s
),y
t
)))
[0025]因此，在训练过程中生成网络G和判别网络D的总损失函数为：
[0026]min
G
λ
gt...

【技术保护点】

【技术特征摘要】
1.一种基于对抗学习以及隐空间插值的新字体样式生成方法，其特征在于，包括以下步骤：S1、对训练集数据进行处理，将具有同样样式的字体图片标注相同的标签；S2、从训练集数据中获取一个样本(x,y)，其中x表示字体图像，y表示标签信息，即字体样式，将图像信息x输入到内容编码网络得到输入图片对应的内容隐码z
c
；S3、在保证输入图像内容不变的前提下，将输入文字图像的样式转化为给定标签指定的字体样式，即将S2中得到的图片的内容隐码z
c
和任意指定的样式标签y1输入到生成网络中得到生成图片x
g
；S4、重复步骤S2
‑
S3，直至达到预先设定的训练次数即完成对神经网络的训练，之后使用训练好的内容编码网络和生成网络对需要进行样式变化的图片进行处理，即将输入图片转化为具有指定样式的字体图片；S5、使用训练完毕的生成网络的隐空间中对不同样式的图片进行插值，并使用插值得到的隐码进行后续的生成，进而得到介于两种字体样式之间的新的字体样式。2.根据权利要求1所述的一种基于对抗学习以及隐空间插值的新字体样式生成方法，其特征在于：在步骤S1中，准备数据集，数据集中应该包括多种样式的字体图片，每种样式的图片中对应的内容即相应的汉字应该保持一致；对数据集进行标注的方法如下：对具有相同字体样式的图像标注相同的标签，而具有不同样式的文字图像标注不同的标签；再将所有的数据划分为训练数据集S和测试数据集V两类：训练数据集和测试数据集中都包含所有数据集中的所有字体样式，同时训练数据集和测试数据集中的字体内容不相交。3.根据权利要求1所述的一种基于对抗学习以及隐空间插值的新字体样式生成方法，其特征在于：在步骤S2中，从训练数据集S中的字体图像提取出图像内容即字体的内容信息，而不考虑字体的样式信息，因此使用一个由多个卷积层组成的内容编码网络E，内容编码网络从输入图像提取出其内容信息并输出，即将字体图片作为输入，将其从RGB图像空间映射到隐空间，得到内容隐码z
c
，在训练过程中采用内容一致损失函数对内容编码网络E的结构进行优化，如下所示：其中E内容编码网络，x
s
和x
t
表示同一个字的两种不同的样式的两张图像，比如：“大”字的宋体和楷体，两张图像经过内容编码网络E编码后得到对应的内容隐码，||为绝对值符号，用于计算这两个内容隐码的距离。4.根据权利要求1所述的一种基于对抗学习以及隐空间插值的新字体样式生成方法，其特征在于：在步骤S3中，将步骤S2中得到的内容隐码z
c
和需要生成的字体样式的对应标签y1输入到生成网络G中以得到输出图像，具体过程如下：a)通过一个嵌入层将字体样式标签y1转化为与z
c
相同维度的向量y
1e
；b)将y
1e
和z
c
进行拼接，之后输入...

【专利技术属性】
技术研发人员：吴斯，李家欣，宋全鹏，李芃，
申请(专利权)人：广东知乐技术有限公司，
类型：发明
国别省市：