一种基于深度神经网络的手写体中文字库自动生成方法技术

本发明专利技术公布了一种基于深度神经网络的手写体中文字库自动生成方法，通过少量手写体汉字进行字体特征重建，建立字体风格迁移网络，通过字体风格迁移网络估计用户未书写字形的字体风格特征，将参考字体的字形内容与用户书写风格结合，迁移到目标手写体风格，生成目标字形图片，从而得到完整的字库中文手写体字库。本发明专利技术方法是一种端到端的生成方法，不需要对汉字进行笔画或部件提取，也不需要人工干预，生成高质量的汉字字形，极大地提高了手写体字库制作的效率，使得个性化字库的生成变得简单方便，能够满足普通人对于个性化手写体字库的需求，加快个性化字库的发展进程。

An automatic generation method of handwritten Chinese character library based on deep neural network

The invention discloses a method for automatically generating handwritten font Chinese depth based on neural network, with a small number of handwritten Chinese characters font feature reconstruction, the establishment of font style transfer network, the user does not estimate the writing font style features through the font style transfer network, the reference font content and user writing style with migration to the target handwriting style, generating glyph images, and get the complete Chinese handwritten font font. The method of the invention is a method for generating end to end, do not need to extract strokes or part Chinese characters, also do not need manual intervention, to generate high quality Chinese characters shape, greatly improve the efficiency of production of handwritten fonts, makes personalized font become easy and convenient, can satisfy the common people for personalized handwriting fonts need to speed up the development process of personalized font.

【技术实现步骤摘要】
一种基于深度神经网络的手写体中文字库自动生成方法
本专利技术涉及计算机图形处理技术和人工智能技术，尤其涉及一种基于深度神经网络的手写体中文字库自动生成方法。
技术介绍
随着移动互联网的飞速发展，人们追求美观、个性化的意愿越来越强烈。标准的楷体、宋体等字体虽然使用方便，但是缺乏个性。微博、微信和QQ等社交媒体的普及，使得年轻人希望使用自己的手写体来彰显个性。同时，越来越多的书法爱好者希望能在电脑、手机等电子移动设备上使用自己个性化的手写体书写电子文档，进行沟通交流，达到一种“见字如见人”的效果。此外，个性化字体也可以用于公司标志等商业设计，来突显企业文化。由拉丁字母、数字、标点符号等组成的西文字符集较小，可以容易地实现计算机存储与编码。而汉字结构复杂，数量庞大，常用的GB2312字符集包含6763个简体中文汉字。目前国内的字体设计和制作技术不够先进，现有的中文字库制作方法大多依赖于人工经验和设计，自动化程度很低，一般先由书法家书写或字体设计师制作几百到几千个基准字，包含目标字库所有汉字出现的全部笔画和部件，并将这些字形的边缘轮廓用曲线和直线来存储。然后，字体制作人员将基准字的笔画和部件进行加工修改，来生成完整的字库。最后，每个汉字字形还要经过精细的调整。大量的人工字形调整与设计造成字库制作技术自动化程序低，制作周期长，效率低下。近些年来，很多研究学者通过复用汉字笔画或者部件来合成汉字，但是这些方法需要事先进行笔画或部件的提取，并需要人工干预保证提取结果的正确性，对于个性化字库的快速制作并不可行。随着深度学习的发展，深度神经网络被应用于中文汉字的生成。文献(YuchenTian.2016.Rewrite:NeuralStyleTransferForChineseFonts.(2016).RetrievedNov23,2016fromhttps://github.com/kaonashi-tyc/Rewrite)记载的“Rewrite”方法设计了一种涓滴状网络结构，能够生成较标准的字体，但是用户需要书写几千个汉字，对于书写潦草、与参考字体风格差异大的情况生成效果不好。文献(ZhouhuiLian,BoZhao,andJianguoXiao.2016.Automaticgenerationoflargescalehandwritingfontsviastylelearning.InProc.SIGGRAPHASIA2016TB.ACM,12.)通过对书写风格建模生成完整的中文字库，但是该方法需要事先进行笔画或部件的自动提取。文献(YuchenTian.2017.zi2zi:MasterChineseCalligraphywithConditionalAdversarialNetworks.(2017).RetrievedJun3,2017fromhttps://github.com/kaonashi-tyc/zi2zi)记载的zi2zi方法基于条件生成对抗网络和U-net的结构，采用对抗训练的方式，合成特定风格的汉字图片，但它仍然存在模糊和虚假边缘的情况，生成字形的质量不高，不能满足实际应用的需求。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供一种基于深度神经网络的手写体中文字库自动生成方法，包括字体风格的表征、重建与迁移，通过用户书写的少量手写体汉字进行字体特征重建，估计用户未书写字形的字体风格特征；建立字体风格迁移网络，将参考字体的字形内容与用户书写风格结合，实现从参考字体风格迁移到目标手写体风格，生成目标字形图片，从而得到完整的中文手写体字库文件。本专利技术采用的技术方案如下：一种基于深度神经网络的手写体中文字库自动生成方法，通过少量手写体汉字进行字体特征重建，估计用户未书写字形的字体风格特征；然后通过字体风格迁移网络，将参考字体的字形内容与用户书写风格结合，从参考字体风格迁移到目标手写体风格，生成目标字形图片，从而得到完整的中文手写体字库文件；主要包含以下六个步骤：第一步，用户书写指定输入集合的汉字，拍照或扫描成图片；第二步，将图片切分为单个汉字图像，并将单个汉字图像大小归一化到与参考字形图片一致的尺寸；本专利技术具体实施时，将图像大小归一化到224×224的尺寸；第三步，通过预训练好的字体识别网络提取用户书写汉字的字体特征；第四步，通过字体特征重建网络估计用户未书写汉字的字体特征，学习从参考汉字特征到带有用户书写风格的对应汉字的字体特征的变换关系，对用户没有书写的汉字集合进行字体特征重建；参考字体可以是楷体、宋体、黑体等其他字体。第五步，通过卷积神经网络分别提取汉字的字形内容特征和字体风格特征，通过字体风格迁移网络，在字形内容不变的情况下，实现从参考汉字(如方正楷体)到用户书写风格的迁移，生成在完整字库中用户没有书写的汉字图片；第六步，将用户书写的汉字图片和生成的汉字图片组合得到完整的GB2312中文字库6763个汉字图片，并将这些汉字进行矢量化，生成带有用户书写风格的个性化字库文件。具体而言，在第一步中，根据汉字使用频率和GB2312中文字库汉字笔画和部件的构成，选取了775个汉字，组成了输入集合，能够覆盖50％的常用汉字，并且包含了在GB2312中文字库中出现的所有笔画和部件类型。在第二步中，对文本图像进行方向矫正和切割，得到单个汉字图片。将汉字图片放置在以宽高的较长边为边长的正方形的中心，然后将图片缩放到224×224，保持了原汉字的宽高比。在第三步中，对于每一个汉字字形图片，通过预训练好的字体识别网络φ的高层特征来表示字体深度特征。具体而言，字体识别网络采用了VGG16(KarenSimonyanandAndrewZisserman.2014.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition.arXivpreprintarXiv:1409.1556(2014).)的网络结构，在100种字体数据上进行训练。具体利用每种字体的ttf文件生成GB2312字符集的6763个汉字图片，图片大小为224×224。其中一半的图片数据作为训练集，另一半的图片数据作为测试集，在ImageNet数据集训练好的模型上进行参数的调整。本专利技术采用字体识别网络conv5_3层(ReLU激活层之后)14×14×512维的输出来表征汉字的字体风格特征。在第四步中，通过字体特征重建网络估计出用户没有书写的汉字字形的字体特征。在字体识别网络中，相同字体的汉字在深度特征空间里聚集在一起，字体特征重建网络通过用户书写的少量汉字学习从参考字体特征到用户手写体汉字字体特征的变换关系R。对于用户没有书写的汉字，通过字体特征重建网络可以估计出字体特征(如附图3所示)。字体特征重建网络的结构类似于编码器-解码器(如附图2所示)。字体特征编码器的输入是参考字形x经过字体识别网络得到的深度字体特征φrelu5_3(x)，它包含四个下采样层，编码得到的向量和表征字体类别向量进行连接，送入到字体特征解码器中，字体类别向量是一个64维的随机向量，使得网络在训练时能更好地区分每种字体。字体特征解码器与字体特征编码器具有对称的结构，包含一系列上采样层，最终得到估计的深度字体特征h本文档来自技高网...

【技术保护点】
一种基于深度神经网络的手写体中文字库自动生成方法，通过少量手写体汉字进行字体特征重建，估计用户未书写字形的字体风格特征，然后通过字体风格迁移网络，将参考字体的字形内容与用户书写风格结合，从参考字体风格迁移到目标手写体风格，生成目标字形图片，从而得到完整的中文手写体字库文件；包括以下步骤：第一步，用户书写指定输入集合的汉字，通过拍照或扫描得到文本图片；第二步，将文本图片切分得到单个汉字图像，并将单个汉字图像大小归一化到与参考字形图片一致的尺寸；第三步，针对用户书写的每个汉字字形图片，通过预训练好的字体识别网络提取用户书写汉字的字体特征；第四步，通过字体特征重建网络估计用户未书写汉字的字体特征，学习从参考汉字特征到带有用户书写风格的对应汉字的字体特征的变换关系，对用户没有书写的汉字集合进行字体特征重建；第五步，通过卷积神经网络分别提取汉字的字形内容特征和字体风格特征，通过字体风格迁移网络，在字形内容不变的情况下，实现从参考汉字到用户书写风格的迁移，生成在完整字库中用户没有书写的汉字图片；第六步，将用户书写的汉字图片和生成的汉字图片组合得到完整的中文字库的汉字图片，并进行矢量化，从而生成带有用户书写风格的个性化字库文件。...

【技术特征摘要】
1.一种基于深度神经网络的手写体中文字库自动生成方法，通过少量手写体汉字进行字体特征重建，估计用户未书写字形的字体风格特征，然后通过字体风格迁移网络，将参考字体的字形内容与用户书写风格结合，从参考字体风格迁移到目标手写体风格，生成目标字形图片，从而得到完整的中文手写体字库文件；包括以下步骤：第一步，用户书写指定输入集合的汉字，通过拍照或扫描得到文本图片；第二步，将文本图片切分得到单个汉字图像，并将单个汉字图像大小归一化到与参考字形图片一致的尺寸；第三步，针对用户书写的每个汉字字形图片，通过预训练好的字体识别网络提取用户书写汉字的字体特征；第四步，通过字体特征重建网络估计用户未书写汉字的字体特征，学习从参考汉字特征到带有用户书写风格的对应汉字的字体特征的变换关系，对用户没有书写的汉字集合进行字体特征重建；第五步，通过卷积神经网络分别提取汉字的字形内容特征和字体风格特征，通过字体风格迁移网络，在字形内容不变的情况下，实现从参考汉字到用户书写风格的迁移，生成在完整字库中用户没有书写的汉字图片；第六步，将用户书写的汉字图片和生成的汉字图片组合得到完整的中文字库的汉字图片，并进行矢量化，从而生成带有用户书写风格的个性化字库文件。2.如权利要求1所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，在第一步中，根据汉字使用频率和GB2312中文字库汉字笔画和部件的构成，选取775个汉字，覆盖50％常用汉字，并且包含在GB2312中文字库中出现的所有笔画和部件类型，作为输入集合。3.如权利要求1所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，第二步中，具体地，对文本图片进行方向矫正和切割，得到单个汉字图片；将单个汉字图片放置在以宽高的较长边为边长的正方形的中心，再将图片缩放到尺寸224×224，保持原汉字的宽高比。4.如权利要求1所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，在第三步中，具体地，字体识别网络采用文献(KarenSimonyanandAndrewZisserman.2014.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition.arXivpreprintarXiv:1409.1556(2014))记载的VGG16网络结构，在100种字体数据上进行训练，得到预训练好的字体识别网络；采用字体识别网络conv5_3层的输出表征汉字的字体风格特征，由此提取得到用户书写汉字的字体特征。5.如权利要求1所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，在第四步中，字体特征重建网络结构包括字体特征编码器和字体特征解码器；具体通过用户书写的汉字学习从参考字体特征到用户手写体汉字字体特征的变换关系R，通过学习到的变换关系估计出用户没有书写的汉字的字体特征。6.如权利要求5所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，字体特征编码器的输入是参考字形x经过字体识别网络得到的深度字体特征φrelu5_3(x)，字体特征编码器包含四个下采样层，编码得到的向量和表征字体类别向量进行连接，送入到字体特征解码器中，字体类别向量是一个64维的随机向量，使得网络在训练时能更好地区分每种字体；字体特征解码器与字体特征编码器具有对称的结构，包含多个上采样层，得到估计的深度字体特征hs＝R(φrelu5_3(x))。7.如权利要求5所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，字体特征编码器和字体特征解码器的对应层进行跳跃连接。8.如权利要求1所述基于深度神经网络的手写体中文字库自动生成方法，其特征是，在第五步中，字体风格迁移网络将汉字从参考字体风格迁移到用户手写体风格；具体地，分别用两个卷积神经网络编码...

【专利技术属性】
技术研发人员：江月，连宙辉，唐英敏，肖建国，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11