一种基于矢量量化的变分自编码机的多风格字体生成方法技术

本发明专利技术公开了一种基于矢量量化的变分自编码机的多风格字体生成方法，建立固定字体风格的汉字图片的取样样本；根据取样样本，通过调试过的固定尺寸的框和步长依次对取样样本的字符进行切割，经调试后的框内只包括一个字，将框内的数据读取出来，转成图片保存，即切割出单个字体的图像，切割后随机选取图像作为需要扩充的风格字体的数据集，作为最终训练数据；将得到的最终训练数据输入网络结构进行迭代和训练，并将网络输出得到的损失值输入优化器来更新编码器权重和解码器权重，以及量化隐向量的参数值；将单个训练样本和待扩展的汉字数据样本带入经更新的编码器和解码器中进行重构，得到进行风格扩充后的字体样本。

A multi style font generation method based on vector quantization

【技术实现步骤摘要】
一种基于矢量量化的变分自编码机的多风格字体生成方法
本专利技术属于图像处理与人工智能深度学习
，涉及一种基于矢量量化的变分自编码机的多风格字体生成方法。
技术介绍
文字作为信息的载体，不仅传达了人们想要表达的内容，文字的样式作为一种艺术形式也逐渐被人们开发起来。在海报设计，标语设计等方面，使用合适的字体在阅读时更能吸引读者的注意力，也极大的提高了文字整体的美观度。现已有的一些办公软件和图片处理软件已经内置了很多常用的风格字体，网络上也有很多个人或企业设计的其他样式的字体。但部分风格字体的字库在设计时没有囊括一些不常用的汉字，而使用者会因此产生字体风格样式不统一的情况，影响了设计的美观度。不同风格字体字库在设计时需要设计师来设计主体的风格，从而扩展到其他文字，但为了使字库囊括所有的汉字，又会增加设计师的工作量，消耗更多的人力与物力。鉴于以上种种原因，如何在现有风格字体字库的基础上对字库中不包含的汉字进行风格扩充，同时保证扩充时风格的准确性，成为当下需要解决的一个问题。
技术实现思路
本专利技术的目的是提供一种基于本文档来自技高网...

【技术保护点】
1.一种基于矢量量化的变分自编码机的多风格字体生成方法，其特征在于，包括以下步骤：/n步骤1、建立固定字体风格的汉字图片的取样样本；/n步骤2、根据步骤1中的取样样本，通过调试过的固定尺寸的框和步长依次对取样样本的字符进行切割，经调试后的框内只包括一个字，将框内的数据读取出来，转成图片保存，即切割出单个字体的图像，切割后随机选取图像作为需要扩充的风格字体的数据集，作为最终训练数据；/n步骤3、将步骤2中得到的最终训练数据输入网络结构进行迭代和训练，并将网络输出得到的损失值输入优化器来更新编码器权重和解码器权重，以及量化隐向量的参数值；/n步骤4、将单个训练样本和待扩展的汉字数据样本带入经步骤3...

【技术特征摘要】
1.一种基于矢量量化的变分自编码机的多风格字体生成方法，其特征在于，包括以下步骤：
步骤1、建立固定字体风格的汉字图片的取样样本；
步骤2、根据步骤1中的取样样本，通过调试过的固定尺寸的框和步长依次对取样样本的字符进行切割，经调试后的框内只包括一个字，将框内的数据读取出来，转成图片保存，即切割出单个字体的图像，切割后随机选取图像作为需要扩充的风格字体的数据集，作为最终训练数据；
步骤3、将步骤2中得到的最终训练数据输入网络结构进行迭代和训练，并将网络输出得到的损失值输入优化器来更新编码器权重和解码器权重，以及量化隐向量的参数值；
步骤4、将单个训练样本和待扩展的汉字数据样本带入经步骤3更新的编码器和解码器中进行重构，得到进行风格扩充后的字体样本。


2.根据权利要求1所述的一种基于矢量量化的变分自编码机的多风格字体生成方法，其特征在于，所述步骤1和步骤2的具体过程为：
步骤1、首先在Word文档中输入m页固定字体风格的汉字，每个汉字之间插入空格；然后将该Word文档转成pdf格式；最后将pdf格式转成jpg格式图片，最终将得到m张图片，即为取样样本；
步骤2、对步骤1取样样本中的m张图片，通过调试过的固定尺寸的框和步长依次对每张图片的字符随机切割出i张、大小为c×r的图片，即得到m×i张、大小为c×r的图片，得到最终训练数据。


3.根据权利要求1所述的一种基于矢量量化的变分自编码机的多风格字体生成方法，其特征在于，所述步骤3的具体过程为：
步骤3.1、选取步骤2中任意一个字体风格的图像style_img，输入到编码器E，字体风格图像style_img经过编码器网络的底层计算，得到该图像的底层特征图hbottom＝Ebottom(style_img)，代表输入图像的结构信息；再将底层特征图经过编码器网络的上层计算，得到该图像的上层特征图htop＝Etop(hbottom)，代表该输入图像的细节信息；
步骤3.2、将步骤3.1得到的上层特征图htop根据公式(1)进行矢量量化，得到上层特征图对应的隐空间向量etop；



其中，E(x)表示解码器的输出；ej是服从某一分布的随机向量，表示隐变量，Quantize()代表量化的函数，ek代表量化后得到对应的隐空间的向量，k代表下标，argmin代表取(E(x)-ej)所有值中最小值对应的向量下标；
步骤3.3、将步骤3.2中得到的etop经过解码器上层网络Dtop，再将输出和底层特征图hbottom合并输入到矢量量化模块，得到底层特征图对应的隐空间向量ebottom；
步骤3.4、将步骤3.2、步骤3.3中通过矢量量化得到的对应隐空间向量etop、ebottom输入到底层解码器Dbottom中进行重构，输出重构后的图像generated_img；
步骤3.5、通过网络损失函数计算出变分自编码机中整个网络的损失，使用Adam梯度下降方法来更新编码器网络、解码器网络和矢量量化网络中的权重Adam(w，Lossw，α)，其中α表示梯度下降的学习率且α＝0.003，Lossw表示整个网络的损失，w表示整个网络中的权重；当解码器网络输入e后输出的结果D(e)≈输入图像x时，则generated_img≈style_img，得到的整个网络中的权重w具有了训练数据中字体对应的风格特征，训练完成。


4.根据权利要求3所述的一种基于矢量量化的变分自编码机的多风格字体生成方法，其特征在于，所述步骤3.1的具体过程为：<...

【专利技术属性】
技术研发人员：张九龙，温昕燃，屈晓娥，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61