基于多任务辨别器生成对抗网络的字体生成方法及装置制造方法及图纸

技术编号:29202281 阅读:46 留言:0更新日期:2021-07-10 00:37
本申请公开了一种基于多任务辨别器生成对抗网络的字体生成方法及装置,将用户创作的字体图像作为风格图像,输入至预先训练得到的生成对抗网络中,得到字库。其中,生成对抗网络的训练过程包括:将训练样本和样本风格图像作为生成器的输入,得到生成器输出的目标图像;将目标图像和样本字体图像输入第一辨别器中,以目标图像的字体内容与样本字体图像的字体内容之间的差异作为训练目标,调整第一辨别器的损失函数;将目标图像和样本风格图像输入第二辨别器中,以目标图像的字体风格与样本风格图像的字体风格之间的差异作为训练目标,调整第二辨别器的损失函数。利用本申请所述方案,能够在保证字体不偏离字体风格的情况下,降低字体生成的错误率。字体生成的错误率。字体生成的错误率。

【技术实现步骤摘要】
基于多任务辨别器生成对抗网络的字体生成方法及装置


[0001]本申请涉及字体创作领域,尤其涉及一种基于多任务辨别器生成对抗网络的字体生成方法及装置。

技术介绍

[0002]文字是信息传播的主要载体,现在随着我国信息化程度地不断提高,广大网民对于信息的处理需求也进一步扩大。基于汉字的撰写工作,赏心悦目的字体往往能促进作者的创造能力。但是,字体的创作是一个十分复杂的过程,首先,需要创作者设计若干个汉字,然后扩展到所有汉字,并且需要让所有的汉字保持同一种风格。由于汉字的数量十分巨大,故制作一个完整汉字的字库,将会给创作者带来十分巨大的工作量。
[0003]目前,通常利用基于pix2pix的字体生成模型,能够辅助创作者进行字体生成,以减少字体创作的工作量。但是,现有的技术方案存在以下缺点:
[0004]1、较为容易生成错别字,即字体生成的错误率较高;
[0005]2、生成字体的字体风格不够强,偏离了创作者所创作的字体风格。
[0006]为此,如何在保证字体不偏离字体风格的情况下,降低字体生成的错误率,成为本领域亟需解决的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务辨别器生成对抗网络的字体生成方法,其特征在于,包括:将预先获取的用户创作的字体图像,作为风格图像;将所述风格图像输入至预先训练得到的生成对抗网络中,得到所述生成对抗网络输出的字库;其中,所述生成对抗网络包括生成器、第一辨别器和第二辨别器,所述字库包括字体风格与所述风格图像的字体风格相同、且字体内容互不相同的多个字体图像,所述生成对抗网络的训练过程包括:将训练样本、以及样本风格图像作为所述生成器的输入,得到所述生成器输出的目标图像;所述训练样本包括样本字体图像;将所述目标图像和所述样本字体图像输入至所述第一辨别器中,以所述目标图像的字体内容与所述样本字体图像的字体内容之间的差异,作为训练目标,调整所述第一辨别器的损失函数、以及所述生成器的参数;将所述目标图像和所述样本风格图像输入至所述第二辨别器中,以所述目标图像的字体风格与所述样本风格图像的字体风格之间的差异,作为训练目标,调整所述第二辨别器的损失函数、以及所述生成器的参数。2.根据权利要求1所述的方法,其特征在于,所述生成器包括第一编码器、第二编码器和解码器;所述将样本字体图像、以及样本风格图像作为所述生成器的输入,得到所述生成器输出的目标图像,包括:将训练样本作为所述第一编码器的输入,利用所述第一编码器对所述训练样本进行字体内容特征提取,得到内容特征向量;将样本风格图像作为所述第二编码器的输入,利用所述第二编码器对所述样本风格图像进行字体风格特征提取,得到风格特征向量;将所述内容特征向量和所述风格特征向量作为所述解码器的输入,利用所述解码器对所述内容特征向量和所述风格特征向量进行融合,得到所述生成器对外输出的目标图像。3.根据权利要求2所述的方法,其特征在于,所述训练样本包括字体内容相同、且字体风格不同的多个样本字体图像;所述利用所述第一编码器对所述训练样本进行字体内容特征提取,得到内容特征向量,包括:利用所述第一编码器执行下述步骤:对所述字体内容相同、且字体风格不同的多个样本字体图像进行字体内容特征提取,得到多个内容特征向量;计算各个所述内容特征向量的平均数,得到第一特征向量;将所述第一特征向量作为所述第一编码器对外输出的内容特征向量。4.根据权利要求2所述的方法,其特征在于,所述样本风格图像的数量为多个;所述利用所述第二编码器对所述样本风格图像进行字体风格特征提取,得到风格特征向量,包括:利用所述第二编码器执行下述步骤:对多个所述样本风格图像进行字体风格特征提取,得到多个风格特征向量;
对各个所述风格特征向量进行全局池化;计算各个全局池化后的所述风格特征向量的平均数,得到第二特征向量;将所述第二特征向量作为所述第二编码器对外输出的风格特征向量。5.根据权利要求2所述的方法,其特征在于,所述利用所述解码器对所述内容特征向量和所述风格特征向量进行融合,得到所述生成器对外输出的目标图像,包括:利用所述解码器执行下述步骤:分别对所述内容特征向量和所述风格特征向量进行自适应归一化;将自适应归一化后的所述内容特征向量、以及自适应归一化后的所述风格...

【专利技术属性】
技术研发人员:郭铭涛唐勇王铮熊伟
申请(专利权)人:杭州王道控股有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1