【技术实现步骤摘要】
本申请涉及字体生成，更具体的说，是涉及一种个性化手写字体生成方法、模型训练方法及相关设备。
技术介绍
1、文字和图像一样，是一种非常重要的数据形式，在计算机视觉领域，文字识别技术(ocr)也非常重要，这个任务通常是连接计算机视觉和自然语言处理的重要桥梁。文字在视觉表现上，主要呈现为字体。字体无论是在商业还是在艺术上都有重要价值。然而，字体的设计通常需要花费较大的人力成本，一般来说，为用户定制一套个性化字体需要字体设计团队耗时一年左右，时间和资源成本耗费较大，普通人难以实现字体的个性化定制。
2、对于英文、韩文来说，由于其基本组成单元少、结构简单，其对应字体的合成过程相对简单；而对于汉字，其字符类别繁多且结构复杂。对于通用的标准字体来说，其字体的风格主要集中在笔刷的区分上，如黑体、宋体这种较工整的汉字字体，但基于用户的手写风格而设计一套个性化字体需要花费更大的代价，主要是由于书写者的笔迹风格、书写内容内部的连笔、断开的风格混合、不同人相同字符或同一人不同字符之间存在书写结构变化不统一、字符间距和倾向等情况，很难定义或预测手写字符特定的外观表征，如图1所示，对于“且将新火试新茶，诗酒趁年华”这句话，图1示例了三个不同书写者的书写结果，每一行为一个书写者的书写结果。以“将”字为例，图1中矩形框标记的“将”字的偏旁可知，不同书写者对同一偏旁的书写风格完全不同，同理对于矩形框标记的“试”字的组成部分以及对于“酒”字的组成部分。
3、因此，生成与书写人风格统一的个性化字体成为一项非常有挑战性的工作。现有技术需要字体设
技术实现思路
1、鉴于上述问题，提出了本申请以便提供一种个性化手写字体生成方法、字体生成模型训练方法、装置、设备及存储介质，以实现在用户书写少量汉字的基础上可以捕获出用户的书写风格，进而自动生成一套完整的风格统一的个性化手写字体，节约成本，提升效率。具体方案如下：
2、第一方面，提供了一种个性化手写字体生成方法，包括：
3、基于用户书写的文字图像，获取每个文字的骨架结构图，所述文字图像中包含若干个文字；
4、利用图像风格提取器对设定数量个所述文字的骨架结构图进行处理，得到用户书写的风格特征；
5、利用内容参考字特征提取器对指定的内容参考字进行处理，得到所述内容参考字的内容结构特征；
6、融合所述风格特征和所述内容结构特征得到融合特征，并基于所述融合特征生成具有用户书写风格的个性化字体。
7、优选地，融合所述风格特征和所述内容结构特征得到融合特征的过程，包括：
8、将所述风格特征和所述内容结构特征在空间位置上进行匹配融合，得到融合特征。
9、优选地，将所述风格特征和所述内容结构特征在空间位置上进行匹配融合的过程，包括：
10、基于交叉注意力机制cross-attention对所述风格特征和所述内容结构特征在空间位置上进行匹配融合。
11、优选地，融合所述风格特征和所述内容结构特征得到融合特征，并基于所述融合特征生成具有用户书写风格的个性化字体的过程通过字体生成器实现，所述字体生成器包括特征融合模块和解码器；
12、所述特征融合模块用于融合所述风格特征和所述内容结构特征得到融合特征；
13、所述解码器用于基于所述融合特征生成具有用户书写风格的个性化字体。
14、优选地，所述图像风格提取器、内容参考字特征提取器和字体生成器组成字体生成模型；
15、所述字体生成模型作为生成对抗网络gan中的生成器，与判别器进行对抗训练；
16、所述字体生成模型训练阶段的损失函数包括生成对抗训练损失函数。
17、优选地，所述判别器为多任务判别器，同时对图像中字体的类型和所属风格进行区分。
18、优选地，所述字体生成模型训练阶段的损失函数还包括：
19、特征匹配损失函数，所述特征损失函数用于最小化特征提取器对生成图像和标签图像分别提取的隐层特征间的差异，所述生成图像为所述字体生成模型在训练阶段所生成的个性化字体图像。
20、优选地，所述特征提取器包括：
21、所述生成对抗网络gan中的判别器；
22、和/或，
23、预训练的图像特征提取网络。
24、优选地，所述设定数量为10个。
25、优选地，所述基于用户书写的文字图像，获取每个文字的骨架结构图的过程，包括：
26、从用户书写的文字图像中提取单字图像；
27、对每个所述单字图像采用图像预处理算法消除背景干扰并进行字形的尺度规整，得到每个文字的骨架结构图。
28、优选地，所述文字包括中文汉字。
29、第二方面，提供了一种字体生成模型训练方法，所述字体生成模型用于生成个性化手写字体，所述字体生成模型作为生成对抗网络gan中的生成器，与判别器进行对抗训练；
30、在训练阶段的损失函数包括生成对抗训练损失函数，和特征匹配损失函数，所述特征损失函数用于最小化特征提取器对生成图像和标签图像分别提取的隐层特征间的差异，所述生成图像为所述字体生成模型在训练阶段所生成的个性化字体图像。
31、第三方面，提供了一种个性化手写字体生成装置，包括：
32、骨架结构图获取单元，用于基于用户书写的文字图像，获取每个文字的骨架结构图，所述文字图像中包含若干个文字；
33、第一计算单元，用于利用图像风格提取器对设定数量个所述文字的骨架结构图进行处理，得到用户书写的风格特征；
34、第二计算单元，用于利用内容参考字特征提取器对指定的内容参考字进行处理，得到所述内容参考字的内容结构特征；
35、结果生成单元，用于融合所述风格特征和所述内容结构特征得到融合特征，并基于所述融合特征生成具有用户书写风格的个性化字体。
36、第四方面，提供了一种个性化手写字体生成设备，包括：存储器和处理器；
37、所述存储器，用于存储程序；
38、所述处理器，用于执行所述程序，实现如前所述的个性化手写字体生成方法的各个步骤。
39、第五方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前所述的个性化手写字体生成方法的各个步骤。
40、借由上述技术方案，本申请用户可以书写任意少量文字并拍摄得到文字图像，通过文字图像可以获取用户书写的每个文字的骨架结构图，可以从中任意选取设定数量个文字的骨架结构图，进而利用配置的图像风格提取器对选取的文字的骨架结构图进行处理，得到用户书写的风格特征，利用配置的内容参考字特征提取器对指定的内容参考字进行处理，得到内容参考字的内容结构特征，为了保证生成的个性化手写字体的书写风格与用户书写风格统一，以及字体结构的正确性，本申请将风格特征和内容结构特征进行融合，将用户的书写风本文档来自技高网...
【技术保护点】
1.一种个性化手写字体生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，融合所述风格特征和所述内容结构特征得到融合特征的过程，包括：
3.根据权利要求2所述的方法，其特征在于，将所述风格特征和所述内容结构特征在空间位置上进行匹配融合的过程，包括：
4.根据权利要求1所述的方法，其特征在于，融合所述风格特征和所述内容结构特征得到融合特征，并基于所述融合特征生成具有用户书写风格的个性化字体的过程通过字体生成器实现，所述字体生成器包括特征融合模块和解码器；
5.根据权利要求4所述的方法，其特征在于，所述图像风格提取器、内容参考字特征提取器和字体生成器组成字体生成模型；
6.根据权利要求5所述的方法，其特征在于，所述判别器为多任务判别器，同时对图像中字体的类型和所属风格进行区分。
7.根据权利要求5所述的方法，其特征在于，所述字体生成模型训练阶段的损失函数还包括：
8.根据权利要求7所述的方法，其特征在于，所述特征提取器包括：
9.根据权利要求1所述的方法，其特征在于，所
10.根据权利要求1所述的方法，其特征在于，所述基于用户书写的文字图像，获取每个文字的骨架结构图的过程，包括：
11.根据权利要求1～10任一项所述的方法，其特征在于，所述文字包括中文汉字。
12.一种字体生成模型训练方法，其特征在于，所述字体生成模型用于生成个性化手写字体，所述字体生成模型作为生成对抗网络GAN中的生成器，与判别器进行对抗训练；
13.一种个性化手写字体生成装置，其特征在于，包括：
14.一种个性化手写字体生成设备，其特征在于，包括：存储器和处理器；
15.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1～11中任一项所述的个性化手写字体生成方法的各个步骤。
...【技术特征摘要】
1.一种个性化手写字体生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，融合所述风格特征和所述内容结构特征得到融合特征的过程，包括：
3.根据权利要求2所述的方法，其特征在于，将所述风格特征和所述内容结构特征在空间位置上进行匹配融合的过程，包括：
4.根据权利要求1所述的方法，其特征在于，融合所述风格特征和所述内容结构特征得到融合特征，并基于所述融合特征生成具有用户书写风格的个性化字体的过程通过字体生成器实现，所述字体生成器包括特征融合模块和解码器；
5.根据权利要求4所述的方法，其特征在于，所述图像风格提取器、内容参考字特征提取器和字体生成器组成字体生成模型；
6.根据权利要求5所述的方法，其特征在于，所述判别器为多任务判别器，同时对图像中字体的类型和所属风格进行区分。
7.根据权利要求5所述的方法，其特征在于，所述字体生成模型训练阶段的损失函数还包括...
【专利技术属性】
技术研发人员：刘辰宇，于凤丽，殷保才，胡金水，殷兵，张亚兵，谢名亮，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。