从部分观察中合成新的字体字形制造技术

公开了基于仅对槽隙内容的部分观察，用于合成槽隙内容的全部集合的技术。关于字体，槽隙可以包括字母表中的特定字母或符号或字形。基于对来自字体的字形子集的部分观察，与字体相对应的字形的全部集合可以被合成并且可以进一步被装饰。

【技术实现步骤摘要】
从部分观察中合成新的字体字形
本公开涉及用于深度学习和深度神经网络的技术。具体地，本公开涉及使用条件生成性对抗网络模型来从几个字形示例自动合成缺失字形的神经网络架构和方法。
技术介绍
文本是2D设计的突出视觉元素。艺术家投入大量时间设计在它们的形状和纹理上与其他元素在视觉上兼容的字形。在排版中，字形是商定的符号集合中的元素符号，旨在表示用于书写目的的可读字符。字体可以由字形集合组成，每个字形对应于字母表中的特定符号。例如字体包括字母表中每个字符的字形集合。每个字形都有特定的形状和潜在的装饰和着色。包括字体(形状和颜色)的字形将一种字体与另一种字体区分开。然而，该过程是劳动密集合型的，并且艺术家通常仅设计标题或注释所必需的字形子集，这使得在创建设计之后难以改变文本或者难以将观察到的字体的实例传递到另一个项目。关于字形合成的早期研究集合中于轮廓的几何建模，其限于特定的字形拓扑(例如不能应用于装饰或手写字形)并且不能与图像输入一起使用。然而，随着深度神经网络的兴起，研究人员开始研究对来自图像中的字形进行建模。这些方案取得了有限的成功。具体地，用于字形合成的已知方案采用了一次生成单个字形的方案。然而，使用这些类型的方案生成的字形的质量在字体上表现出有限的质量和生成的字形的一致性。此外，一些最近的纹理传递技术直接利用字形结构作为引导通道来改进装饰元素的放置。虽然这种方案在干净的字形上提供了良好的结果，但它往往会在自动生成的字形上失败，因为合成处理的工件使得从字形结构获得适当的引导变得更加困难。因此，对于从部分观察生成字体的整个字形集合的技术是必要的，其中所生成的字形具有高质量并且在内部与字体中的其他字形一致。附图说明图1a是描绘了根据本公开的一个实施例的在测试或推断时间的多内容生成性对抗网络(MC-GAN)的操作的流程图。图1b是描绘了根据本公开的一个实施例的MC-GAN的训练过程的流程图。图1c是描绘了根据本公开的一个实施例的用于生成GlyphNet预训练集合的过程的流程图。图2a是根据本公开的一个实施例的被配置为在测试或推断时间操作的MC-GAN的框图。图2b是根据本公开的一个实施例的预训练配置中的GlyphNet的框图。图2c是根据本公开的一个实施例的联合训练配置中的MC-GAN的框图。图2d是根据本公开的一个实施例的预训练配置中的GlyphNet的详细框图。图2e是根据本公开的一个实施例的在训练配置中包括GlyphNet和OrnaNet的MC-GAN网络的详细框图。图3a示出了根据本公开的一个实施例的来自数据集合的灰度级的一些示例性字体。图3b示出了根据本公开的一个实施例的装饰字体的一些示例。图3c是根据本公开的一个实施例的利用MC-GAN模型组件的消融研究。图3d是示出根据本公开的一个实施例的观察到的字形的数量对GlyphNet预测的质量的影响的图。图4a-4d使MC-GAN模型(根据本公开的实施例)与示例集合上的文本传递方法的比较可视化。图5a示出了根据本公开的一个实施例的执行MC-GAN网络的示例计算系统。图5b示出了根据本公开的一个实施例的MC-GAN网络到网络环境的示例集合成。具体实施方式基于仅对槽隙内容的部分观察，公开了用于合成槽隙内容的全部集合的技术。如在本公开中所使用的，“槽隙内容”是指可以被组织为位置集合的任意内容，其中每个位置与特定类型相关联。例如对于字体，槽隙可以包括字母表中的特定字母或符号或字形。出于本公开的目的，术语“字母表”将指代字体中的字符或字形(即，字母、数字、特殊字符等)的范围。槽隙内容的其他示例包括表情符号或剪贴画，其中在前一种情况下，每个槽隙可以对应于特定的面部表情或情绪，并且在后一种情况下，每个槽隙可以对应于特定类型的图像或艺术表达。给定集合或字母表或其他槽隙内容中的任意字符或符号或标记在本文中通常可称为字形或装饰字形。应当理解，神经网络接收输入，处理输入并生成输出。出于本公开的目的，术语“观察”将指的是在神经网络有效地“观察”输入并生成输出的意义上提供给神经网络的输入。术语“部分观察”指的是仅观察到一部分槽隙内容的事实(例如仅对应于来自字母表的字母子集的少数字形)。例如相反，如果槽隙内容是“完整观察”，则相关字母表中的每个字形将被“观察”或作为输入提供给神经网络。通常，期望生成与槽隙内容相对应的实体的全部集合(即，与每个未观察到的槽隙有关的内容)。未观察到的插槽可以视为漏洞或缺少信息。用于合成生成字形的已知技术通常一次执行一个字符。如前所述，最近的纹理传递技术直接利用字形结构作为引导通道来改进装饰元素的放置。虽然这种方案在干净的字形上提供了良好的结果，但它往往会在自动生成的字形上失败，因为合成程序的工件使得从字形结构获得适当的引导变得更加困难。因此，因此希望一次生成字形的完整集合，其中合成过程可以在字体中的所有字符上绘制全部信息范围。但是，在许多情况下，字形的全部集合不可用。因此，如本文中不同地提供的从部分观察生成装饰字形的全部集合的能力可能是有益的。根据本公开的一个实施例，槽隙内容可以是字符字体，由此字体中的字形包括槽隙内容。在该上下文中，部分观察可以包括所有字形的子集，其包括字体。如前所述，术语“部分观察”指的是如下事实，与字母表的字形的全部集合相反，仅提供字母表的字形的子集作为神经网络的输入。例如根据本公开的一个实施例，可以从对该字体的字形的部分子集(例如仅字母“T”、“O”、“W”、“E”和“R”)的观察来合成字体的字形的完整集合。相反，如果提供“完全观察”，则字母“A”-“Z”中的每个字符将被提供作为神经网络的输入。从如本文定义的部分观察生成装饰字形的全部集合提出了许多技术挑战。根据本公开的一个实施例，通过利用两个单独的网络来解决这些技术挑战，一个用于形状(GlyphNet)的生成而另一个用于装饰(OrnaNet)。使用对抗损失函数结合L2和L1损失函数集合来训练网络，以强制执行与训练集合的基础真值相关的各种条件。这些架构和训练特征有助于网络的功能，以从本文定义的部分观察中生成装饰字形的全部集合。根据本公开的一个实施例，使用大量字体来训练深度学习架构。在训练过程期间，从字体集合生成包括部分观察的训练示例集合。根据一个这样的实施例，每个训练示例是部分观察，其可以包括来自字母表和基础真值标签的字符子集，其是黑白格式的字形字符的完整集合。现在将描述深度学习处理的高级概述。在推理时，接收来自特定字体的字形的子集。基于该输入，与输入字体相对应的字母表中的所有字形以黑白格式联合生成。然后对生成的字形集合进行装饰(例如着色)以生成最终字形字体。根据本公开的一个实施例，深度神经网络架构用于从少数图像示例自动合成损失的字形。具体地，根据一个这样的实施例，利用条件生成性对抗网络(“cGAN”)架构来仅使用少数观察到的字形为每个观察到的字符集合重新训练定制网络。根据一些实施本文档来自技高网...

【技术保护点】
1.一种用于合成字体的方法，所述方法包括：/n接收字形形状的部分观察；/n从所述部分观察生成字形形状的全部集合；以及/n处理所述字形形状的全部集合以生成装饰字形的全部集合。/n

【技术特征摘要】
20180615 US 16/010,1101.一种用于合成字体的方法，所述方法包括：
接收字形形状的部分观察；
从所述部分观察生成字形形状的全部集合；以及
处理所述字形形状的全部集合以生成装饰字形的全部集合。


2.根据权利要求1所述的方法，其中所述字形形状的部分观察包括针对字形的黑色和白色掩模。


3.根据权利要求1所述的方法，其中从所述部分观察生成字形形状的全部集合包括由第一网络处理所述部分观察，所述第一网络使用条件生成性对抗过程而被训练以合成字形形状。


4.根据权利要求3所述的方法，其中预训练操作使用包括生成对抗性损失和L1损失的组合的损失函数在所述第一网络上被执行。


5.根据权利要求3所述的方法，其中处理所述字形形状的全部集合以生成装饰字形的全部集合包括由第二网络处理所述字形形状的全部集合，所述第二网络使用条件对抗过程而被训练以合成字形装饰。


6.根据权利要求5所述的方法，其中训练操作使用生成性对抗损失函数和L1损失函数、以及所述第二网络上的至少一个均方误差(“MSE”)损失函数的组合以端对端配置在所述第一网络和所述第二网络上被执行。


7.根据权利要求1所述的方法，其中所述装饰字形的全部集合同时被生成。


8.一种用于合成字体的系统，包括：
第一网络，用于从字形形状的部分观察来生成字形形状的全部集合；
第二网络，用于从字形形状集合来生成装饰字形形状的全部集合；以及
耦合模块，在所述第一网络和所述第二网络之间用于执行重塑和灰度重复函数。


9.根据权利要求8所述的系统，其中所述字形形状的部分观察包括针对字形的黑色和白色掩模。


10.根据权利要求8所述的系统，其中所述第一网络使用条件生成性对抗过程而被训练以合成字形形状。


11.根据权利要求8所述的系统，...

【专利技术属性】
技术研发人员：M·D·费舍尔，S·亚扎迪，V·基姆，E·谢斯特曼，王兆闻，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国;US