一种无监督的通用艺术字生成方法技术

本发明专利技术公开一种无监督的通用艺术字生成方法。该方法包括：构建通用艺术字生成模型，包括编码器、第一解码器和第二解码器；优化通用艺术字生成模型，优化过程包括去纹理化阶段、字体迁移阶段和纹理化阶段，在去纹理化阶段，输入图像为字体参考图像，经过编码器和第二解码器后去除掉该字体参考图像所带的纹理信息，得到对应的掩膜图像；在字体迁移阶段，输入图像为内容图像和去纹理化阶段得到的掩模图像，经过编码器和第一解码器后得到对内容图像做字体迁移后的图像；在纹理化阶段，输入图像为字体迁移阶段得到的图像和纹理参考图像，经过编码器和第二解码器后得到纹理化结果图像。本发明专利技术可以实现在艺术字生成过程中的精细调节且通用性强。且通用性强。且通用性强。

【技术实现步骤摘要】
一种无监督的通用艺术字生成方法


[0001]本专利技术涉及计算机视觉
，更具体地，涉及一种无监督的通用艺术字生成方法。

技术介绍

[0002]计算机视觉正从统计方法转变为深度学习神经网络方法。深度学习作为能让机器自主学习的有力工具，近年来在不断发展。人工神经网络的发展使得计算机能够在有监督或无监督的学习框架下，根据输入信息来进行自我训练，从而使机器自主学习的效果显著。深度学习可应用于计算机视觉的多个方面，如图像识别，目标跟踪，图像分类，对象检测等。
[0003]图像生成是计算机视觉中非常重要的一类问题，这一类问题和动画制作有着紧密的关联。广义来说，凡是生成新的图像内容的相关问题都可以归为图像生成问题。图像风格化是指通过一些算法，将一张具有艺术风格图像的风格映射到其他自然图像上，使原自然图像保留原始语义内容的同时具备该艺术图像的艺术风格。图像风格化这一概念的提出源于人们被某些艺术绘画大师的艺术作品所吸引，渴望自己也能够拥有同样艺术风格的图像，而重新绘制特殊风格的图像则需要大量相关技术人员的投入和资源损耗，于是一些研究人员开始研究相应算法来完成图像风格化任务。深度学习对于计算机视觉方面良好的效果使得风格化研究人员将目光转移到它身上。随着卷积神经网络的提出，图像的高层次特征得以有效利用，传统风格化算法的局限性得以消除。随着深度学习的介入，传统处理图像的方法得到了更好的发挥，图像的特征信息也得到了充分利用，可以说神经网络使人们对图像风格化这一领域的研究向前迈了一大步。虽然目前图像风格化领域有了一些进展，可以实现一些简单的应用，但距离风格化技术的全面成熟仍需要不断的发展改进。
[0004]艺术字生成是图像生成领域中的一个新兴研究课题，由于其广泛应用而受到越来越多的关注。艺术字可以视为有三个基本组成部分：内容、字体和纹理。对于可控的通用艺术字生成来说，现有的艺术字生成模型通常侧重于调节上述三个组成部分中的其中某一个，这是个次优的解决方案。
[0005]艺术字生成在艺术设计领域有着广泛应用，并且逐渐成为计算机视觉领域的重要研究领域。艺术字风格迁移的目标是依据给定的艺术字特效图像渲染任意的字形图像。艺术字风格迁移的挑战主要来源于艺术字的多样性以及难以收集成对的训练数据。
[0006]具体地，艺术字具有天然的多样性，可分为内容、字体和纹理这三个维度上的多样性。内容多样性指的是字符的多样性，例如中文字符、英文字符和其他语言的字符等。对于给定的字符内容，艺术字的风格可以分为字体风格和纹理风格。现有的艺术字风格迁移算法只能对这两种风格中的某一种做调节。例如，采用了可形变卷积来处理字体迁移任务。又如，关注于纹理迁移，也就是将一张字形图片渲染成目标纹理。现有技术通常只考虑艺术字生成任务的某个子任务，也就是字体迁移任务或纹理迁移任务，这导致了真实场景下的局限性。
[0007]此外，最近的一些模型都需要有监督的训练数据。由于深度神经网络的数据驱动
的特性，要想使网络学习到艺术字的有效且鲁棒的表征，必须搭配大量的训练数据。这种有监督的训练方式，由于缺乏成对的字形图像数据，真实场景下已经大量存在的艺术字图像无法用于训练深度神经网络模型。因此，有必要将无监督的训练方式引入艺术字生成领域，以提供对上述问题的关键解决方案。

技术实现思路

[0008]本专利技术的目的是克服上述现有技术的缺陷，提供一种无监督的通用艺术字生成方法，该方法包括以下步骤：
[0009]构建通用艺术字生成模型，包括编码器、第一解码器和第二解码器；
[0010]优化所述通用艺术字生成模型，优化过程包括去纹理化阶段、字体迁移阶段和纹理化阶段，其中：
[0011]在去纹理化阶段，输入图像为字体参考图像，经过所述编码器和第二解码器后去除掉该字体参考图像所带的纹理信息，得到对应的掩膜图像；
[0012]在字体迁移阶段，输入图像为内容图像和去纹理化阶段得到的掩模图像，经过所述编码器和第一解码器后得到对内容图像做字体迁移后的图像；
[0013]在纹理化阶段，输入图像为字体迁移阶段得到的图像和纹理参考图像，经过所述编码器和第二解码器后得到纹理化结果图像。
[0014]与现有技术相比，本专利技术的优点在于，提出了一种无监督的通用艺术字生成模型，可以实现在艺术字生成过程中的精细调节；针对解决成对数据搜集困难，本专利技术的模型可以在无监督设定下进行优化，从而使得任意艺术字图像都可以被有效使用。
[0015]通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。
附图说明
[0016]被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。
[0017]图1是根据本专利技术一个实施例的无监督通用艺术字生成方法的过程示意图；
[0018]图2是根据本专利技术一个实施例的无监督通用艺术字生成方法的流程图；
[0019]图3是根据本专利技术一个实施例的无监督通用艺术字生成模型的网络结构图；
[0020]图4是根据本专利技术一个实施例的编码器的结构图；
[0021]图5是根据本专利技术一个实施例的解码器的结构图；
[0022]图6是根据本专利技术一个实施例的域判别器的结构图；
[0023]图7是根据本专利技术一个实施例的图像块判别器的结构图；
[0024]图8是根据本专利技术一个实施例的对比学习损失函数和图像块判别器损失函数的效果示意图；
[0025]图9是根据本专利技术一个实施例的无监督通用艺术字生成模型的应用过程示意图。
具体实施方式
[0026]现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具
体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。
[0027]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。
[0028]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0029]在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
[0030]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0031]本专利技术提出了一种新颖的通用艺术字生成方法(或称为GenText)，该方法通过无监督学习解耦字体迁移和纹理迁移，从而实现通用艺术字风格迁移。通过分析艺术字的本质特征，将艺术字分解为内容、字体和纹理这三个基本组成元素，建立无监督通用艺术字生成模型，利用数据对模型进行训练优化后可以实现艺术字通用生成。
[0032]参见图1所示，本专利技术融合了三个不同的阶段：纹理化、去纹理化和字体迁移，仅用一套网络结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无监督的通用艺术字生成方法，包括以下步骤：构建通用艺术字生成模型，包括编码器、第一解码器和第二解码器；优化所述通用艺术字生成模型，优化过程包括去纹理化阶段、字体迁移阶段和纹理化阶段，其中：在去纹理化阶段，输入图像为字体参考图像，经过所述编码器和第二解码器后去除掉该字体参考图像所带的纹理信息，得到对应的掩膜图像；在字体迁移阶段，输入图像为内容图像和去纹理化阶段得到的掩模图像，经过所述编码器和第一解码器后得到对内容图像做字体迁移后的图像；在纹理化阶段，输入图像为字体迁移阶段得到的图像和纹理参考图像，经过所述编码器和第二解码器后得到纹理化结果图像。2.根据权利要求1所述的方法，其特征在于，在优化所述通用艺术字生成模型过程中，采用图像块判别器损失函数以无监督方式学习纹理信息，并采用对比学习损失函数以无监督方式学习字形结构信息，其中，图像块判别器用于判别一个图像块是否属于参考图像块集合，所述对比学习损失函数用于反映字体参考图像和纹理化结果图像之间的损失，所述图像块判别器损失函数用于反映纹理参考图像和纹理化结果图像之间的损失。3.根据权利要求1所述的方法，其特征在于，所述编码器包括主干网络、空间编码分支和全局编码分支，其中，该主干网络用于从输入图像中提取表征图，空间编码分支用于基于该表征图获取空间特征，全局编码分支基于该表征图得到全局特征，所述空间特征是包含空间维度的特征图，所述全局特征是不包含空间维度的特征图。4.根据权利要求3所述的方法，其特征在于，所述第一解码器和所述第二解码器的结构相同，各包含主干网络、调制解调层和卷积层，该主干网络以来自于所述解码器的空间特征作为输入，并且所述解码器输出的相应全局特征通过调制解调层注入到该主干网络，进而通过一个卷积层调整通道数。5.根据权利要求1所述的方法，其特征在于，训练所述通用艺术字生成模型的总损失函数设置为：其中，是纹理化阶段的重构损失函数，是纹理化阶段的一致性损失函数，是去纹理化阶段的重构损失函数为，是去纹理化阶段的一致性损失函数，是字体迁移阶段的重构损失函数，是字体迁移阶段的一致性损失函数。6.根据权利要求5所述的方法，其特征在于，纹理化阶段的重构损失函数为：纹理化阶...

【专利技术属性】
技术研发人员：黄期瑞，付彬，乔宇，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：