使用层级变分编码器的高分辨率肖像风格化框架制造技术

系统和方法涉及仅使用有限范例生成肖像风格的逆一致性迁移学习框架。在示例中，输入图像被接收并且使用变分自编码器被编码以生成隐向量。隐向量可以被提供到生成性对抗网络(GAN)生成器以生成风格化图像。在示例中，变分自编码器使用多个图像而被训练，同时保持预训练的GAN生成器的权重固定，其中预训练的GAN生成器充当编码器的解码器。在其他示例中，使用多个范例图像来训练多路径属性感知生成器，并使用预训练的GAN生成器进行学习迁移。使用预训练的GAN生成器进行学习迁移。使用预训练的GAN生成器进行学习迁移。

【技术实现步骤摘要】
【国外来华专利技术】使用层级变分编码器的高分辨率肖像风格化框架
[0001]相关申请交叉引用
[0002]本申请要求2021年5月14日提交的题为“HIGH
‑
RESOLUTION PORTRAIT STYLIZATION FRAMEWORKS USING A HIERARCHICAL VARIATIONAL ENCODER”(使用层级变分编码器的高分辨率肖像风格化框架)的美国非临时专利申请17/321,384的优先权，该专利申请通过引用并入本文，如同完整复制一样。

技术介绍

[0003]肖像画是描绘题材外观的艺术，是一种重要的艺术形式，可以追溯到文明的开始。它已经从忠实的描绘演变为具有过多风格的更具创造性的解释，例如抽象艺术、立体主义和卡通。近年来，由于深度学习的进步，自动风格化的肖像画取得了迅速的进展。早期涉及神经风格的方法令人信服地证明了将纹理风格从范例来源迁移到目标图像的能力，并将真实照片转换为梵高或毕加索绘画。然而，当涉及到肖像时，这些方法在很大程度上未能捕捉到不同肖像画风格的重要几何依赖性图案，因此在风格化质量方面存在不足。
[0004本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于生成风格化图像的方法，所述方法包括：接收输入图像；使用变分自编码器对所述输入图像进行编码以获得隐向量；向生成性对抗网络(GAN)生成器提供所述隐向量；由所述GAN生成器从所述GAN生成器生成风格化图像；以及提供所述风格化图像作为输出。2.根据权利要求1所述的方法，还包括：接收多个范例图像；基于所接收的所述多个范例图像，使用迁移学习来训练所述GAN生成器；以及当所述GAN生成器的所述输出在第一时间满足预定条件时终止训练过程。3.根据权利要求2所述的方法，还包括：接收多个训练图像；以及训练所述变分自动编码器，同时保持预训练的GAN网络的权重固定。4.根据权利要求1所述的方法，其中从标准高斯分布采样所述隐向量。5.根据权利要求4所述的方法，还包括：将所述隐向量映射到中间向量；以及将所述中间向量转发到所述GAN生成器的风格块内的仿射变换。6.根据权利要求1所述的方法，其中所述GAN生成器包括对应于两个或更多个不同属性的多路径结构。7.权利要求1的方法，还包括：将所接收的所述输入图像传递通过无头金字塔网络以产生不同尺寸的多级别特征图；以及组合每个级别的相应特征图的编码以获得所述隐向量。8.根据权利要求1所述的方法，其中所述GAN生成器包括StyleGAN2生成器。9.一种被配置为生成风格化图像的系统，所述系统包括：处理器；以及存储器，包括指令，所述指令在由所述处理器执行时，使所述处理器：接收输入图像；使用变分自编码器对所述输入图像进行编码以获得隐向量；向生成性对抗网络(GAN)生成器提供所述隐向量；由所述GAN生成器从所述GAN生成器生成风格化图像；以及提供所述风格化图像作为输出。10.根据权利要求9所述的系统，其中所述指令在由所述处理器执行时，使所述处理器：接收多个范例图像；基于预训练的GAN网络和所接收的所述多个范例图像，使用迁移学习来训练所述GAN生...

【专利技术属性】
技术研发人员：罗琳捷，宋果鲜，刘晶，马万钧，
申请(专利权)人：脸萌有限公司，
类型：发明
国别省市：