个性化人脸风格图的生成方法、装置和电子设备制造方法及图纸

本公开提供了一种个性化人脸风格图的生成方法、装置和电子设备，涉及计算机视觉、深度学习、增强/虚拟现实等人工智能技术领域，可应用于虚拟数字人、元宇宙等场景。其中，方案为：获取待处理的目标人脸图像及参考风格图像；基于第一向量提取模型，将目标人脸图像进行预处理，以获取第一隐向量；基于第二向量提取模型，将参考风格图像进行预处理，以获取第二隐向量；将第一隐向量与第二隐向量进行融合，以生成目标人脸图像对应的目标风格图。由此，在生成目标风格图的过程中，充分考虑到了表征人脸信息的第一隐向量，及表征风格信息的第二隐向量，从而在实现风格化处理的基础上，保留不同的人脸信息和风格信息，提高了目标风格图的个性化程度。性化程度。性化程度。

【技术实现步骤摘要】
个性化人脸风格图的生成方法、装置和电子设备


[0001]本公开涉及计算机
，具体涉及计算机视觉、深度学习、增强/虚拟现实等人工智能
，可应用于虚拟数字人、元宇宙等场景，尤其涉及一种个性化人脸风格图的生成方法、装置和电子设备。

技术介绍

[0002]随着计算机技术的发展，人脸图风格迁移应用的也越来越广泛。目前，如何提高风格图的个性化程度，是亟需解决的问题。

技术实现思路

[0003]本公开提供了一种个性化人脸风格图的生成方法、装置和电子设备。
[0004]本公开一方面，提供了一种个性化人脸风格图的生成方法，包括：
[0005]获取待处理的目标人脸图像及参考风格图像；
[0006]基于第一向量提取模型，将所述目标人脸图像进行预处理，以获取第一隐向量；
[0007]基于第二向量提取模型，将所述参考风格图像进行预处理，以获取第二隐向量，其中，所述第一向量提取模型与所述第二向量提取模型不同；
[0008]将所述第一隐向量与所述第二隐向量进行融合，以生成所述目标人脸图像对应的所述目标风格图。
[0009]本公开的另一方面，提供了一种个性化人脸风格图的生成装置，包括：
[0010]获取模块，用于获取待处理的目标人脸图像及参考风格图像；
[0011]第一处理模块，用于基于第一向量提取模型，将所述目标人脸图像进行预处理，以获取第一隐向量；
[0012]第二处理模块，用于基于第二向量提取模型，将所述参考风格图像进行预处理，以获取第二隐向量，其中，所述第一向量提取模型与所述第二向量提取模型不同；
[0013]生成模块，用于将所述第一隐向量与所述第二隐向量进行融合，以生成所述目标人脸图像对应的所述目标风格图。
[0014]本公开的另一方面，提供了一种电子设备，包括：
[0015]至少一个处理器；以及
[0016]与所述至少一个处理器通信连接的存储器；其中，
[0017]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的个性化人脸风格图的生成方法。
[0018]本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，所述计算机指令用于使所述计算机执行上述一方面实施例所述的个性化人脸风格图的生成方法。
[0019]本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程
序在被处理器执行时实现上述一方面实施例所述的个性化人脸风格图的生成方法。
[0020]本公开提供的个性化人脸风格图的生成方法、装置和电子设备，可以先获取待处理的目标人脸图像及参考风格图像，之后可以基于第一向量提取模型，将目标人脸图像进行预处理，以获取第一隐向量，并基于第二向量提取模型，将参考风格图像进行预处理，以获取第二隐向量，其中，第一向量提取模型与所述第二向量提取模型不同，之后再将第一隐向量与第二隐向量进行融合，以生成目标人脸图像对应的目标风格图。由此，可以先获取目标人脸图像对应的第一隐向量及参考风格图像特征对应的第二隐向量，之后将第一隐向量及第二隐向量进行融合，以生成目标人脸图像对应的目标风格图，充分考虑到了表征人脸信息的第一隐向量，及表征风格信息的第二隐向量，从而在实现风格化处理的基础上，可以保留不同程度的人脸信息和风格信息，从而提高了生成目标风格图的个性化程度。
[0021]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0023]图1为本公开一实施例提供的一种个性化人脸风格图的生成方法的流程示意图；
[0024]图2为本公开一实施例提供的一种个性化人脸风格图的生成方法的流程示意图；
[0025]图2A为本公开一实施例提供的一种个性化人脸风格图的生成过程的示意图；
[0026]图3为本公开一实施例提供的一种个性化人脸风格图的生成方法的流程示意图；
[0027]图4为本公开另一实施例提供的一种个性化人脸风格图的生成装置的结构示意图；
[0028]图5为用来实现本公开实施例的个性化人脸风格图的生成方法的电子设备的框图。
具体实施方式
[0029]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0030]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。
[0031]计算机视觉是一个跨学科的科学领域，研究如何让计算机从数字图像或视频中获得高水平的理解。从工程学的角度来看，它寻求人类视觉系统能够完成的自动化任务。计算机视觉任务包括获取、处理、分析和理解数字图像的方法，以及从现实世界中提取高维数据以便例如以决策的形式产生数字或符号信息的方法。
[0032]深度学习是指多层的人工神经网络和训练它的方法。一层神经网络会把大量矩阵
数字作为输入，通过非线性激活方法取权重，再产生另一个数据集合作为输出。通过合适的矩阵数量，多层组织链接一起，形成神经网络“大脑”进行精准复杂的处理，就像人们识别物体标注图片一样。
[0033]虚拟现实也可以称为虚拟技术、虚拟环境，通常可以利用计算机模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉身历其境，可以即时、没有限制地观察三维空间内的事物。随着科技的发展，虚拟现实技术也取得了巨大进步，并逐步成为一个新的科学

[0034]增强现实是虚拟现实的一种类型，或者说是虚拟现实技术形式与内涵的发展和延伸。通常可以利用实时头部跟踪等技术，将计算机生成的虚拟景物或数字信息叠加到真实世界的画面中，以扩展对真实世界的认知，实现对真实世界信息的增强，使用户获得新的认知，并和虚拟世界发生交互。
[0035]虚拟数字人是指具有数字化外形的虚拟人物，其与具备实体的机器人不同，虚拟数字人依赖显示设备存在。虚拟数字人是指在现实中或历史上不存在的人物角色，它可以存在于电视剧、电影、漫画、游戏等的创作性作品中虚构的人物。虚拟数字人宜具备以下三方面特征：一是拥有人的外观，具有特定的相貌、性别和性格等人物特征；二是拥有人的行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种个性化人脸风格图的生成方法，其中，包括：获取待处理的目标人脸图像及参考风格图像；基于第一向量提取模型，将所述目标人脸图像进行预处理，以获取第一隐向量；基于第二向量提取模型，将所述参考风格图像进行预处理，以获取第二隐向量，其中，所述第一向量提取模型与所述第二向量提取模型不同；将所述第一隐向量与所述第二隐向量进行融合，以生成所述目标人脸图像对应的所述目标风格图。2.如权利要求1所述的方法，其中，所述将所述第一隐向量与所述第二隐向量进行融合，以生成所述目标人脸图像对应的所述目标风格图，包括：基于所述参考风格图像的类型，确定所述第一隐向量的第一权重及所述第二隐向量的第二权重；基于所述第一权重及第二权重，将所述第一隐向量与所述第二隐向量进行卷积处理，以生成所述目标人脸图像对应的所述目标风格图。3.如权利要求1所述的方法，其中，所述将所述第一隐向量与所述第二隐向量进行融合，以生成所述目标人脸图像对应的所述目标风格图，包括：基于所述参考风格图像的类型，获取第一权重序列及第二权重序列，其中，所述第一权重序列中包含所述第一隐向量中每个维度第一子向量分别对应的权重，所述第二权重序列中包含所述第二隐向量中每个维度第二子向量分别对应的权重；基于所述第一权重序列、所述第二权重序列及各个维度子向量的类型，将所述每个维度第一子向量与第二子向量进行逐层卷积处理，以生成所述目标人脸图像对应的所述目标风格图。4.如权利要求1所述的方法，其中，在所述基于第一向量提取模型，将所述目标人脸图像进行预处理，以获取第一隐向量之前，还包括：获取第一样本集及第二样本集，其中，所述第一样本集中包含多张人脸样本图像，所述第二样本集中包含多张风格样本图像；将所述人脸样本图像输入至第一初始模型中，以获取所述第一初始模型输出的第三隐向量；将所述风格样本图像输入至第二初始模型中，以获取所述第二初始模型输出的第四隐向量；将所述第三隐向量与所述第四隐向量进行融合，以生成所述人脸样本图像对应的风格图；基于所述人脸样本图像与对应的风格图间的第一差异，对所述第一初始模型进行修正，以生成所述第一向量提取模型；基于所述风格样本图像与所述人脸样本图像对应的风格图间的第二差异，对所述第二初始模型进行修正，以生成所述第二向量提取模型。5.如权利要求4所述的方法，其中，所述基于所述人脸样本图像与对应的风格图间的第一差异，对所述第一初始模型进行修正，以生成所述第一向量提取模型，包括：获取所述人脸样本图像对应的第一特征向量，及对应的风格图的第二特征向量；基于所述第一特征向量与所述第二特征向量间的第一差异，确定对应的第一损失值；
基于所述第一损失值对所述第一初始模型进行修正，以生成所述第一向量提取模型。6.如权利要求4所述的方法，其中，所述基于所述风格样本图像与所述人脸样本图像对应的风格图间的第二差异，对所述第二初始模型进行修正，以生成所述第二向量提取模型，包括：获取所述人脸样本图像对应的N个维度的第三特征向量，及所述人脸样本图像的风格图对应的所述N个维度的第四特征向量，其中，N为大于1的正整数；基于每个所述维度对应的第三特征向量及第四特征向量间的第二差异，确定每个所述维度对应的第二损失值；将多个所述第二损失值进行融合，以得到第三损失值；基于所述第三损失值，对所述第二初始模型进行修正，以生成所述第二向量提取模型。7.一种个性化人脸风格图的生成装置，其中，所述装置包括：获取模块，用于获取待处理的目标人脸图像及参考风格图像；第一处理模块，用于基于第一向量提取模型，将所述目标人脸图像进行预处理，以获取...

【专利技术属性】
技术研发人员：王迪，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：