图像处理方法和装置、存储介质及电子设备制造方法及图纸

本申请公开了一种图像处理方法和装置、存储介质及电子设备。其中，该方法包括：获取目标对象的目标人脸图像和携带有目标类型妆容的参考人脸妆容图像；通过迁移生成网络将参考人脸妆容图像中的目标类型妆容迁移到目标人脸图像中，得到妆容迁移后的人脸图像；其中，迁移生成网络是为利用样本人脸妆容图像进行多次训练后得到的妆容迁移神经网络模型，用于根据人脸图像中显示的对象的人脸特征来预测所要迁移的妆容，在迁移生成网络中的不同类型妆容对应不同的方向向量，方向向量用于生成不同妆容的参考人脸妆容图像；输出妆容迁移后的人脸图像。本申请解决了相关技术中提供的妆容迁移可控性较差造成的妆容迁移效果不佳的技术问题。题。题。

【技术实现步骤摘要】
图像处理方法和装置、存储介质及电子设备


[0001]本专利技术涉及计算机领域，具体而言，涉及一种图像处理方法和装置、存储介质及电子设备。

技术介绍

[0002]智能手机的普及和互联网发展，使得个人图片和视频的互动分享变得越来越便利和频繁。在多个行业中，例如直播、短视频等行业，为了展现更好的个人形象，吸引更多的关注，主播或内容提供者都会精心打扮妆容出镜。然而，对部分主播来说，上妆的成本较大。为了降低上妆的门槛，并提升和美化主播的个人形象，相关技术中提出了基于机器学习技术给用户智能上妆。即给定某种妆容的人脸A和素颜人脸B，将A的妆容迁移到人脸B上。然而，相关技术中提供的妆容迁移技术可控性差，上妆效果单一，无法实现妆容的浓淡控制效果，且生成的上妆后的人脸图片分辨率偏低，用户体验差；
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本专利技术实施例提供了一种图像处理方法和装置、存储介质及电子设备，以至少解决相关技术中提供的妆容迁移可控性较差造成的妆容迁移效果不佳的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种图像处理方法，包括：获取目标对象的目标人脸图像和携带有目标类型妆容的参考人脸妆容图像；通过迁移生成网络将上述参考人脸妆容图像中的上述目标类型妆容迁移到上述目标人脸图像中，得到妆容迁移后的人脸图像；其中，上述迁移生成网络是为利用样本人脸妆容图像进行多次训练后得到的妆容迁移神经网络模型，用于根据人脸图像中显示的对象的人脸特征来预测所要迁移的妆容，在上述迁移生成网络中的不同类型妆容对应不同的方向向量，上述方向向量用于生成不同妆容的参考人脸妆容图像；输出上述妆容迁移后的人脸图像。
[0006]根据本专利技术实施例的另一方面，还提供了一种图像处理装置，包括：第一获取单元，用于获取目标对象的目标人脸图像和携带有目标类型妆容的参考人脸妆容图像；迁移单元，用于通过迁移生成网络将上述参考人脸妆容图像中的上述目标类型妆容迁移到上述目标人脸图像中，得到妆容迁移后的人脸图像；其中，上述迁移生成网络是为利用样本人脸妆容图像进行多次训练后得到的妆容迁移神经网络模型，用于根据人脸图像中显示的对象的人脸特征来预测所要迁移的妆容，在上述迁移生成网络中的不同类型妆容对应不同的方向向量，上述方向向量用于生成不同妆容的参考人脸妆容图像；输出单元，用于输出上述妆容迁移后的人脸图像。
[0007]根据本专利技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述的图像处理方法。
[0008]根据本专利技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上
述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的图像处理方法。
[0009]在本申请实施例中，通过获取目标对象的目标人脸图像和携带有目标类型妆容的参考人脸妆容图像；通过迁移生成网络将所述参考人脸妆容图像中的所述目标类型妆容迁移到所述目标人脸图像中，得到妆容迁移后的人脸图像；其中，所述迁移生成网络是为利用样本人脸妆容图像进行多次训练后得到的妆容迁移神经网络模型，用于根据人脸图像中显示的对象的人脸特征来预测所要迁移的妆容，在所述迁移生成网络中的不同类型妆容对应不同的方向向量，所述方向向量用于生成不同妆容的参考人脸妆容图像；输出所述妆容迁移后的人脸图像的方式；将目标特效区域的图像合成与原目标视频帧画面匹配的序列帧，由于在所述迁移生成网络中使用不同类型妆容对应不同的方向向量，所述方向向量用于生成不同妆容的参考人脸妆容图像，因此，可以通过不同的妆容向量来获取不同类型的妆容人脸图像。从而实现了灵活多样的显示不同类型的妆容人脸图像的目的，解决了相关技术中提供的妆容迁移可控性较差造成的妆容迁移效果不佳的技术问题。
附图说明
[0010]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0011]图1是根据本申请实施例的一种可选的图像处理方法的应用环境的示意图；
[0012]图2是根据本申请实施例的另一种可选的图像处理方法的应用环境的示意图；
[0013]图3是根据本申请实施例的一种可选的图像处理方法的流程图；
[0014]图4是根据本申请实施例的另一种可选的图像处理方法的流程图；
[0015]图5是根据本申请实施例的又一种可选的图像处理方法的流程图；
[0016]图6是根据本申请实施例的另一种可选的图像处理方法的流程图；
[0017]图7是根据本申请实施例的又一种可选的图像处理方法的流程图；
[0018]图8是根据本申请实施例的一种可选的图像处理装置的结构示意图；
[0019]图9是根据本申请实施例的一种可选的电子设备的结构示意图。
具体实施方式
[0020]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0021]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
[0022]在本专利技术实施例中，可以包括但不限于使用以下技术术语：
[0023]GAN(Generative Adversarial Network，生成对抗网络)；
[0024]StyleGAN2(Style Generative Adversarial Network v2，风格生成对抗网络
‑
第二代)；
[0025]CycleGAN(Cycle Generative Adversarial Network,循环生成对抗网络)。
[0026]根据本申请实施例的一个方面，提供了一种图像处理方法，可选地，作为一种可选的实施方式，上述一种画面显示可以但不限于应用于如图1所示的环境中。该应用环境中包括：与用户进行人机交互的终端设备102、网络104、服务器106，终端设备102可以包括但不限于车载电子设备、手持终端、可穿戴设备、便携式设备等。用户108与终端设备102之间可以进行人机交互，终端设备10本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取目标对象的目标人脸图像和携带有目标类型妆容的参考人脸妆容图像；通过迁移生成网络将所述参考人脸妆容图像中的所述目标类型妆容迁移到所述目标人脸图像中，得到妆容迁移后的人脸图像；其中，所述迁移生成网络是为利用样本人脸妆容图像进行多次训练后得到的妆容迁移神经网络模型，用于根据人脸图像中显示的对象的人脸特征来预测所要迁移的妆容，在所述迁移生成网络中的不同类型妆容对应不同的方向向量，所述方向向量用于生成不同妆容的参考人脸妆容图像；输出所述妆容迁移后的人脸图像。2.根据权利要求1所述的方法，其特征在于，获取目标对象的目标人脸图像和携带有目标类型妆容的参考人脸妆容图像之前，包括：获取未上妆的人脸图像，以及所述未上妆的人脸图像对应的不同类型妆容的妆容人脸图像；根据所述未上妆的人脸图像和所述不同类型妆容的妆容人脸图像，生成所述迁移生成网络。3.根据权利要求2所述的方法，其特征在于，根据所述未上妆的人脸图像和所述不同类型妆容的妆容人脸图像，生成所述迁移生成网络，包括：获取目标人脸图像对应的目标特征向量；其中，所述未上妆的人脸图像包括所述目标人脸图像；将所述目标特征向量与所述不同类型妆容对应的所述方向向量进行叠加运算，得到每个所述类型妆容对应的目标人脸图像的图像特征向量；在每个所述类型妆容对应的目标人脸图像的图像特征向量所指示的图像与每个所述妆容类型下的目标人脸图像之间的差异小于预设阈值时，确定得到所述迁移生成网络。4.根据权利要求3所述的方法，其特征在于，所述获取目标人脸图像对应的目标特征向量，包括：对样本人脸图像集合中所有的样本人脸图像依次执行如下操作：生成与当前样本人脸图像对应的随机多维特征向量；基于图像特征提取器获取所述当前样本图像的原始多维特征向量；在所述随机多维特征向量与所述原始多维特征向量之间的差异度小于预设阈值时，确定得到当前样本人脸图像...

【专利技术属性】
技术研发人员：张树业，
申请(专利权)人：广州繁星互娱信息科技有限公司，
类型：发明
国别省市：