图像处理方法及其装置制造方法及图纸

本申请公开了一种图像处理方法及其装置，属于图像处理技术领域。该方法包括：获取第一人脸图像的人脸身份特征和第一动作编码，所述第一动作编码用于将第一面部动作转换为第二面部动作，所述第一面部动作为从所述第一人脸图像中识别到的面部动作，所述第一面部动作与所述第二面部动作不同；基于所述第一人脸图像的人脸身份特征和所述第一动作编码，生成第二人脸图像，所述第二人脸图像的面部动作为所述第二面部动作，所述第一人脸图像和所述第二人脸图像包括相同的人脸身份特征。脸图像包括相同的人脸身份特征。脸图像包括相同的人脸身份特征。

【技术实现步骤摘要】
图像处理方法及其装置


[0001]本申请属于图像处理
，具体涉及一种图像处理方法及其装置。

技术介绍

[0002]在拍摄多人合照时，会采取拍摄多张图像的方式避免个别人出现闭眼的情况。然而，随着拍摄人数的增加，完全避免这种情况的发生几乎不大可能。因此，需要通过图像处理的方式纠正闭眼的情况。
[0003]现有图像处理方法主要基于深度学习的图像生成技术，包括两类方案：
[0004]其一是风格迁移，生成模型输入一张闭眼人脸图像得到一张睁眼人脸图像。而该生成模型倾向于学习一种平均状态，不同用户的人脸图像生成的睁眼人脸图像趋同，且与真实人脸存在较大差异；
[0005]其二是隐变量属性编辑，该类方法将输入图像通过编码器得到用于表征人脸属性的多维特征向量，通过编辑该特征向量中与眼睑开合相关的维度，最后将编辑后的特征输入到解码器中从而得到睁眼人脸图像。由于人脸图像被编码为多维特征向量，不同维度表征不同的人脸属性。当修改用于表征眼睑开合的维度时，可能会导致人脸表情、脸型甚至发型等发生一定程度的变化，从而导致生成的睁眼人脸图像的效果不真实。

技术实现思路

[0006]本申请实施例的目的是提供一种图像处理方法及其装置，能够解决图像生成技术生成的人脸图像不真实的问题。
[0007]第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
[0008]获取第一人脸图像的人脸身份特征和第一动作编码，所述第一动作编码用于将第一面部动作转换为第二面部动作，所述第一面部动作为从所述第一人脸图像中识别到的面部动作，所述第一面部动作与所述第二面部动作不同；
[0009]基于所述第一人脸图像的人脸身份特征和所述第一动作编码，生成第二人脸图像，所述第二人脸图像的面部动作为所述第二面部动作，所述第一人脸图像和所述第二人脸图像包括相同的人脸身份特征。
[0010]第二方面，本申请实施例提供了一种图像处理装置，该装置包括：
[0011]获取模块，用于获取第一人脸图像的人脸身份特征和第一动作编码，所述第一动作编码用于将第一面部动作转换为第二面部动作，所述第一面部动作为从所述第一人脸图像中识别到的面部动作，所述第一面部动作与所述第二面部动作不同；
[0012]生成模块，用于基于所述第一人脸图像的人脸身份特征和所述第一动作编码，生成第二人脸图像，所述第二人脸图像的面部动作为所述第二面部动作，所述第一人脸图像和所述第二人脸图像包括相同的人脸身份特征。
[0013]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行
时实现如第一方面所述的方法的步骤。
[0014]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0015]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0016]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
[0017]在本申请实施例中，通过获取第一人脸图像的人脸身份特征和第一动作编码，在无需修改除面部动作之外的人脸属性的情况下，将第一人脸图像对应的第一面部动作转换为第二面部动作，保留第一人脸图像的人脸身份特征，确保了经面部动作转换后得到的第二人脸图像的图像处理效果，提高了第二人脸图像的真实性。
附图说明
[0018]图1是本申请实施例提供的图像处理方法的流程示意图之一；
[0019]图2是本申请实施例提供的图像处理方法的图像生成示意图；
[0020]图3是本申请实施例提供的图像处理方法的流程示意图之二；
[0021]图4是本申请实施例提供的图像处理方法的模型结构示意图；
[0022]图5是本申请实施例提供的图像处理方法的流程示意图之三；
[0023]图6是本申请实施例提供的图像处理方法的模型训练示意图；
[0024]图7是本申请实施例提供的图像处理装置的结构示意图；
[0025]图8是本申请实施例提供的电子设备的结构示意图；
[0026]图9是本申请实施例提供的电子设备的硬件示意图。
具体实施方式
[0027]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0028]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0029]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、图像处理装置、电子设备和介质进行详细地说明。
[0030]其中，图像处理方法可应用于终端，具体可由，终端中的硬件或软件执行。
[0031]该终端包括但不限于具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话或平板电脑等其它便携式通信设备。还应当理解的是，在某些实施例中，该终端可以
不是便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
[0032]以下各个实施例中，描述了包括显示器和触摸敏感表面的终端。然而，应当理解的是，终端可以包括诸如物理键盘、鼠标和控制杆的一个或多个其它物理用户接口设备。
[0033]下面以终端作为执行主体为例对本申请实施例提供的图像处理方法进行说明。
[0034]如图1所示，该图像处理方法包括：步骤110和步骤120。
[0035]步骤110、获取第一人脸图像的人脸身份特征和第一动作编码，第一动作编码用于将第一面部动作转换为第二面部动作，第一面部动作为从第一人脸图像中识别到的面部动作，第一面部动作与第二面部动作不同；
[0036]可以理解的是，人脸图像可以是包含人脸的图像，人脸上可以有若干面部动作，面部动作可以通过五官的运动状态来表现面部表情。
[0037]面部动作可以是以下至少一项：眉毛抬起、眉毛下垂、皱眉、上眼睑上升、闭眼、睁眼、收缩鼻子、噘嘴、上扬嘴角、双唇分开露出牙齿、嘴巴张大、收紧双唇向后拉成一字或嘴角向下拉动等。
[0038]本申请中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取第一人脸图像的人脸身份特征和第一动作编码，所述第一动作编码用于将第一面部动作转换为第二面部动作，所述第一面部动作为从所述第一人脸图像中识别到的面部动作，所述第一面部动作与所述第二面部动作不同；基于所述第一人脸图像的人脸身份特征和所述第一动作编码，生成第二人脸图像，所述第二人脸图像的面部动作为所述第二面部动作，所述第一人脸图像和所述第二人脸图像包括相同的人脸身份特征。2.根据权利要求1所述的图像处理方法，其特征在于，所述获取第一人脸图像的人脸身份特征和第一动作编码，包括：将所述第一人脸图像输入至第一模型中的第一编码器，获取所述第一人脸图像的人脸身份特征；将所述第一人脸图像的人脸身份特征输入至所述第一模型中的第二编码器，获取所述第一动作编码。3.根据权利要求2所述的图像处理方法，其特征在于，所述基于所述第一人脸图像的人脸身份特征和所述第一动作编码，生成第二人脸图像，包括：将所述第一人脸图像的人脸身份特征和所述第一动作编码输入至所述第一模型中的解码器，生成所述第二人脸图像，所述解码器基于卷积神经网络构建。4.根据权利要求2所述的图像处理方法，其特征在于，所述将所述第一人脸图像输入至第一模型中的第一编码器之前，所述方法还包括：获取第一人脸样本图像和第二人脸样本图像，所述第一人脸样本图像和所述第二人脸样本图像包括相同的人脸身份特征，所述第一人脸样本图像的面部动作为所述第一面部动作，所述第二人脸样本图像的面部动作为所述第二面部动作；将所述第一人脸样本图像和所述第二人脸样本图像输入至生成对抗网络，生成第三人脸样本图像，所述第三人脸样本图像的面部动作为所述第二面部动作；基于所述第一人脸样本图像、所述第二人脸样本图像和所述第三人脸样本图像，训练所述生成对抗网络，直至得到所述第一模型。5.根据权利要求4所述的图像处理方法，其特征在于，所述获取第一人脸样本图像和第二人脸样本图像之后，所述方法还包括：对所述第一人脸样本图像进行薄板样条变换，得到第四人脸样本图像；基于所述第一人脸样本图像的人脸身份特征和所述第四人脸样本图像的人脸身份特征，获取所述第一人脸样本图像的关键点和所述第四人脸样本图像的关键点；对所述第一人脸样本图像的关键点进行薄板样条变换，得到变换后的关键点；基于所述第四人脸样本图像的关键点和所述变换后的关键点，计算一致性损失函数，所述一致性损失函数用于训练所述生成对抗网...

【专利技术属性】
技术研发人员：周密，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：