人脸换脸方法、装置、设备及计算机存储介质制造方法及图纸

本发明专利技术公开了一种人脸换脸方法、装置、设备及计算机存储介质，该方法包括：获得第一人脸图像和第二人脸图像；识别第二人脸图像中的关键点，提取关键点圈定的区域的框图，得到第一表情姿态图；提取第二人脸图像中的光照信息，得到第一光照条件图；将第一表情姿态图、第一光照条件图和第一人脸图像输入生成式对抗网络GAN模型，得到将第一表情姿态图、第一光照条件图与第一人脸图像融合后的换脸图像。根据本发明专利技术实施例，能够通过剥离目标人脸上的表情以及光照信息来进行换脸操作，提高人脸换脸的自然程度。

【技术实现步骤摘要】
人脸换脸方法、装置、设备及计算机存储介质
本专利技术属于图像处理
，尤其涉及一种人脸换脸方法、装置、设备及计算机存储介质。
技术介绍
随着网络的发展，大众娱乐性质的社交软件不断增多，在许多具有直播、视频拍摄以及图像编辑等功能的社交软件中，人脸交换逐渐成为大众娱乐的新热点，具备了越来越广泛的应用场景。人脸交换或者说换脸技术，指的是在图像或者视频中将一个人的脸换成另一个人的脸。但是，目前的换脸技术中，将人脸进行交换后得到的图像或者视频中，存在人脸的表情和光影不自然的情况，影响了人脸换脸的效果。并且，由于目前的换脸技术中，想要对人脸的表情和光照进行调整，需要分别设置不同的网络模型，使得最终得到的换脸结果与原始图像之间的失真较大，换脸效果不自然。
技术实现思路
本专利技术实施例提供一种人脸换脸方法、装置、设备及计算机存储介质，能够通过剥离目标人脸上的表情以及光照信息来进行换脸操作，提高人脸换脸的自然程度。一方面，本专利技术实施例提供一种人脸换脸方法，方法包括：获得第一人脸图像和第二人脸图像；识别第二人脸图像中的关键点，提取关键点圈定的区域的框图，得到第一表情姿态图；提取第二人脸图像中的光照信息，得到第一光照条件图；将第一表情姿态图、第一光照条件图和第一人脸图像输入生成式对抗网络GAN模型，得到将第一表情姿态图、第一光照条件图与第一人脸图像融合后的换脸图像。另一方面，本专利技术实施例提供了一种人脸换脸装置，装置包括：图像获得模块，用于获得第一人脸图像和第二人脸图像；表情提取模块，用于识别第二人脸图像中的关键点，提取关键点圈定的区域的框图，得到第一表情姿态图；光照提取模块，用于提取第二人脸图像中的光照信息，得到第一光照条件图；融合模块，用于将第一表情姿态图、第一光照条件图和第一人脸图像输入生成式对抗网络GAN模型，得到将第一表情姿态图、第一光照条件图与第一人脸图像融合后的换脸图像。再一方面，本专利技术实施例提供了一种人脸换脸设备，设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现如以上任意一项的在人脸换脸方法。再一方面，本专利技术实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如以上任意一项的人脸换脸方法。本专利技术实施例的人脸换脸方法、装置、设备及计算机存储介质，能够分别将被替换的第二人脸图像中的光照信息以及关键点圈定的区域的框图进行提取，得到第一表情姿态图以及第一光照条件图，因此该第一表情姿态图内仅包含第二人脸图像中关键部位的表情信息，第一光照条件图仅包含第二人脸图像中的光照信息，之后将第一表情姿态图和第一光照条件图与第一人脸图进行融合，得到换脸图像。此时该表情换脸图像即为使用第一人脸图像替换第二人脸图像后的结果图。由于在本专利技术中，单独将第二人脸图像中的表情信息以及光照信息进行了提取，而表情信息除了能够反映人脸的表情之外，还可以反映人脸的姿态角度，因此之后直接将第一人脸图像按照所提取出来的表情信息和光照信息进行调整，使得得到的换脸图像的表情、姿态以及光照均足够自然，换脸效果更好。并且，由于本专利技术实施例仅通过一个GAN网络来进行换脸操作，降低了网络造成的失真误差，提高了换脸的自然程度。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例提供的人脸换脸方法的流程示意图；图2是本专利技术一个实施例提供的GAN模型训练过程的流程示意图；图3是GAN网络的工作过程示意图；图4是第一表情姿态图的示意图；图5是第一光照条件图的示意图；图6是本专利技术一个实施例提供的人脸换脸装置的结构示意图；图7是本专利技术一个实施例提供的人脸换脸设备的结构示意图。具体实施方式下面将详细描述本专利技术的各个方面的特征和示例性实施例，为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本专利技术进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本专利技术，并不被配置为限定本专利技术。对于本领域技术人员来说，本专利技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本专利技术的示例来提供对本专利技术更好的理解。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。为了解决现有技术问题，本专利技术实施例提供了一种人脸换脸方法、装置、设备及计算机存储介质。下面首先对本专利技术实施例所提供的人脸换脸方法进行介绍。图1示出了本专利技术一个实施例提供的人脸换脸方法的流程示意图。该方法包括：步骤s11：获得第一人脸图像和第二人脸图像；换脸操作，指的是用A人脸换掉图像或者视频中的B人脸，使得换脸后的图像或视频中的A人脸能够呈现原来B人脸的表情，并且尽可能的自然。其中，第一人脸图像指的即为上述A人脸的图像，第二人脸图像指的为上述B人脸的图像；并且，本专利技术中所提到的第一人脸图像和第二人脸图像是仅指得是人脸部分的图像，而不限定包含人的头发以及背景部分。步骤s12：识别第二人脸图像中的关键点，提取关键点圈定的区域的框图，得到第一表情姿态图；图4是第一表情姿态图的示意图；人脸图像中的关键点，指的是能够表征人脸特征的部分的特征点，用于区分不同人脸之间的区别，获取关键点的目的，是为了确定人脸各个部位的形状，之后据此即可表征人脸图像的表情和姿态，这里的表情指的是大笑、微笑、伤心等特征，姿态指的是人左右转头、上下转头、平面歪头以及正脸等人脸角度特征。而关键点在人脸上所圈定的区域的框图，这里的框图仅是用于表明关键点在人脸上所圈定的区域的轮廓，框图仅是特征点连接形成的图像，不包含人脸属性，如皮肤、光照等，因为本专利技术仅是想根据框图所圈定的轮廓，来确定第二人脸图像上的表情姿态信息，因为关键点圈定的框图的形状能够反映出人物的表情以及姿态。因此，通过提取上述框图，即能够将第二人脸图像上的表情信息提取出来。步骤s13：提取第二人脸图像中的光照信息，得到第一光照条件图；图5是第一光照条件图的示意图；由于人脸图像是需要在一定光线下拍摄的，因此，人脸图像上包含有当时拍摄时的光照信息，在不同的光照信息的条件下，人脸图像本文档来自技高网...

【技术保护点】
1.一种人脸换脸方法，其特征在于，包括：/n获得第一人脸图像和第二人脸图像；/n识别所述第二人脸图像中的关键点，提取所述关键点圈定的区域的框图，得到第一表情姿态图；/n提取所述第二人脸图像中的光照信息，得到第一光照条件图；/n将所述第一表情姿态图、所述第一光照条件图和所述第一人脸图像输入生成式对抗网络GAN模型，得到将所述第一表情姿态图、第一光照条件图与所述第一人脸图像融合后的换脸图像。/n

【技术特征摘要】
1.一种人脸换脸方法，其特征在于，包括：
获得第一人脸图像和第二人脸图像；
识别所述第二人脸图像中的关键点，提取所述关键点圈定的区域的框图，得到第一表情姿态图；
提取所述第二人脸图像中的光照信息，得到第一光照条件图；
将所述第一表情姿态图、所述第一光照条件图和所述第一人脸图像输入生成式对抗网络GAN模型，得到将所述第一表情姿态图、第一光照条件图与所述第一人脸图像融合后的换脸图像。


2.根据权利要求1所述的人脸换脸方法，其特征在于，所述提取所述关键点圈定的区域的框图的过程，包括：
提取并连接各个所述关键点，得到所述关键点组成的若干个封闭图形；
使用第一预设颜色填充所述封闭图形，得到所述第一表情姿态图。


3.根据权利要求2所述的人脸换脸方法，其特征在于，若两个所述封闭图形的位置对称，则分别采用不同的颜色填充上述两个封闭图形。


4.根据权利要求1所述的人脸换脸方法，其特征在于，所述提取所述第二人脸图像中的光照信息，得到第一光照条件图的过程包括：
对所述第二人脸图像进行模糊处理，得到所述第一光照条件图。


5.根据权利要求1所述的人脸换脸方法，其特征在于，所述提取所述第二人脸图像中的光照信息，得到第一光照条件图的过程包括：
将所述第二人脸图像的五官抠除，并用第二预设颜色填充五官所在区域；
使用所述第二人脸图像中脸颊处的光照填充上述颜色填充完成后的所述五官所在区域，得到第三人脸图像；
对所述第三人脸图像进行模糊处理，得到所述第一光照条件图。


6.根据权利要求1所述的人脸换脸方法，其特征在于，所述GAN网络的训练过程包括：
选择属于同一人的两张人脸图像分别作为第四人脸图像和第五人脸图像；
识别所述第五人...

【专利技术属性】
技术研发人员：张涛，覃威宁，王山虎，郑天祥，周润楠，文建华，唐杰，
申请(专利权)人：北京陌陌信息技术有限公司，
类型：发明
国别省市：北京;11