本申请涉及一种基于神经网络的人脸融合方法、装置、设备及存储介质，其中方法包括：获取源人脸图像和目标人脸图像；将源人脸图像和目标人脸图像输入到目标对抗神经网络中，并对目标人脸图像进行特征编码，得到编码特征；通过目标身份特征提取器对源人脸图像进行特征提取，得到身份特征；通过身份注入器，将身份特征注入到编码特征中，生成目标融合特征；对编码特征进行特征增强，生成第一目标特征、第二目标特征以及第三目标特征；通过对第一目标特征、第二目标特征、第三目标特征以及目标融合特征进行特征解码，生成目标人脸融合图像。本发明专利技术提高了人脸融合的精准度，有利于提高人脸融合的生成质量。融合的生成质量。融合的生成质量。
【技术实现步骤摘要】
基于神经网络的人脸融合方法、装置、设备及存储介质
[0001]本申请涉及图像处理
，尤其涉及一种基于神经网络的人脸融合方法、装置、设备及存储介质。
技术介绍
[0002]人脸融合技术将源人脸的身份特征迁移到目标人脸上，使生成人脸看起来像源人脸，同时又能保持目标人脸的其他属性(比如表情、姿态、光照等)。这种技术可以生成并不存在的人脸，在电影、游戏、娱乐工业等领域都有着广泛的应用；人脸融合也吸引了计算机图形和视觉领域大量的研究兴趣，但是目前在高保真高画质生成方面仍然存在着巨大的挑战。
[0003]现有的基于神经网络的人脸融合技术为基于3D技术的方法，其是将人像转换到3D模型上，然后将人脸各种外观特征(如姿态，表情，纹理，光照等等)表达为3D模型的参数，通过调整这些参数完成基于神经网络的人脸融合。然而这种方法前提是需要一个精准的3DMM模型，但是由于缺乏2D图像到3D模型转换的训练数据，往往难以获得高精度的3D模型。并且该方法需要进行显式的语义解耦(区分哪些特征是身份，哪些特征是属性)，这些特征一个在3D模型的系数中进行，另一个在高维特征空间中进行，但是语义特征却是高度缠绕的，比如表情在语义上属于属性特征，可是有些标志性的表情又可以用来表达身份，此时就难以将表情从身份特征中剥离出来。并且由于语义特征概念上的模糊，也就无法在特征上进行准确地解耦，强行解耦引起特征间的矛盾，最终会呈现为生成图像上的瑕疵以及功能上的退化。最终人脸融合的精准度较差。
技术实现思路
[0004]本申请实施例的目的在于提供一种基于神经网络的人脸融合方法、装置、设备及存储介质，以提高基于神经网络的人脸融合的精准度。
[0005]为了解决上述技术问题，本申请实施例提供一种基于神经网络的人脸融合方法，包括：
[0006]获取源人脸图像和目标人脸图像；
[0007]将所述源人脸图像和目标人脸图像输入到目标对抗神经网络中，并对所述目标人脸图像进行特征编码，得到编码特征；
[0008]通过目标身份特征提取器对所述源人脸图像进行特征提取，得到身份特征；
[0009]通过身份注入器，将所述身份特征注入到所述编码特征中，生成目标融合特征；
[0010]对所述编码特征进行特征增强，生成第一目标特征、第二目标特征以及第三目标特征；
[0011]通过对所述第一目标特征、所述第二目标特征、所述第三目标特征以及所述目标融合特征进行特征解码，生成目标人脸融合图像。
[0012]为了解决上述技术问题，本申请实施例提供一种基于神经网络的人脸融合装置，
包括：
[0013]人脸图像获取单元，用于获取源人脸图像和目标人脸图像；
[0014]编码特征生成单元，用于将所述源人脸图像和目标人脸图像输入到目标对抗神经网络中，并对所述目标人脸图像进行特征编码，得到编码特征；
[0015]身份特征生成单元，用于通过目标身份特征提取器对所述源人脸图像进行特征提取，得到身份特征；
[0016]目标融合特征生成单元，用于通过身份注入器，将所述身份特征注入到所述编码特征中，生成目标融合特征；
[0017]特征增强处理单元，用于对所述编码特征进行特征增强，生成第一目标特征、第二目标特征以及第三目标特征；
[0018]目标人脸融合图像生成单元，用于通过对所述第一目标特征、所述第二目标特征、所述第三目标特征以及所述目标融合特征进行特征解码，生成目标人脸融合图像。
[0019]为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的基于神经网络的人脸融合方法。
[0020]为解决上述技术问题，本专利技术采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的基于神经网络的人脸融合方法。
[0021]本专利技术实施例提供了一种基于神经网络的人脸融合方法、装置、设备及存储介质。其中方法包括：获取源人脸图像和目标人脸图像；将源人脸图像和目标人脸图像输入到目标对抗神经网络中，并对目标人脸图像进行特征编码，得到编码特征；通过目标身份特征提取器对源人脸图像进行特征提取，得到身份特征；通过身份注入器，将身份特征注入到编码特征中，生成目标融合特征；对编码特征进行特征增强，生成第一目标特征、第二目标特征以及第三目标特征；通过对第一目标特征、第二目标特征、第三目标特征以及目标融合特征进行特征解码，生成目标人脸融合图像。本专利技术实施例提取身份特征和将身份特征注入到编码特征中，实现了对人脸图像的身份特征和属性特征的解耦，避免了身份特征和属性特征的混淆，有利于提高人脸融合的精准度，从而提高了人脸融合的生成质量。
附图说明
[0022]为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是本申请实施例提供的基于神经网络的人脸融合方法流程的一实现流程图；
[0024]图2是本申请实施例提供的基于神经网络的人脸融合方法中子流程的一实现流程图；
[0025]图3是本申请实施例提供的基于神经网络的人脸融合方法中子流程的又一实现流程图；
[0026]图4是本申请实施例提供的基于神经网络的人脸融合方法中子流程的又一实现流程图；
[0027]图5是本申请实施例提供的基于神经网络的人脸融合方法中子流程的又一实现流程图；
[0028]图6是本申请实施例提供的基于神经网络的人脸融合方法中子流程的又一实现流程图；
[0029]图7是本申请实施例提供的基于神经网络的人脸融合方法中子流程的又一实现流程图；
[0030]图8是本申请实施例提供的基于神经网络的人脸融合装置示意图；
[0031]图9是本申请实施例提供的计算机设备的示意图。
具体实施方式
[0032]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
[0033]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于神经网络的人脸融合方法，其特征在于，包括：获取源人脸图像和目标人脸图像；将所述源人脸图像和目标人脸图像输入到目标对抗神经网络中，并对所述目标人脸图像进行特征编码，得到编码特征；通过目标身份特征提取器对所述源人脸图像进行特征提取，得到身份特征；通过身份注入器，将所述身份特征注入到所述编码特征中，生成目标融合特征；对所述编码特征进行特征增强，生成第一目标特征、第二目标特征以及第三目标特征；通过对所述第一目标特征、所述第二目标特征、所述第三目标特征以及所述目标融合特征进行特征解码，生成目标人脸融合图像。2.根据权利要求1所述的基于神经网络的人脸融合方法，其特征在于，所述通过目标身份特征提取器对所述源人脸图像进行特征提取，得到身份特征之前，所述方法还包括：获取样本人脸图像，其中，同一身体标识下存在若干所述样本人脸图像；分别提取同一身体标识下所述样本人脸图像的Arcface特征，得到多个身份标识对应的目标Arcface特征；分别对同一身份标识下的所述目标Arcface特征进行聚类处理，得到多个聚类结果，并计算所述聚类结果中的聚类中心，得到多个身份标识对应的特征类心；基于特征类心训练身份特征提取器，得到所述目标身份特征提取器。3.根据权利要求1所述的基于神经网络的人脸融合方法，其特征在于，通过身份注入器包括第一身份注入块、第二身份注入块以及第三身份注入块；所述通过身份注入器，将所述身份特征注入到所述编码特征中，生成目标融合特征，包括：通过所述第一身份注入块，将所述身份特征注入所述编码特征中，得到第一融合特征；通过所述第二身份注入块，将所述身份特征注入所述第一融合特征中，得到第二融合特征；通过所述第三身份注入块，将所述身份特征注入所述第二融合特征中，得到目标融合特征。4.根据权利要求3所述的基于神经网络的人脸融合方法，其特征在于，所述通过所述第一身份注入块，将所述身份特征注入所述编码特征中，得到第一融合特征，包括：在所述第一身份注入块中，对所述编码特征进行卷积处理，得到第一卷积特征；将所述第一卷积特征与所述身份特征进行特征融合，得到初始融合特征；对所述初始融合特征进行卷积处理，得到第二卷积特征；将所述第二卷积特征与所述身份特征进行特征融合，得到所述第一融合特征。5.根据权利要求1所述的基于神经网络的人脸融合方法，其特征在于，所述对所述编码特征进行特征增强，生成第一目标特征、第二目标特征以及第三目标特征，包括：通过第一上采样卷积层对所述编码特征编码进行上采样处理和卷积处理，生成所述第一目标特征；通过第二上采样卷积层对所述编码特征编码进行上采样处理和卷积处理，生成所述第二目标特征；通过第三上采样卷积层对所述编码特征编码进行上...
【专利技术属性】
技术研发人员：王鼎，谢衍涛，
申请(专利权)人：杭州云像科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。