图像处理方法、装置、设备与存储介质制造方法及图纸

本申请公开一种图像处理方法、装置、设备和计算可读存储介质。方法包括：从源人脸图像中，提取源人脸的身份特征，所述身份特征用于表征所述源人脸的人脸特点；从目标人脸图像中，提取目标人脸的高阶语义特征、空间关系特征和边缘特征；利用换脸图像生成器集合，对所述身份特征、所述高阶语义特征、所述空间关系特征和所述边缘特征进行融合，生成目标换脸图像。采用该方法，可以解决现有的换脸算法生成的换脸图像的质量较差的问题。的换脸图像的质量较差的问题。的换脸图像的质量较差的问题。

【技术实现步骤摘要】
图像处理方法、装置、设备与存储介质


[0001]本申请涉及图像处理
，尤其涉及一种图像处理方法、装置、设备和存储介质。

技术介绍

[0002]人脸交换，是指在图像或者视频中，把一张脸换成另一张脸。现有技术中，通常采用换脸算法实现人脸交换。
[0003]现有的换脸算法往往通过融合源人脸图像中人脸的身份特征，以及目标人脸图像的图像属性特征，来实现将目标人脸图像中的人脸替换为源人脸图像中的人脸，从而生成换脸图像。
[0004]从实际的换脸效果来看，现有的换脸算法生成的换脸图像的质量较差——比如，换脸图像不能很好地保持目标人脸图像中人脸的姿态，又或者，换脸图像不能很好地保持源人脸图像中人脸的身份特征。

技术实现思路

[0005]本申请实施例提供一种图像处理方法，用以解决现有的换脸算法生成的换脸图像的质量较差的问题。
[0006]本申请实施例还提供一种图像处理装置、设备和计算可读存储介质。
[0007]本申请实施例采用下述技术方案：
[0008]一种图像处理方法，包括：
[0009]从源人脸图像中，提取源人脸的身份特征，所述身份特征用于表征所述源人脸的人脸特点；
[0010]从目标人脸图像中，提取目标人脸的高阶语义特征、空间关系特征和边缘特征；所述高阶语义特征用于表征所述目标人脸图像的高层语义，所述空间关系用于表征所述目标人脸在所述目标人脸图像中所处位置，所述边缘特征用于表征所述目标人脸的边界；
[0011]利用换脸图像生成器集合，对所述身份特征、所述高阶语义特征、所述空间关系特征和所述边缘特征进行融合，生成目标换脸图像。
[0012]一种图像处理装置，包括：
[0013]身份特征提取模块，用于从源人脸图像中，提取源人脸的身份特征，所述身份特征用于表征所述源人脸的人脸特点；
[0014]属性特征提取模块，用于从目标人脸图像中，提取目标人脸的高阶语义特征、空间关系特征和边缘特征；所述高阶语义特征用于表征所述目标人脸图像的高层语义，所述空间关系用于表征所述目标人脸在所述目标人脸图像中所处位置，所述边缘特征用于表征所述目标人脸的边界；
[0015]融合模块，用于利用换脸图像生成器集合，对所述身份特征、所述高阶语义特征、所述空间关系特征和所述边缘特征进行融合，生成目标换脸图像。
[0016]一种计算设备，包括：存储器及处理器，其中，
[0017]所述存储器，用于存储计算机程序；
[0018]所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述计算机程序，以用于执行上述的方法。
[0019]一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述的方法。
[0020]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0021]由于在生成目标换脸图像时，融合了源人脸的身份特征、目标人脸的高阶语义特征、空间关系特征和边缘特征，其中，源人脸的身份特征能够表征源人脸的人脸特点、所述高阶语义特征能够表征目标人脸图像的高层语义、空间关系特征能够表征目标人脸在目标人脸图像中所处位置、边缘特征能够表征目标人脸的边界，因此，可以使得生成的目标换脸图像能够在较好地保持源人脸图像中人脸的身份特征的同时，还能够保持目标人脸图像的高层语义、在目标人脸图像中的位置以及边界，从而解决现有的换脸算法得到的换脸图像质量较差，不能很好地保持目标人脸的姿态，又或者不能很好地保持源人脸的身份特征的问题。
附图说明
[0022]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0023]图1为本申请实施例提供的一种图像处理方法的具体实现流程图；
[0024]图2为本申请实施例的具体实施方式的原理和采用的网络的示意图；
[0025]图3为对源图像和目标图像分别进行人脸抠取得到相应的源人脸图像和目标人脸图像的示意图；
[0026]图4为本申请实施例所采用的网络的具体细节示意图；
[0027]图5为本申请实施例提供的具体实施方式的实现流程示意图；
[0028]图6为本申请实施例中的DM模块的结构示意图；
[0029]图7为本申请实施例中的CAM模块的结构示意图；
[0030]图8为本申请实施例中的注意力机制模块的结构示意图；
[0031]图9为本申请实施例中的BRM模块的结构示意图；
[0032]图10为AEI
‑
Net的结构示意图；
[0033]图11为AAD ResBlk模块的结构示意图；
[0034]图12为faceshifter所包含的AAD模块的具体结构示意图；
[0035]图13为本申请实施例中改进的AAD模块的具体结构示意图；
[0036]图14为本申请实施例提供的一种图像处理装置的具体结构示意图；
[0037]图15为本申请实施例提供的计算设备的具体结构示意图。
具体实施方式
[0038]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一
部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0039]本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
[0040]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
[0041]实施例1
[0042]本申请实施例1提供了一种图像处理方法，用以解决现有的换脸算法生成的换脸图像的质量较差的问题。
[0043]该方法的执行主体，可以是任意的可实现该方法的计算设备，如服务器、手机、个人电脑、智能可穿戴设备、智能机器人，等等。
[0044]该方法的不同步骤可以是同一执行主体实现的，也可以是不同执行主体实现的，本申请实施例对采用怎样的执行主体来实现该方法不做限定。
[0045]此外，本申请实施例对不同步骤的执行顺序也不做限定。在使用本申请实施例提供的该方法时，可以根据实际需求，调整不同步骤的执行顺序。
[0046]为便于描述，以下以一种图像处理设备作为本方法的执行主体为例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：从源人脸图像中，提取源人脸的身份特征，所述身份特征用于表征所述源人脸的人脸特点；从目标人脸图像中，提取目标人脸的高阶语义特征、空间关系特征和边缘特征；所述高阶语义特征用于表征所述目标人脸图像的高层语义，所述空间关系用于表征所述目标人脸在所述目标人脸图像中所处位置，所述边缘特征用于表征所述目标人脸的边界；利用换脸图像生成器集合，对所述身份特征、所述高阶语义特征、所述空间关系特征和所述边缘特征进行融合，生成目标换脸图像。2.如权利要求1所述的方法，其特征在于，所述利用换脸图像生成器集合，对所述身份特征、所述高阶语义特征、所述空间关系特征和所述边缘特征进行融合，生成目标换脸图像，包括：对所述身份特征执行上采样处理，得到上采样后的身份特征；利用所述换脸图像生成器集合，对所述身份特征、所述上采样后的身份特征、所述高阶语义特征、所述空间关系特征和所述边缘特征进行融合，生成所述目标换脸图像。3.如权利要求1所述的方法，其特征在于，所述换脸图像生成器集合包括第一类换脸图像生成器和第二类换脸图像生成器；所述第二类换脸图像生成器具备的数据输入通道中，包含用于输入所述上采样后的身份特征的数据输入通道；所述利用所述换脸图像生成器集合，对所述身份特征、所述上采样后的身份特征、所述高阶语义特征、所述空间关系特征和所述边缘特征进行融合，生成所述换脸图像，包括：利用所述第一类换脸图像生成器，对所述身份特征、所述高阶语义特征进行融合，生成第一换脸图像；利用所述第二类换脸图像生成器基于所述第一换脸图像、所述身份特征、所述上采样后的身份特征、所述空间关系特征、所述边缘特征，生成目标换脸图像。4.如权利要求3所述的方法，其特征在于，所述第二类换脸图像生成器包括第一生成器和第二生成器；所述上采样后的身份特征包括一次上采样后的身份特征，以及二次上采样后的身份特征；所述利用所述第二类换脸图像生成器基于所述第一换脸图像、所述身份特征、所述上采样后的身份特征、所述空间关系特征、所述边缘特征，生成目标换脸图像，包括：利用所述第一生成器对所述第一换脸图像、所述身份特征、所述一次上采样后的身份特征和所述空间关系特征进行融合，生成第二换脸图像；利用所述第二生成器对所述第二换脸图...

【专利技术属性】
技术研发人员：陈圣，曾定衡，蒋宁，周迅溢，吴海英，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：