图像处理方法及装置、电子设备、存储介质制造方法及图纸

本申请实施例揭示了一种图像处理方法及装置、电子设备、存储介质，该方法包括：将第一人脸图像的人脸区域与第二人脸图像的人脸区域进行对齐处理，得到第一人脸图像经对齐处理后的目标人脸图像；分别提取目标人脸图像和第二人脸图像在多个尺度下的特征，得到对应的第一多尺度特征图和第二多尺度特征图；获取目标人脸图像的第一掩膜，以及第二人脸图像的第二掩膜；根据第一掩膜与第一多尺度特征图建立的第一残差链接，以及第二掩膜与第二多尺度特征图建立的第二残差链接，进行目标人脸图像和第二人脸图像的人脸融合处理，以得到融合后的人脸图像。本申请实施例的技术可自适应地融合任意两张人脸图片，如对多媒体视频中任意两帧人脸图片进行融合。脸图片进行融合。脸图片进行融合。

【技术实现步骤摘要】
图像处理方法及装置、电子设备、存储介质


[0001]本申请涉及图像处理和计算机视觉
，具体而言，涉及一种图像处理方法及装置、电子设备、计算机可读存储介质。

技术介绍

[0002]人脸融合/换脸是图像处理和计算机视觉领域的重要课题之一，现有的人脸融合技术主要可以分为两类。第一类为以人脸对齐和柏松融合实现人脸融合方法，以及另一类为通过deepfake(AI换脸工具)为代表的神经网络实现人脸融合的方法。
[0003]第一类方法中，首先通过人脸检测或人脸关键点等方法找到原图和目标图的人脸区域，进行拉伸，对正等步骤后，再使用泊松融合等方法对人脸进行贴合；这种方法优点是使用方便，针对任意原图和目标图，只要能检测出人脸区域就都可以进行换脸和融合，但它也有明显的缺点，使用泊松融合速度较慢，且效果无法得到保证，在色差较大的图片上会出现明显的边界和伪影。
[0004]近年来，卷积神经网络(Convolution Neural Network，CNN)逐渐成为了图像处理和计算机视觉领域的主流方法，因此，在另一类方法中，通过Deepfake和其类似方案在两个人的大量照片上训练一个端到端的神经网络完成人脸替换这种方法相比第一种在融合边界上更自然，且可以自动进行角度和朝向的校正，但此种方法在使用上相对比较麻烦，对于任意两张人脸进行换脸，都要收集这两张人脸的大量图片，并且单独训练一个模型，过程繁琐。

技术实现思路

[0005]为解决上述技术问题，本申请的实施例提供了一种图像处理方法及装置、电子设备、计算机可读存储介质，可快速实现人脸图像的人脸融合和替换。
[0006]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0007]根据本申请实施例的一个方面，提供了一种图像处理方法，包括：将第一人脸图像的人脸区域与第二人脸图像的人脸区域进行对齐处理，得到所述第一人脸图像经对齐处理后的目标人脸图像；分别提取所述目标人脸图像和所述第二人脸图像在多个尺度下的特征，得到对应的第一多尺度特征图和第二多尺度特征图；获取所述目标人脸图像的第一掩膜，以及所述第二人脸图像的第二掩膜；根据所述第一掩膜与所述第一多尺度特征图建立的第一残差链接，以及所述第二掩膜与所述第二多尺度特征图建立的第二残差链接，进行所述目标人脸图像和所述第二人脸图像的人脸融合处理，以得到融合后的人脸图像。
[0008]根据本申请实施例的一个方面，提供了一种图像处理装置，包括：人脸对齐模块，配置为将第一人脸图像的人脸区域与第二人脸图像的人脸区域进行对齐处理，得到所述第一人脸图像经对齐处理后的目标人脸图像；多尺度特征图获取模块，配置为分别提取所述目标人脸图像和所述第二人脸图像在多个尺度下的特征，得到对应的第一多尺度特征图和
第二多尺度特征图；掩膜获取模块，配置为获取所述目标人脸图像的第一掩膜，以及所述第二人脸图像的第二掩膜；人脸融合模块，配置为根据所述第一掩膜与所述第一多尺度特征图建立的第一残差链接，以及所述第二掩膜与所述第二多尺度特征图建立的第二残差链接，进行所述目标人脸图像和所述第二人脸图像的人脸融合处理，以得到融合后的人脸图像。根据本申请实施例的一个方面，提供了一种电子设备，包括处理器及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的图像处理方法。
[0009]根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的图像处理方法。
[0010]根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的方法。
[0011]在本申请的实施例所提供的技术方案中，通过直接输入两张经对齐处理后的人脸图像，建立经对齐处理后的人脸图像中多尺度特征图和掩膜残差链接，并对建立残差链接后的多尺度特征图和掩膜进行人脸融合处理，记得融合后的人脸图像。该人脸融合方法速度快，无需大量数据训练，可自适应地融合任意两张人脸图片。
[0012]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0013]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0014]图1本申请涉及的一种实施环境的示意图；
[0015]图2是本申请一示例性实施例示出的一种图像处理方法的流程图；
[0016]图3是本申请一示例性实施例示出的使用带有残差链接的多尺度编码器
‑
解码器进行人脸融合的原理示意图；
[0017]图4是本申请另一示例性实施例示出的一种图像处理方法的流程图；
[0018]图5是本申请图2所示实施例中的步骤S210在一示例性实施例中的流程图；
[0019]图6是本申请图5所示实施例中的步骤S510在一示例性实施例中的流程图；
[0020]图7是本申请一示例性实施例示出目标检测算法的结构示意图；
[0021]图8是本申请一示例性实施例示出的人脸关键点检测网络的结构示意图；
[0022]图9是本申请图6所示实施例中的步骤S630在一示例性实施例中的流程图；
[0023]图10是本申请图5所示实施例中的步骤S530在一示例性实施例中的流程图；
[0024]图11是本申请一示例性实施例示出的一种图像处理装置的结构示意图；
[0025]图12是本申请一示例性实施例示出的适于用来实现电子设备的计算机系统的结
构示意图。
具体实施方式
[0026]这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0027]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0028]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：将第一人脸图像的人脸区域与第二人脸图像的人脸区域进行对齐处理，得到所述第一人脸图像经对齐处理后的目标人脸图像；分别提取所述目标人脸图像和所述第二人脸图像在多个尺度下的特征，得到对应的第一多尺度特征图和第二多尺度特征图；获取所述目标人脸图像的第一掩膜，以及所述第二人脸图像的第二掩膜；根据所述第一掩膜与所述第一多尺度特征图建立的第一残差链接，以及所述第二掩膜与所述第二多尺度特征图建立的第二残差链接，进行所述目标人脸图像和所述第二人脸图像的人脸融合处理，以得到融合后的人脸图像。2.根据权利要求1所述的方法，其特征在于，在所述分别提取所述目标人脸图像和所述第二人脸图像在多个尺度下的特征，得到对应的第一多尺度特征图和第二多尺度特征图之前，所述方法还包括步骤：根据所述目标人脸图像的掩膜对所述目标人脸图像的人脸区域进行颜色校正。3.根据权利要求1所述的方法，其特征在于，在所述分别提取所述目标人脸图像和所述第二人脸图像在多个尺度下的特征，得到对应的第一多尺度特征图和第二多尺度特征图之前，所述方法还包括步骤：调整所述目标人脸图像中人脸的角度；若调整后的角度与所述第二人脸图像中人脸的角度之差未在预设误差阈值范围内，则继续调整所述目标人脸图像中人脸的角度，直至调整后的角度与所述第二人脸图像中人脸的角度之差在所述预设误差阈值内。4.根据权利要求1所述的方法，其特征在于，所述将第一人脸图像的人脸区域与第二人脸图像的人脸区域进行对齐处理，得到所述第一人脸图像经对齐处理后的目标人脸图像，包括：获取人脸图像的人脸关键点坐标；所述人脸图像的人脸关键点坐标包括所述第一人脸图像的第一人脸关键点坐标，以及所述第二人脸图像的第二人脸关键点坐标；根据所述第一人脸关键点坐标和所述第二人脸关键点坐标，将所述第一人脸图像的人脸区域与所述第二人脸图像的人脸区域进行对齐处理，得到所述第一人脸图像经对齐处理后的目标人脸图像。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一人脸关键点坐标和所述第二人脸关键点坐标，将所述第一人脸图像的人脸区域与所述第二人脸图像的人脸区域进行对...

【专利技术属性】
技术研发人员：王欣睿，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：