图像处理方法及装置、电子设备、存储介质制造方法及图纸

本申请实施例揭示了一种图像处理方法及装置、电子设备、存储介质，该方法包括：将第一人脸图像的人脸区域与第二人脸图像的人脸区域进行对齐处理，得到第一人脸图像经对齐处理后的目标人脸图像；分别提取目标人脸图像和第二人脸图像在多个尺度下的特征，得到对应的第一多尺度特征图和第二多尺度特征图；获取目标人脸图像的第一掩膜，以及第二人脸图像的第二掩膜；根据第一掩膜与第一多尺度特征图建立的第一残差链接，以及第二掩膜与第二多尺度特征图建立的第二残差链接，进行目标人脸图像和第二人脸图像的人脸融合处理，以得到融合后的人脸图像。本申请实施例的技术可自适应地融合任意两张人脸图片，如对多媒体视频中任意两帧人脸图片进行融合。脸图片进行融合。脸图片进行融合。

【技术实现步骤摘要】
图像处理方法及装置、电子设备、存储介质


[0001]本申请涉及图像处理和计算机视觉
，具体而言，涉及一种图像处理方法及装置、电子设备、计算机可读存储介质。

技术介绍

[0002]人脸融合/换脸是图像处理和计算机视觉领域的重要课题之一，现有的人脸融合技术主要可以分为两类。第一类为以人脸对齐和柏松融合实现人脸融合方法，以及另一类为通过deepfake(AI换脸工具)为代表的神经网络实现人脸融合的方法。
[0003]第一类方法中，首先通过人脸检测或人脸关键点等方法找到原图和目标图的人脸区域，进行拉伸，对正等步骤后，再使用泊松融合等方法对人脸进行贴合；这种方法优点是使用方便，针对任意原图和目标图，只要能检测出人脸区域就都可以进行换脸和融合，但它也有明显的缺点，使用泊松融合速度较慢，且效果无法得到保证，在色差较大的图片上会出现明显的边界和伪影。
[0004]近年来，卷积神经网络(Convolution Neural Network，CNN)逐渐成为了图像处理和计算机视觉领域的主流方法，因此，在另一类方法中，通过Deepfake和其类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：将第一人脸图像的人脸区域与第二人脸图像的人脸区域进行对齐处理，得到所述第一人脸图像经对齐处理后的目标人脸图像；分别提取所述目标人脸图像和所述第二人脸图像在多个尺度下的特征，得到对应的第一多尺度特征图和第二多尺度特征图；获取所述目标人脸图像的第一掩膜，以及所述第二人脸图像的第二掩膜；根据所述第一掩膜与所述第一多尺度特征图建立的第一残差链接，以及所述第二掩膜与所述第二多尺度特征图建立的第二残差链接，进行所述目标人脸图像和所述第二人脸图像的人脸融合处理，以得到融合后的人脸图像。2.根据权利要求1所述的方法，其特征在于，在所述分别提取所述目标人脸图像和所述第二人脸图像在多个尺度下的特征，得到对应的第一多尺度特征图和第二多尺度特征图之前，所述方法还包括步骤：根据所述目标人脸图像的掩膜对所述目标人脸图像的人脸区域进行颜色校正。3.根据权利要求1所述的方法，其特征在于，在所述分别提取所述目标人脸图像和所述第二人脸图像在多个尺度下的特征，得到对应的第一多尺度特征图和第二多尺度特征图之前，所述方法还包括步骤：调整所述目标人脸图像中人脸的角度；若调整后的角度与所述第二人脸图像中人脸的角度之差未在预设误差阈值范围内，则继续调整所述目标人脸图像中人脸的角度，直至调整后的角度与所述第二人脸图像中人脸的角度之差在所述预设误差阈值内。4.根据权利要求1所述的方法，其特征在于，所述将第一人脸图像的人脸区域与第二人脸图像的人脸区域进行对齐处理，得到所述第一人脸图像经对齐处理后的目标人脸图像，包括：获取人脸图像的人脸关键点坐标；所述人脸图像的人脸关键点坐标包括所述第一人脸图像的第一人脸关键点坐标，以及所述第二人脸图像的第二人脸关键点坐标；根据所述第一人脸关键点坐标和所述第二人脸关键点坐标，将所述第一人脸图像的人脸区域与所述第二人脸图像的人脸区域进行对齐处理，得到所述第一人脸图像经对齐处理后的目标人脸图像。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一人脸关键点坐标和所述第二人脸关键点坐标，将所述第一人脸图像的人脸区域与所述第二人脸图像的人脸区域进行对...

【专利技术属性】
技术研发人员：王欣睿，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：