一种图像处理方法、电子设备及存储介质技术

本申请实施例提供了一种图像处理方法、电子设备及存储介质。该方法包括：获取第一对象对应的样本视频，以及，获取第二对象对应的样本图像，其中，样本视频中包括第一对象的脸部区域，样本图像中包括第二对象的脸部区域；从样本视频筛选出包括第一对象的脸部的目标图像帧；将目标图像帧中的第一对象的脸部替换为样本图像中的第二对象的脸部，获得替换后的替换图像帧；确定样本视频中的图像帧之间的相对位移特征图；基于替换图像帧、样本视频中的图像帧之间的相对位移特征图，将样本视频中的图像帧中第一对象的脸部替换为第二对象的脸部。像帧中第一对象的脸部替换为第二对象的脸部。像帧中第一对象的脸部替换为第二对象的脸部。

【技术实现步骤摘要】
一种图像处理方法、电子设备及存储介质


[0001]本申请涉及图像处理
，具体而言，涉及一种图像处理方法、电子设备及存储介质。

技术介绍

[0002]深度伪造(英语：Deepfake)，又被称为深伪技术，是深度学习(Deep Learning)和伪造(Fake)的混成词，专指基于人工智能的人体图像合成技术的应用，使用Deepfake技术可以将已有的图像或视频叠加至目标图像或视频上。
[0003]在一些场景下，如直播、搞笑等场景下，可能需要将一个图像中的人脸替换为另外一个人脸。目前，针对该种需求的主流做法是，使用深度伪造技术将一个视频中的人脸替换为另一个视频中的人脸，然而使用深度伪造技术的方法需要提取视频中的人脸特征(例如表情和唇部动作等)，并将特征编码后再解码成换脸后的图像，这些特征提取、特征编码和特征解码的操作通常是比较耗时的，只适用于非实时应用场景中。然而，在一些实时应用场景中，实时应用场景例如：现场直播出现匿名嘉宾，需要实时地将人脸部分打马赛克，或者，在搞笑场景中，需要实时地将某演员人脸替换为其它演员的人脸。因此，使用目前的图像处理方法对视频中的人脸进行替换难以满足实时应用场景需求。

技术实现思路

[0004]本申请实施例的目的在于提供一种图像处理方法、电子设备及存储介质，用于改善对视频中的人脸进行替换难以满足实时应用场景需求的问题。
[0005]第一方面，本申请实施例提供了一种图像处理方法，包括：获取第一对象对应的样本视频，以及，获取第二对象对应的样本图像，其中，样本视频中包括第一对象的脸部区域，样本图像中包括第二对象的脸部区域；从样本视频筛选出包括第一对象的脸部的目标图像帧；将目标图像帧中的第一对象的脸部替换为样本图像中的第二对象的脸部，获得替换后的替换图像帧；确定样本视频中的图像帧之间的相对位移特征图；基于替换图像帧、样本视频中的图像帧之间的相对位移特征图，将样本视频中的图像帧中第一对象的脸部替换为第二对象的脸部。在上述的实现过程中，通过先对样本视频中出现第一对象脸部的目标图像帧进行替换，然后根据样本视频中的其它图像帧与该目标图像帧之间的相对位移特征图来替换，获得实时替换人脸的换脸视频，达到了实时地将样本视频中的人脸进行替换的效果，从而避免了特征编码和特征解码等非常耗时的操作，让该换脸视频有效地满足了实时的应用场景需求，在不需要对人脸进行建模训练的前提下，实现了三维的换脸效果。
[0006]在第一方面的一种可选实现方式中，将目标图像帧中的第一对象的脸部替换为样本图像中的第二对象的脸部，获得替换后的替换图像帧，包括：确定样本图像所对应的样本纹理图，以及，基于样本图像确定脸部掩码纹理图；使用脸部掩码纹理图对样本纹理图中的非脸部区域进行过滤，获得第二对象的脸部区域；使用第二对象的脸部区域替换目标图像帧中第一对象的脸部区域，获得替换图像帧。
[0007]在上述的实现过程中，通过根据样本纹理图和掩码纹理图来进行脸部替换，获得替换后的图像帧，从而能够更加准确地找到脸部位置区域，从而在逐个像素点替换时只替换脸部区域，有效地提高了对视频中的脸部区域进行替换的精度。
[0008]在第一方面的一种可选实现方式中，确定样本图像所对应的样本纹理图，包括：对样本图像进行人脸检测，得到第二对象的初始脸部区域；对初始脸部区域进行目标处理，得到第二对象的待处理脸部区域，其中，目标处理包括裁剪处理；基于待处理脸部区域中的每个像素点的横坐标值和纵坐标值，对样本人脸图像的每个像素点对应的空间坐标值进行预测，获得待处理脸部区域对应的样本纹理图，样本纹理图中的每个像素点包括：空间坐标值、横坐标值和纵坐标值。
[0009]在上述的实现过程中，通过对样本图像进行人脸检测和截取，有效地去掉更多与人脸无关的背景区域，进一步地，通过预测出的样本人脸图像的每个像素点对应的空间坐标值来替换，可以增加更多的人脸有效信息，提升替换脸部区域的精度效果。
[0010]在第一方面的一种可选实现方式中，基于样本图像确定脸部掩码纹理图，包括：针对样本图像中的每个像素点，使用掩码神经网络模型预测出每个像素点对应的掩码值，获得样本图像对应的脸部掩码图，脸部掩码图的每个像素点包括：横坐标值和纵坐标值；根据脸部掩码图的每个像素点的横坐标值和纵坐标值对脸部掩码图的每个像素点对应的空间坐标值进行预测，进行纹理提取，获得脸部掩码纹理图，脸部掩码纹理图中的每个像素点包括：空间坐标值、横坐标值和纵坐标值。
[0011]在上述的实现过程中，通过使用掩码神经网络模型预测出每个像素点对应的掩码值，获得样本图像对应的脸部掩码图，并预测出脸部掩码图的空间坐标维度信息，有效地提高了根据空间坐标维度信息对视频中的人脸区域进行替换的精度。
[0012]在第一方面的一种可选实现方式中，使用第二对象的脸部区域替换目标图像帧中第一对象的脸部区域，获得替换图像帧，包括：对目标图像帧进行人脸检测，得到第一对象的脸部区域；将第二对象的脸部区域映射至目标图像帧中的第一对象的脸部区域，获得映射图像帧，映射图像帧是第二对象的脸部区域与第一对象的脸部区域对齐的图像帧；将映射图像帧确定为前景图，并将目标图像帧确定为背景图；将前景图中的每个像素点与背景图中对应的像素点进行融合。
[0013]在第一方面的一种可选实现方式中，将前景图中的每个像素点与背景图中对应的像素点进行融合，包括：针对前景图中的第二对象的脸部区域，计算出第二对象的脸部区域中的每个像素点与第二对象的脸部区域的全部边缘像素点的多个距离；根据多个距离中的最短距离与预设距离确定第二对象的脸部区域中的每个像素点的权重，获得第二对象的脸部区域对应的权重矩阵，预设距离是多个距离中的最长距离乘以预设比例获得的；将第二对象的脸部区域对应的权重矩阵与第二对象的脸部区域的全部像素点构成的矩阵进行逐个值相乘，获得平滑后的前景图；将平滑后的前景图中的每个像素点与背景图中对应的像素点进行逐点相加融合。
[0014]在上述的实现过程中，通过对人脸图像帧中的第二人脸进行平滑渐变融合，从而避免了替换的人脸与背景有明显风格差异的问题，有效地保证了换脸后的边缘的平滑和风格的统一。
[0015]在第一方面的一种可选实现方式中，确定样本视频中的图像帧之间的相对位移特
征图，包括：针对样本视频中的每个图像帧，计算出图像帧中的每个像素点与目标图像帧中运动相似像素点之间的相对位移，获得图像帧的各个像素点所对应的相对位移；针对图像帧中的每个像素点，获取像素点的位移权重；确定像素点的位移权重与像素点对应的相对位移的乘积，获得图像帧与目标图像帧之间的相对位移特征图。在上述的实现过程中，通过将替换人脸后的图像帧与每个图像帧对应的相对位移特征图进行相对位移计算，从而避免了特征编码和特征解码等非常耗时的操作，有效地实现了实时稳定的未换脸图像到换脸视频的转换。
[0016]在第一方面的一种可选实现方式中，基于替换图像帧、样本视频中的图像帧之间的相对位移特征图，将样本视频中的图像帧中第一对象的脸部替换为第二对象的脸部，包括：针对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取第一对象对应的样本视频，以及，获取第二对象对应的样本图像，其中，所述样本视频中包括所述第一对象的脸部区域，所述样本图像中包括所述第二对象的脸部区域；从所述样本视频筛选出包括所述第一对象的脸部的目标图像帧；将所述目标图像帧中的第一对象的脸部替换为所述样本图像中的第二对象的脸部，获得替换后的替换图像帧；确定所述样本视频中的图像帧之间的相对位移特征图；基于所述替换图像帧、所述样本视频中的图像帧之间的相对位移特征图，将所述样本视频中的图像帧中第一对象的脸部替换为所述第二对象的脸部。2.根据权利要求1所述的方法，其特征在于，所述将所述目标图像帧中的第一对象的脸部替换为所述样本图像中的第二对象的脸部，获得替换后的替换图像帧，包括：确定所述样本图像所对应的样本纹理图，以及，基于所述样本图像确定脸部掩码纹理图；使用所述脸部掩码纹理图对所述样本纹理图中的非脸部区域进行过滤，获得所述第二对象的脸部区域；使用所述第二对象的脸部区域替换所述目标图像帧中所述第一对象的脸部区域，获得所述替换图像帧。3.根据权利要求2所述的方法，其特征在于，所述确定所述样本图像所对应的样本纹理图，包括：对所述样本图像进行人脸检测，得到所述第二对象的初始脸部区域；对所述初始脸部区域进行目标处理，得到所述第二对象的待处理脸部区域，其中，所述目标处理包括裁剪处理；基于所述待处理脸部区域中的每个像素点的横坐标值和纵坐标值，对所述待处理脸部区域中的每个像素点对应的空间坐标值进行预测，获得所述待处理脸部区域对应的样本纹理图，所述样本纹理图中的每个像素点包括：空间坐标值、横坐标值和纵坐标值。4.根据权利要求2所述的方法，其特征在于，所述基于所述样本图像确定脸部掩码纹理图，包括：针对所述样本图像中的每个像素点，使用掩码神经网络模型预测出每个像素点对应的掩码值，获得所述样本图像对应的脸部掩码图，所述脸部掩码图的每个像素点包括：横坐标值和纵坐标值；根据所述脸部掩码图的每个像素点的横坐标值和纵坐标值对所述脸部掩码图的每个像素点对应的空间坐标值进行预测，获得脸部掩码纹理图，所述脸部掩码纹理图中的每个像素点包括：空间坐标值、横坐标值和纵坐标值。5.根据权利要求2
‑
4任一项所述的方法，其特征在于，所述使用所述第二对象的脸部区域替换所述目标图像帧中所述第一对象的脸部区域，获得所述替换图像帧，包括：对所述目标图像帧进行人脸检测，得到所述第一对象的脸部区域；将所述第二对象的脸部区域映射至所述目标图像帧中的第一对象的脸部区域，获得映射图像帧，所述映射图像帧是所述第二对象的脸部区域与所述第一对象的脸部区域对齐的图像帧；
将所述映射图像帧确定为前景图，并将所述目标图像帧确定为背景图；将所述前景图中的每个像素点与所述背景图中对应的像素点进行融合。6.根据权利要求5所述的方法，其特征在于，所述将所述前景图中的每个像素点与所述背景图中对应的像素点进行融合，包括：针对所述前景图中的所述第二对象的脸部区域，计算出所述第二对象的脸部区域中的每个像素点与所述第二对象的脸部区域的全部边缘像素点的多个距离；根据所述多个距离中的最短距离与预设距离确定所述第二对象的脸部区域中的每个像素点的权重，获得所述第二对象的脸部区域对应的权重矩阵，所述预设距离是所述多个距离中的最长...

【专利技术属性】
技术研发人员：邓苏桃，
申请(专利权)人：北京迈格威科技有限公司深圳旷视金智科技有限公司，
类型：发明
国别省市：