一种视频换脸方法和装置制造方法及图纸

本发明专利技术提供一种视频换脸方法和装置，获取待处理图像帧，对模板图和待处理用户图像进行关键检测，调整关键点实现对齐重合，迁移所述人脸，肤色等区域融合，还原其余部位，将脸部轮廓掩码图融合到模板，替换得到换脸后的图像帧。本地即可实现，可以更好的保护隐私，解决光线，肤色，五官等形状问题。

【技术实现步骤摘要】
一种视频换脸方法和装置
本专利技术涉及视频处理
，具体涉及一种视频换脸方法和装置。
技术介绍
随着AI科技，人工智能的深度换脸技术发展，深度学习AIDeepfakes其核心是利用噪编码器来识别图像是否经过图像变换，在伪造视频中，需要对人物的人脸图像进行图像变换处理，以得到多帧该人物的人脸图像，然后将多帧该人物的人脸图像分别替换原视频中人物的人脸图像，才得到伪造视频，其中，该去噪编码器为基于第一样本人脸图像和第二样本人脸图像训练自编码器而得到。另有一种轻量级换脸算法，其核心思维不是用神经网络的方法，使用Dlib进行人脸检测和68个关键点定位，使用的是ERT方法，进行旋转，缩放，平移等变换，即aligement操作，使得第二个图和原始图相互吻合；这里使用的是普式变换（OrdinaryProcrustesAnalysis），最终结果是要使得变换过程满足下面式子最小化，简单的说，就是第一个图的68个点经过透视变换（warp_affine）后，和第二个图的68个点的距离最小。基于深度学习实现换脸，需要用户上传图像视频至服务器处理，从技术层面讲，以上用户数据开发者可以随意使用，且对用户的个人隐私造成极大的威胁，其换脸成本高；而本地实现的轻量级换脸，对于光线，肤色等处理不好，换脸痕迹明显，五官形状变化时，不能良好的进行调整。
技术实现思路
本专利技术的目的在于提供，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案，本专利技术技术提供一种视频换脸方法，主要内容包括：S100：对用户的输入数据进行预处理；S200：调整实现图像帧所述人脸部分对齐；S300：对换脸后人脸五官和肤色进行调整；S400：实现人脸部位融合，输出最终效果图像帧。进一步的，所述步骤S100包括以下子步骤：步骤S110：输入视频V进行解码得到模板图像帧T1；步骤S120：对模板图像帧T1进行人脸检测，计算人脸大小以及中心位置，得到关键点数据A、欧拉角B、矩形区域C中心位置；步骤S130：通过所述关键点数据A和欧拉角B摆正所述关键点数据A，得到关键点数据A1；步骤S140：输入用户素材图片T2，对T2进行人脸检测，得到关键数据D和欧拉角E；步骤S150：通过所述关键点数据D和欧拉角E摆正所述关键点数据D，得到关键点数据D1;步骤S160：通过所述关键点数据D1和矩形区域C，对所述关键点数据D1进行缩放和位移，得到关键点数据D2;步骤S170：通过所述关键点数据D2，进行透视变换，对齐关键点，得到所述用户素材图的关键点D3。进一步的，所述步骤S200包括以下子步骤：步骤S210：输入所述用户素材图片T2关键点数据D3，获取T2左上，上中，右上，右中，右下，下中，左下，左中八个点，以及人脸关键点数据D3，对T2做三角剖分，得到三角剖分结果F；步骤S220：根据所述剖分结果F重新绘制T2，使T2对齐到T1，得到效果图T22。进一步的，所述步骤S300包括以下子步骤：步骤S310：获取用户素材图T22,获得用户人脸区域图T3和模板图像帧T1的人脸区域图像帧T4；步骤S320：将所述用户素材图人脸区域图T3和模板图像帧T1的人脸区域图T4，将两张图片的RGB空间分别转化为LAB空间，计算模板图像帧T4的像素，迁移至用户素材图T3，获得肤色迁移后的用户图T5；步骤S330：根据所述用户素材图片T2和关键点数据D，使用贝塞尔曲线计算出只包含用户图双眼和嘴部的掩码图T6；步骤S340：将所述掩码图T6、肤色迁移后的用户图T5和用户图T2，通过泊松融合还原用户眼睛，嘴巴颜色，得到效果图像帧T7。进一步的，所述步骤S400包括以下子步骤：步骤S410：通过效果图像帧T7和关键点数据B，计算出用户脸部轮廓，去除上下嘴唇之间的部分，得到掩码图T8；步骤S420：所述效果图像帧T7、模板图像帧T1和掩码图T8，通过泊松融合，得到换脸初步效果图像帧T9；步骤S430：根据所述关键点数据A，对所述模板图像帧T1抠出脸部面具，去除眼睛，嘴巴区域，得到掩码图T10；步骤S440：所述初步效果图像帧T9、模板图像帧T1和掩码图T10，通过泊松融合算法，得到最终的效果图像帧并输出。为实现上述目的，本专利技术还提供一种视频换脸装置，其中包括：预处理模块：对用户的输入数据进行预处理；人脸对齐模块：调整实现图像帧所述人脸部分对齐；五官和肤色调整模块：对换脸后人脸五官和肤色进行调整；融合模块：实现人脸部位融合，输出最终效果图像帧。进一步的，预处理模块包括：解码单元：输入视频V进行解码得到模板图像帧T1；检测单元：对模板图像帧T1进行人脸检测，计算人脸大小以及中心位置，得到关键点数据A、欧拉角B、矩形区域C中心位置；摆正单元：通过所述关键点数据A和欧拉角B摆正所述关键点数据A，得到关键点数据A1；检测子单元：输入用户素材图片T2，对T2进行人脸检测，得到关键数据D和欧拉角E；摆正子单元：通过所述关键点数据D和欧拉角E摆正所述关键点数据D，得到关键点数据D1;处理单元：通过所述关键点数据D1和矩形区域C，对所述关键点数据D1进行缩放和位移，得到关键点数据D2;透视变换单元：通过所述关键点数据D2，进行透视变换，对齐关键点，得到所述用户素材图的关键点D3。进一步的，所述人脸对齐模块包括以下内容：三角剖分单元：输入所述用户素材图片T2关键点数据D3，获取T2左上，上中，右上，右中，右下，下中，左下，左中八个点，以及人脸关键点数据D3，对T2做三角剖分，得到三角剖分结果F；绘制单元：根据所述剖分结果F重新绘制T2，使T2对齐到T1，得到效果图T22。进一步的，所述五官和肤色调整模块包括以下内容：提取单元：获取用户素材图T22,获得用户人脸区域图T3和模板图像帧T1的人脸区域图像帧T4；替换迁移单元：将所述用户素材图人脸区域图T3和模板图像帧T1的人脸区域图T4，将两张图片的RGB空间分别转化为LAB空间，计算模板图像帧T4的像素，迁移至用户素材图T3，获得肤色迁移后的用户图T5；贝塞尔曲线单元：根据所述用户素材图片T2和关键点数据D，使用贝塞尔曲线计算出只包含用户图双眼和嘴部的掩码图T6；泊松融合单元：将所述掩码图T6、肤色迁移后的用户图T5和用户图T2，通过泊松融合还原用户眼睛，嘴巴颜色，得到效果图像帧T7。进一步的，所述融合模块包括以下内容：计算单元：通过效果图像帧T7和关键点数据B，计算出用户脸部轮廓，去除上下嘴唇之间的部分，得到掩码图T8；泊松融合子单元：所述效果图像帧T7、模板图像帧T1和掩码图T8，通过泊松融合，得到换脸初步效果图像帧T9；处理单元：根据所述关键点数据A，对所述模板图像帧T1抠出本文档来自技高网...

【技术保护点】
1.一种视频换脸方法，主要内容包括：/nS100：对用户的输入数据进行预处理；/nS200：调整实现图像帧所述人脸部分对齐；/nS300：对换脸后人脸五官和肤色进行调整；/nS400：实现人脸部位融合，输出最终效果图像帧。/n

【技术特征摘要】
1.一种视频换脸方法，主要内容包括：
S100：对用户的输入数据进行预处理；
S200：调整实现图像帧所述人脸部分对齐；
S300：对换脸后人脸五官和肤色进行调整；
S400：实现人脸部位融合，输出最终效果图像帧。


2.根据权利要求1所述一种视频换脸方法，其特征在于，所述步骤S100包括以下子步骤：
步骤S110：输入视频V进行解码得到模板图像帧T1；
步骤S120：对模板图像帧T1进行人脸检测，计算人脸大小以及中心位置，得到关键点数据A、欧拉角B、矩形区域C中心位置；
步骤S130：通过所述关键点数据A和欧拉角B摆正所述关键点数据A，得到关键点数据A1；
步骤S140：输入用户素材图片T2，对T2进行人脸检测，得到关键数据D和欧拉角E；
步骤S150：通过所述关键点数据D和欧拉角E摆正所述关键点数据D，得到关键点数据D1;
步骤S160：通过所述关键点数据D1和矩形区域C，对所述关键点数据D1进行缩放和位移，得到关键点数据D2;
步骤S170：通过所述关键点数据D2，进行透视变换，对齐关键点，得到所述用户素材图的关键点D3。


3.根据权利要求1所述一种视频换脸方法，其特征在于，所述步骤S200包括以下子步骤：
步骤S210：输入所述用户素材图片T2关键点数据D3，获取T2左上，上中，右上，右中，右下，下中，左下，左中八个点，以及人脸关键点数据D3，对T2做三角剖分，得到三角剖分结果F；
步骤S220：根据所述剖分结果F重新绘制T2，使T2对齐到T1，得到效果图T22。


4.根据权利要求1所述一种视频换脸方法，其特征在于，所述步骤S300包括以下子步骤：
步骤S310：获取用户素材图T22,获得用户人脸区域图T3和模板图像帧T1的人脸区域图像帧T4；
步骤S320：将所述用户素材图人脸区域图T3和模板图像帧T1的人脸区域图T4，将两张图片的RGB空间分别转化为LAB空间，计算模板图像帧T4的像素，迁移至用户素材图T3，获得肤色迁移后的用户图T5；
步骤S330：根据所述用户素材图片T2和关键点数据D，使用贝塞尔曲线计算出只包含用户图双眼和嘴部的掩码图T6；
步骤S340：将所述掩码图T6、肤色迁移后的用户图T5和用户图T2，通过泊松融合还原用户眼睛，嘴巴颜色，得到效果图像帧T7。


5.根据权利要求1所述一种视频换脸方法，其特征在于，所述步骤S400包括以下子步骤：
步骤S410：通过效果图像帧T7和关键点数据B，计算出用户脸部轮廓，去除上下嘴唇之间的部分，得到掩码图T8；
步骤S420：所述效果图像帧T7、模板图像帧T1和掩码图T8，通过泊松融合，得到换脸初步效果图像帧T9；
步骤S430：根据所述关键点数据A，对所述模板图像帧T1抠出脸部面具，去除眼睛，嘴巴区域，得到掩码图T10；
步骤S440：所述初步效果图像帧T9、模板图像帧T1和掩码图T10，通过泊松融合算法，得到最终的效果图像帧并输...

【专利技术属性】
技术研发人员：邓裕强，马陈爽，区永强，周超红，刘文卓，
申请(专利权)人：广州市久邦数码科技有限公司，
类型：发明
国别省市：广东;44