本发明专利技术公开一种视频人脸替换方法、系统及计算机可读存储介质，该视频人脸替换方法包括：提取源角色帧图的脸框方形图A和目标角色帧图的脸框方形图B，缩放得到脸框方形图A1和脸框方形图B1；获取二值掩码图片a1和二值掩码图片b1；将脸框方形图A1扭转至一预设位置，得到脸框方形图A2，脸框方形图B1扭转至同一预设位置，得到脸框方形图B2；将脸框方形图A2和脸框方形图B2进行融合，得到融合图片C；进行校色修复得到图片C3；进行逆向扭转复位并修复，得到图片C8，进行缩放至与目标角色帧图的脸框方形图B同一尺寸，得到图片C9；将图片C9填充至目标角色帧图脸框方形图B的对应位置。本发明专利技术使视频的人脸交换融合的更自然。
Video Face Replacement Method, System and Computer Readable Storage Media
【技术实现步骤摘要】
视频人脸替换方法、系统及计算机可读存储介质
本专利技术涉及视频处理
，尤其涉及一种视频人脸替换方法、系统及计算机可读存储介质。
技术介绍
随着计算机图像处理技术的进步，对图片或视频中人脸进行交换的技术发展越来越迅速。目前，一个现有技术有德国纽伦堡大学的教授JustusThies团队做的一个能实时进行面部转换的叫Face2Face模型，Face2Face先使用特定的算法重构目标角色和源角色的脸型特征，当算法运行时，它会通过摄像头追踪源角色的面部数据信息，并同时追踪目标和源角色的脸上的表情。然后用一种变形函数在套用源角色的变化模型后重新渲染目标角色的脸的形状和光照，最终与背景进行复合。同之前的视频中人脸处理技术相比，Face2Face的主要进步在变形各种算法，包括RGB追踪算法、传输函数以及嘴部模型建立上的改进。另外一种现有技术为Deepfake模型，其基本原理就是用监督学习训练一个神经网络将人物A的扭曲处理过的脸还原成原始脸，并且期望这个网络具备将任意人脸还原成人物A脸的能力。Deepfake的整个流程包括三步，一是提取数据，二是训练，三是转换。其中第一和第三步都需要用到数据预处理，从视频中提取大量的两个需要交换人脸的人物人脸图片，第三步还用到了图片融合技术，采用了括直接覆盖，遮罩覆盖，还有就是泊松克隆等多种方法。Deepfake模型基本公式：X'＝Decoder(Encoder(XW))Loss＝L1Loss(X'-X)这里的XW是经过扭曲处理过的人脸图片，通过一个自编码网络模型得到X'即生成的人脸图片，通过计算两张人脸图片的L1loss并以此为反馈训练整个模型。为达到两张人脸交换的目的，使用以下公式：A'＝Decoder_A(Encoder(AW))B'＝Decoder_B(Encoder(BW))为提高生成图片的人脸稳定性，Encoder网络是共享的，Deocder网络是分开的。还有一种现有技术方案是SatyaMallick博士提出来，这种方案是对两张图片中人脸实现单向交换融合。该方案的流程大体上是检测脸部特征点坐标，找到“特征点环”，对图片进行狄洛尼三角剖分，调整扭曲三角，最后是嵌入融合。这里特征点检测应用的是dlib的处理方法，并通过面颊和眉毛特征点首尾连接行成“特征点环”，取到面部核心区域，通过每三个特征点将面部核心区域切分成若干小三角形区域，校准源人脸和目标人脸对应的三角形，将源人脸的三角形区域仿射变换到目标人脸对应区域。最后通过泊淞克隆将仿射变换后的脸部核心区域融合进入目标人脸。其中，第一种方案可以做到实时处理但是仅能实现通过源脸面部变化控制目标脸的面部变化，并不能将源脸的特征转移到目标脸上。第二种方案应用了深度神经网络模型相关技术，在模型训练的过程中需要消耗大量的计算资源，而且训练耗时较长，可以做到生成和目标脸对应的源脸特征，但是视频面部融合不自然。第三种方案整体的算法流程较为简单，可以做到实时处理，单对图片换脸的质量很好，但是由于在仿射变换处理环节使用的对切分的三角形逐个仿射，这样在对视频中连续帧做相同处理，仿射后帧间偏移较大，造成变换后视频面部扭曲严重，效果较差。
技术实现思路
本专利技术的主要目的是提供一种视频人脸替换方法，旨在使视频的人脸交换融合的更自然。为实现上述目的，本专利技术提出一种视频人脸替换方法，该视频人脸替换方法包括以下步骤：S10：提取源角色帧图的脸框方形图A和对应的目标角色帧图的脸框方形图B；S20：将源角色帧图的脸框方形图A和目标角色帧图的脸框方形图B缩放至同一尺寸，得到源角色帧图的脸框方形图A1和目标角色帧图的脸框方形图B1；S30：获取脸框方形图A1的人脸核心区域的二值掩码图片a1和脸框方形图B1的人脸核心区域的二值掩码图片b1；S40：将脸框方形图A1扭转至一预设位置，得到脸框方形图A2，脸框方形图B1扭转至同一预设位置，得到脸框方形图B2；S60：将脸框方形图A2和脸框方形图B2进行融合，得到一张扭转的融合图片C；S70：将扭转的融合图片C进行校色，得到图片C1；S80：将融合图片C1的融合处进行修复，得到图片C3；S90：将图片C3进行逆向扭转复位，并对逆向扭转复位后的融合处进行再次修复，得到图片C8，S100：将图片C8进行缩放至与目标角色帧图的脸框方形图B同一尺寸，得到图片C9；S110：将图片C9填充至目标角色帧图的脸框方形图B的对应位置；S120：对目标角色视频的每一张目标角色帧图和源角色视频的对应的源角色帧图进行重复执行上述步骤S10至S110。优选地，S20具体包括以下步骤：S21：通过dlib的68个特征点检测器对脸框方形图A和脸框方形图B中的人脸特征点进行定位，人脸特征点包括面颊特征点和眉毛特征点；S22：沿着脸框方形图A的面颊特征点和眉毛特征点的外边沿形成矩形框M，沿着脸框方形图B的面颊特征点和眉毛特征点的外边沿形成矩形框N，S23：将矩形框M以其中心扩大一个预设值倍数，得到矩形框M1，将矩形框N以其中心扩大同一个预设值倍数，得到矩形框N1，S24：通过矩形框M1截取初始的源角色帧图的脸框方形图上对应的区域，形成脸框方形图M2，通过矩形框N1截取初始的源角色帧图的脸框方形图上对应的区域，形成脸框方形图N2，S25：将脸框方形图M2缩放至一预设值尺寸，得到源角色帧图的脸框方形图A1，将脸框方形图N2缩放至同一预设值尺寸，得到目标角色帧图的脸框方形图B1。优选地，S30具体包括以下步骤：S31：通过dlib的68个特征点检测器分别对脸框方形图A1和脸框方形图B1中的人脸特征点进行定位，S32：根据脸框方形图A1中的面颊特征点和眉毛特征点的坐标绘制轮廓线，以轮廓线为分界线获取脸框方形图A1的人脸核心区域的二值掩码图片a1，根据脸框方形图B1中的面颊特征点和眉毛特征点的坐标绘制轮廓线，以轮廓线为分界线获取脸框方形图B1的人脸核心区域的二值掩码图片b1。优选地，S40之后，S60之前还包括以下步骤：S50：通过迭代法计算出脸框方形图A2的人脸特征点的坐标到脸框方形图B2的对应的人脸特征点的坐标普氏距离最小的仿射矩阵，将脸框方形图A2进行仿射变换。优选地，S60具体包括以下步骤：S61：获取脸框方形图A2的人脸核心区域的二值掩码图片a2和脸框方形图B2的人脸核心区域的二值掩码图片b2；S62：将二值掩码图片a2与二值掩码图片b2进行交集合并，再进行高斯模糊处理，得到一张二值掩码图片ab；S63：通过二值掩码图片ab获取脸框方形图A2的人脸核心区域的图片A3，及获取脸框方形图B2的非人脸核心区域的图片B3；S64：将图片A3和图片B3进行融合，得到一张扭转的融合图片C。优选地，S70将扭转的融合图片C进行校色，得到图片C1具体包括以下步骤：S71：将图片C的高斯模糊参数除以脸框方形图B2的高斯模糊参数的结果，再与图片C的颜色参数相乘。优选地，S80具体包括以下步骤：S81：将二值掩码图片ab进行缩小2px至10px，再进行高斯模糊处理，得到二值掩码图片ab1，S82：通过二值掩码图片ab1获取图片C1的人脸核心区域的图片C2；S83：通过二值掩码图片ab1获取脸框方形图B2的非人脸核心区域的图片B4，S84：将人脸核心区域的图片C2与非人脸核本文档来自技高网...
【技术保护点】
1.一种视频人脸替换方法，其特征在于，包括以下步骤：S10：提取源角色帧图的脸框方形图A和对应的目标角色帧图的脸框方形图B；S20：将源角色帧图的脸框方形图A和目标角色帧图的脸框方形图B缩放至同一尺寸，得到源角色帧图的脸框方形图A1和目标角色帧图的脸框方形图B1；S30：获取脸框方形图A1的人脸核心区域的二值掩码图片a1和脸框方形图B1的人脸核心区域的二值掩码图片b1；S40：将脸框方形图A1扭转至一预设位置，得到脸框方形图A2，脸框方形图B1扭转至同一预设位置，得到脸框方形图B2；S60：将脸框方形图A2和脸框方形图B2进行融合，得到一张扭转的融合图片C；S70：将扭转的融合图片C进行校色，得到图片C1；S80：将融合图片C1的融合处进行修复，得到图片C3；S90：将图片C3进行逆向扭转复位，并对逆向扭转复位后的融合处进行再次修复，得到图片C8，S100：将图片C8进行缩放至与目标角色帧图的脸框方形图B同一尺寸，得到图片C9；S110：将图片C9填充至目标角色帧图的脸框方形图B的对应位置；S120：对目标角色视频的每一张目标角色帧图和源角色视频的对应的源角色帧图进行重复执行上述步骤S10至S110。...
【技术特征摘要】
1.一种视频人脸替换方法，其特征在于，包括以下步骤：S10：提取源角色帧图的脸框方形图A和对应的目标角色帧图的脸框方形图B；S20：将源角色帧图的脸框方形图A和目标角色帧图的脸框方形图B缩放至同一尺寸，得到源角色帧图的脸框方形图A1和目标角色帧图的脸框方形图B1；S30：获取脸框方形图A1的人脸核心区域的二值掩码图片a1和脸框方形图B1的人脸核心区域的二值掩码图片b1；S40：将脸框方形图A1扭转至一预设位置，得到脸框方形图A2，脸框方形图B1扭转至同一预设位置，得到脸框方形图B2；S60：将脸框方形图A2和脸框方形图B2进行融合，得到一张扭转的融合图片C；S70：将扭转的融合图片C进行校色，得到图片C1；S80：将融合图片C1的融合处进行修复，得到图片C3；S90：将图片C3进行逆向扭转复位，并对逆向扭转复位后的融合处进行再次修复，得到图片C8，S100：将图片C8进行缩放至与目标角色帧图的脸框方形图B同一尺寸，得到图片C9；S110：将图片C9填充至目标角色帧图的脸框方形图B的对应位置；S120：对目标角色视频的每一张目标角色帧图和源角色视频的对应的源角色帧图进行重复执行上述步骤S10至S110。2.如权利要求1所述的视频人脸替换方法，其特征在于，S20具体包括以下步骤：S21：通过dlib的68个特征点检测器对脸框方形图A和脸框方形图B中的人脸特征点进行定位，人脸特征点包括面颊特征点和眉毛特征点；S22：沿着脸框方形图A的面颊特征点和眉毛特征点的外边沿形成矩形框M，沿着脸框方形图B的面颊特征点和眉毛特征点的外边沿形成矩形框N，S23：将矩形框M以其中心扩大一个预设值倍数，得到矩形框M1，将矩形框N以其中心扩大同一个预设值倍数，得到矩形框N1，S24：通过矩形框M1截取初始的源角色帧图的脸框方形图上对应的区域，形成脸框方形图M2，通过矩形框N1截取初始的源角色帧图的脸框方形图上对应的区域，形成脸框方形图N2，S25：将脸框方形图M2缩放至一预设值尺寸，得到源角色帧图的脸框方形图A1，将脸框方形图N2缩放至同一预设值尺寸，得到目标角色帧图的脸框方形图B1。3.如权利要求1所述的视频人脸替换方法，其特征在于，S30具体包括以下步骤：S31：通过dlib的68个特征点检测器分别对脸框方形图A1和脸框方形图B1中的人脸特征点进行定位，S32：根据脸框方形图A1中的面颊特征点和眉毛特征点的坐标绘制轮廓线，以轮廓线为分界线获取脸框方形图A1的人脸核心区域的二值掩码图片a1，根据脸框方形图B1中的面颊特征点和眉毛特征点的坐标绘制轮廓线，以轮廓线为分界线获取脸框方形图B1的人脸核心区域的二值掩码图片b1。4.如权利要求1所述的视频人脸替换方法，其特征在于，S40之后，S60之前还包括以下步骤：S50：通过迭代法计算出脸框方形图A2的人脸特征点...
【专利技术属性】
技术研发人员：杨骥，
申请(专利权)人：杨骥，
类型：发明
国别省市：辽宁,21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。