基于换脸技术的推理优化方法及系统技术方案

本申请涉及一种基于换脸技术的推理优化方法及系统，应用于视频换脸技术领域，其包括对源视频文件进行预处理，得到第一图片文件和第二图片文件；对所述第一图片文件以及预设的目标文件进行人脸识别，获取人脸信息，所述人脸信息包括：源人脸特征

【技术实现步骤摘要】
基于换脸技术的推理优化方法及系统


[0001]本申请涉及视频换脸
，尤其是涉及一种基于换脸技术的推理优化方法及系统
。

技术介绍

[0002]目前，利用人工智能技术进行图片或视频换脸是一个热门技术，它可以将图片或视频中一个人的人脸特征替换成另一个人的人脸特征，从而使某个场景下，好像是另一个人在场
。
当前使用较多的换脸算法如
deepfacelab、simswap
等，他们的换脸思路基本一致，都是将一张图片的人脸，经过人工神经网络的能力进行适当的放大缩小扭曲，从而使其契合另一张图片的脸部位置，并将脸部图片覆盖原图，以此达到换脸的目的
。
如果是视频，则将视频拆帧，对每一帧图片进行换脸操作然后将图片合成为视频
。
[0003]现在的实时换脸技术已经能生成效果极佳的换脸结果，只要在模型训练上多花时间，同时换脸时结合遮罩
、
模糊等方法进行调控，就能达到以假乱真的效果
。
然而，如果想要更好的效果，就需要更精细的模型与更长的推理时间
。
[0004]针对上述中的相关技术，认为实时换脸技术会因推理速度的限制而只有较低的帧率，导致推理速度较慢，影响换脸技术的应用
。

技术实现思路

[0005]为了改善实时换脸技术会因推理速度的限制而只有较低的帧率，导致推理速度较慢，影响换脸技术的应用的问题，本申请提供一种基于换脸技术的推理优化方法及系统
。
[0006]第一方面，本申请提供的一种基于换脸技术的推理优化方法，采用如下的技术方案：包括：对源视频文件进行预处理，得到第一图片文件和第二图片文件；对所述第一图片文件以及预设的目标文件进行人脸识别，获取人脸信息，所述人脸信息包括：源人脸特征
、
源人脸区域以及目标人脸特征；基于所述人脸信息以及预设的换脸引擎对所述第一图片文件进行换脸，得到第一目标图片；基于预设的纹理编码识别器
、
运动估计编码器以及所述人脸信息对人脸关键点进行推测，获取人脸关键点信息；根据所述人脸关键点信息和所述换脸引擎对所述第二图片文件进行人脸替换，获取第二目标图片；将所述第一目标图片和所述第二目标图片合成，得到换脸视频文件
。
[0007]可选的，所述对源视频文件进行预处理，得到第一图片文件和第二图片文件，包括：对所述源视频文件进行拆帧处理，得到所有的图片文件；根据所述源视频文件的时间顺序将所述图片文件分为第一图片文件和第二图片
文件
。
[0008]可选的，所述对源视频文件进行预处理，得到第一图片文件和第二图片文件，包括：所述对源视频文件进行拆帧处理，得到所有的图片文件；根据预设的标准帧数以及所述源视频文件的时间顺序，对所述图片文件进行交错分类，得到所述第一图片文件和第二图片文件
。
[0009]可选的，所述基于预设的纹理编码识别器
、
运动估计编码器以及所述人脸信息对人脸关键点进行推测，获取人脸关键点信息，包括：根据所述运动估计编码器以及所述源人脸特征对人脸关键点的位置坐标进行推导，得到关键点坐标；根据纹理编码识别器以及所述目标人脸特征的纹理进行识别，得到五官特征向量；基于预设的通用人脸解码模型对所述关键点坐标和所述五官特征向量进行推导，得到目标人物的所述人脸关键点信息，即目标人物的模拟人脸
。
[0010]第二方面，本申请一种基于换脸技术的推理优化装置，采用如下技术方案，包括：视频拆帧模块，用于对源视频文件进行预处理，得到第一图片文件和第二图片文件；人脸识别模块，用于对所述第一图片文件以及预设的目标文件进行人脸识别，获取人脸信息，所述人脸信息包括：源人脸特征
、
源人脸区域以及目标人脸特征；第一换脸模块，用于基于所述人脸信息以及预设的换脸引擎对所述第一图片文件进行换脸，得到第一目标图片；人脸模拟模块，用于基于预设的纹理编码识别器
、
运动估计编码器以及所述人脸信息对人脸关键点进行推测，获取人脸关键点信息；第二换脸模块，用于根据所述人脸关键点信息和所述换脸引擎对所述第二图片文件进行人脸替换，获取第二目标图片；视频合成模块，用于将所述第一目标图片和所述第二目标图片合成，得到换脸视频文件
。
[0011]第三方面，本申请还提供一种控制设备，所述设备包括：包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述基于换脸技术的推理优化方法的计算机程序
。
[0012]第四方面，本申请还提供一种计算机可读存储介质，存储有能够被处理器加载并执行如上述基于换脸技术的推理优化方法的计算机程序
。
[0013]综上所述，本申请中系统对源视频文件进行拆帧处理，将视频文件转化为图片文件，接着系统基于深度学习的人脸检测算法
yolo
来进行人脸区域的检测与坐标的确定
。
同时，系统利用人脸识别算法
Arcface
对源
、
目标人脸进行特征提取
。
通过纹理编码识别器的通用纹理识别和通用人脸解码模型的整合，即可得到伪造的人脸信息，然后系统通过遮罩的方法，通过换脸引擎将伪造人脸贴合在源人脸区域，然后对人脸边界进行模糊处理，最后对整个图像做一定程度的锐化，得到第一目标图片，即第一图片文件的换脸图片；系统通过纹理编码识别器的通用纹理识别和运动估计编码器的一阶运动估计，估计目标人物的面部
表情运动特点，预测下一帧视频人脸关键点的运动模式，来驱动目标人物的视频或图像做出相同的运动姿态，从而得到人脸关键点信息，以此改善人脸伪造过程的重建效率，最后根据换脸引擎以及人脸关键点信息对第二图片文件进行换脸，得到第二目标文件，最后基于第一图片文件和第二图片文件拆帧和分类的方法，对第一目标文件和第二目标文件进行合帧，得到换脸后的视频文件，即换脸视频文件
。
从而通过第一图片文件对运动人物的面部信息进行推测形成人脸信息，进而无需对每一帧的图片文件进行人脸特征的提取，大大节省了人脸特征提取的时间，以便于在保证换脸的整体特征替换和样本分辨率的情况下加速视频文件的换脸
。
附图说明
[0014]图1是一种基于换脸技术的推理优化方法的流程示意图
。
[0015]图2是一种基于换脸技术的推理优化装置的结构框图
。
[0016]附图标记说明：
210、
视频拆帧模块；
220、
人脸识别模块；
230、
第一换脸模块；
240、
人脸模拟模块；
250、
第二换脸模块；
260、
视频合成模块
。
具体实施方式
[0017]以下结合图1－图2对本申请作进一步详细说明
。
[0018]当前所有换脸算法的原理大同小异，都是将源人脸的人物特征替换为目标人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于换脸技术的推理优化方法，其特征在于，包括：对源视频文件进行预处理，得到第一图片文件和第二图片文件；对所述第一图片文件以及预设的目标文件进行人脸识别，获取人脸信息，所述人脸信息包括：源人脸特征
、
源人脸区域以及目标人脸特征；基于所述人脸信息以及预设的换脸引擎对所述第一图片文件进行换脸，得到第一目标图片；基于预设的纹理编码识别器
、
运动估计编码器以及所述人脸信息对人脸关键点进行推测，获取人脸关键点信息；根据所述人脸关键点信息和所述换脸引擎对所述第二图片文件进行人脸替换，获取第二目标图片；将所述第一目标图片和所述第二目标图片合成，得到换脸视频文件
。2.
根据权利要求1所述的一种基于换脸技术的推理优化方法，其特征在于，所述对源视频文件进行预处理，得到第一图片文件和第二图片文件，包括：对所述源视频文件进行拆帧处理，得到所有的图片文件；根据所述源视频文件的时间顺序将所述图片文件分为第一图片文件和第二图片文件
。3.
根据权利要求1所述的一种基于换脸技术的推理优化方法，其特征在于，所述对源视频文件进行预处理，得到第一图片文件和第二图片文件，包括：所述对源视频文件进行拆帧处理，得到所有的图片文件；根据预设的标准帧数以及所述源视频文件的时间顺序，对所述图片文件进行交错分类，得到所述第一图片文件和第二图片文件
。4.
根据权利要求1所述的一种基于换脸技术的推理优化方法，其特征在于，所述基于预设的纹理编码识别器
、
运动估计编码器以及所述人脸信息对人脸关键点进行推...

【专利技术属性】
技术研发人员：田辉，邹远方，郭玉刚，张志翔，
申请(专利权)人：合肥高维数据技术有限公司，
类型：发明
国别省市：