【技术实现步骤摘要】
本专利技术涉及视频处理技术，特别是一种适用于影视后期制作的智能人脸替换技术，该系统可以实现智能人脸替换的功能，适用于影视行业等领域。
技术介绍
1、视频生成是指根据一定的输入条件，生成满足特定要求的视频序列的技术。视频生成技术在影视制作、虚拟现实、教育培训等领域有广泛的应用。其中，人脸替换是一种常见的视频生成任务，即将视频中的某个或某些人物的人脸替换为目标人物的人脸，从而改变视频内容或风格。
2、人脸替换技术通常包括以下几个步骤：目标检测、人脸识别、人脸重建、人脸对齐、人脸融合等。目标检测是指在视频帧中定位和分割出人物区域；人脸识别是指在人物区域中识别出人脸，并判断是否需要进行替换；人脸重建是指根据目标人物的照片或视频，生成与原始人物相似的二维人脸图像；人脸对齐是指将二维人脸图像与原始人物的姿态、表情、光照等条件进行匹配和调整；人脸融合是指将二维人脸图像与原始视频帧进行无缝地合成，使得替换后的视频看起来自然和真实。
3、目前，已有一些基于深度学习的方法实现人脸替换技术，例如face2face、deepfakes、faceswap等。这些方法通常利用卷积神经网络(cnn)或生成对抗网络(gan)来学习和生成高质量的人脸图像。然而，这些方法也存在一些问题和局限性，例如：
4、需要大量的训练数据和计算资源，训练过程耗时长；
5、对输入视频的质量和分辨率有较高的要求，对噪声、模糊、遮挡等情况不够鲁棒；
6、不能很好地保持原始视频中的动态细节和时间连贯性，容易出现闪烁、抖动、失真
7、不能很好地适应不同的目标人物和场景，需要针对每个目标进行单独的训练和调整；
8、不能很好地控制生成结果的多样性和可编辑性，难以满足不同用户的个性化需求。
9、因此，如何设计一种更高效、更稳定、更灵活、更可控的人脸替换技术及其方法，仍然是一个有待解决的技术问题。
技术实现思路
1、本专利技术的目的在于现有技术存在的上述问题，提供一种适用于影视后期制作的智能人脸替换技术，可以实现智能人脸替换的功能。
2、本专利技术的人脸替换技术包括以下组件：
3、一个视频输入模块，用于接收待处理的视频序列，并将其分割为若干帧；
4、一个人物检测与识别模块，用于在每一帧中定位和分割出人物区域，并输出相应的坐标和掩码，同时在每一个人物区域中识别出人脸，并判断是否需要进行替换；
5、一个人脸重建模块，用于根据目标人物的照片或视频，生成与目标人物相似的二维人脸图像，并将其与原始人物的姿态、表情、光照等条件进行匹配和调整，然后将其与原始视频帧进行无缝地合成；
6、一个视频输出模块，用于将合成后的视频帧重新组合为视频序列，并输出给用户。
7、所述人物检测与识别模块包括：
8、一个特征提取子模块，用于从输入的视频帧中提取高层次和低层次的特征图；
9、一个注意力子模块，用于根据特征图生成注意力图，即表示每个像素点对人物检测与识别任务的重要性程度的图像；
10、一个检测子模块，用于根据特征图和注意力图生成候选框和置信度，即表示可能存在人物区域的位置和大小以及检测可信度的数据；一个筛选子模块，用于根据候选框和置信度生成最终的坐标和掩码，即表示确定存在人物区域的位置、大小和形状的数据；
11、一个识别子模块，用于从输入的人物区域中提取人脸特征向量，并根据目标人物的照片或视频生成相似度和判断结果，即表示与目标人物的相似程度以及是否需要进行替换的数据；
12、一个策略子模块，用于根据相似度和判断结果生成最终的替换列表，即表示需要进行替换的人脸的索引和编号的数据。
13、所述人脸重建模块包括：
14、一个特征提取子模块，用于从输入的目标人物的照片或视频和原始人脸及其对应的视频帧中提取特征向量；
15、一个注意力子模块，用于根据特征向量生成注意力向量，即表示每个特征维度对人脸重建任务的重要性程度的数据；
16、一个生成子模块，用于根据目标人物的特征向量和原始人脸的特征向量生成二维人脸图像；
17、一个判别子模块，用于根据二维人脸图像和目标人物的照片或视频判断生成结果的真实性和相似性；
18、一个对齐子模块，用于从输入的二维人脸图像和原始人物及其对应的视频帧中提取信息，并根据原始人物的视频帧进行匹配和调整，然后生成调整后的二维人脸图像，即表示与原始人物相匹配和调整的二维人脸图像的数据；
19、一个融合子模块，用于从输入的调整后的二维人脸图像和原始视频帧中提取信息，并根据原始视频帧的信息和调整后的二维人脸图像的信息生成合成视频帧；
20、一个判别子模块，用于根据合成视频帧和原始视频帧判断生成结果的真实性和自然性。
21、本专利技术的人脸替换技术包括以下步骤：
22、步骤1：接收待处理的视频序列，并将其分割为若干帧；
23、步骤2：在每一帧中定位和分割出人物区域，并输出相应的坐标和掩码，同时在每一个人物区域中识别出人脸，并判断是否需要进行替换；
24、步骤3：根据目标人物的照片或视频，生成与目标人物相似的二维人脸图像，并将其与原始人物的姿态、表情、光照等条件进行匹配和调整，然后将其与原始视频帧进行无缝地合成；
25、步骤4：将合成后的视频帧重新组合为视频序列，并输出给用户。
26、本专利技术智能人脸替换的人脸替换技术及其方法，可以应用于以下场景：
27、娱乐场景：用户可以使用本专利技术，将自己或者喜欢的明星的人脸替换到电影、电视剧、动画、游戏等视频中，体验不同的角色和故事，增加娱乐乐趣和互动性。
28、与现有技术相比，本专利技术的有益效果在于：
29、1.本专利技术采用多任务学习的框架，将目标检测、人脸识别、人脸重建、人脸对齐、人脸融合等步骤统一为一个端到端的网络模型，实现一体化的视频生成流程，简化系统结构和操作步骤，提高系统效率和易用性；
30、2.本专利技术利用注意力机制，增强系统对输入视频中的人物区域和人脸特征的关注和提取能力，提高了生成结果的质量和稳定性；
31、3.本专利技术利用条件生成对抗网络(cgan)，利用目标人物的照片或视频作为条件输入，生成与目标人物相似的二维人脸图像，实现多样性和可编辑性的视频生成；
32、4.本专利技术利用循环神经网络(rnn)，利用前后帧之间的时序信息，保持生成结果的动态细节和时间连贯性，减少闪烁、抖动、失真等现象；
33、5.本专利技术技术适用于不同的目标人物和场景，无需针对每个目标进行单独的训练和调整，提高系统的通用性和灵活性。
本文档来自技高网...【技术保护点】
1.适用于影视后期制作的智能人脸替换技术，其特征在于依次包括视频输入模块、人物检测与识别模块、人脸重建模块和视频输出模块；
2.如权利要求1所述适用于影视后期制作的智能人脸替换技术，其特征在于所述第一特征提取子模块，用于从输入的视频帧中提取高层次和低层次的特征图，使用CNN提取网络；其中，卷积操作表示为：
3.如权利要求1所述适用于影视后期制作的智能人脸替换技术，其特征在于所述第一注意力子模块设有自注意力机制，根据特征提取子模块输出的特征图生成注意力图，即表示每个像素点对人物区域检测和识别任务的重要性程度的图像；在自注意力机制中，每个位置的特征都可以参与计算权重，计算公式如下：
4.如权利要求1所述适用于影视后期制作的智能人脸替换技术，其特征在于所述筛选子模块使用非极大值抑制NMS，根据检测子模块输出的候选框和置信度生成最终的坐标和掩码，即表示确定存在人物区域的位置、大小和形状的数据；NMS是一种用于去除冗余的目标检测算法，对于每个预测框，保留其置信度最大的框，并删除与该框IoU大于一定阈值的其它框，具体步骤如下：
5.如权利要求1
6.如权利要求1所述适用于影视后期制作的智能人脸替换技术，其特征在于所述策略子模块使用规则策略算法，根据比较子模块输出的相似度和判断结果生成最终的替换列表，即表示需要进行替换的人脸的索引和编号的数据；规则策略算法根据预设的规则对输入数据进行判断和分类，输出相应的结果；在策略子模块中，规则策略算法用于根据相似度和判断结果生成最终的替换列表，以确定需要进行替换的人脸，具体步骤如下：
7.如权利要求1所述适用于影视后期制作的智能人脸替换技术，其特征在于所述重建子模块使用CGAN生成网络；CGAN生成网络的损失函数为：
8.如权利要求1所述适用于影视后期制作的智能人脸替换技术，其特征在于所述第一判别子模块，用于根据重建子模块中输出的二维人脸图像和目标人物的照片或视频判断生成结果的真实性和相似性，使用CGAN判别网络；CGAN判别网络的损失函数为：
9.如权利要求1所述适用于影视后期制作的智能人脸替换技术，其特征在于所述对齐子模块用于根据原始视频帧和经过判别子模块输出的二维人脸图像生成匹配参数，即表示如何将二维人脸图像与原始视频帧进行对齐和调整的数据，使用仿射变换方法；变换的核心为仿射变换矩阵，描述变换过程的具体参数；仿射变换矩阵通过比较图像中特定像素在变换前后的位置差异来实现；对于人脸对齐来说，五官的分布就是一个绝佳的天然参考因素；只需在原始图像中检测面部五官位置，然后规定目标图像中五官应该出现的位置，便可得出变换矩阵，其公式如下：
10.如权利要求1所述适用于影视后期制作的智能人脸替换技术，其特征在于所述调整子模块使用双线性插值方法，在进行插值时，根据仿射变换后的坐标(x',y')来计算原图像中对应的像素值，其公式如下所示：
...【技术特征摘要】
1.适用于影视后期制作的智能人脸替换技术，其特征在于依次包括视频输入模块、人物检测与识别模块、人脸重建模块和视频输出模块；
2.如权利要求1所述适用于影视后期制作的智能人脸替换技术，其特征在于所述第一特征提取子模块，用于从输入的视频帧中提取高层次和低层次的特征图，使用cnn提取网络；其中，卷积操作表示为：
3.如权利要求1所述适用于影视后期制作的智能人脸替换技术，其特征在于所述第一注意力子模块设有自注意力机制，根据特征提取子模块输出的特征图生成注意力图，即表示每个像素点对人物区域检测和识别任务的重要性程度的图像；在自注意力机制中，每个位置的特征都可以参与计算权重，计算公式如下：
4.如权利要求1所述适用于影视后期制作的智能人脸替换技术，其特征在于所述筛选子模块使用非极大值抑制nms，根据检测子模块输出的候选框和置信度生成最终的坐标和掩码，即表示确定存在人物区域的位置、大小和形状的数据；nms是一种用于去除冗余的目标检测算法，对于每个预测框，保留其置信度最大的框，并删除与该框iou大于一定阈值的其它框，具体步骤如下：
5.如权利要求1所述适用于影视后期制作的智能人脸替换技术，其特征在于所述比较子模块使用余弦相似度度量，根据识别子模块提取的人脸特征向量生成相似度和判断结果，余弦相似度度量表示为：
6.如权利要求1所述适用于影视后期制作的智能人脸替换技术，其特征在于所述策略子模块使用规则策略算法，根据比较子模块输出的相似度和判断结果生成最终的替换列表，即表...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。