一种身份保持的人脸重演方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及一种身份保持的人脸重演方法、装置、设备及存储介质，该方法包括：对初始视频数据进行采样得到数据训练集和数据测试集；基于预设训练方法，根据所述数据训练集对初始人脸重演模型进行训练得到过渡人脸重演模型；根据所述数据测试集对所述过渡人脸重演模型进行测试，并对测试结果进行评价，筛选得到目标人脸重演模型；将待重演的人脸图像输入至所述目标人脸重演模型进行人脸重演，输出得到身份保持的人脸重演图像。本发明专利技术提供的一种身份保持的人脸重演方法、装置、设备及存储介质，通过数据训练集和数据测试集对人脸重演模型进行训练优化，使得人脸重演模型能得到身份保持的人脸重演图像，避免在图像生成过程中出现身份泄漏的问题。泄漏的问题。泄漏的问题。

【技术实现步骤摘要】
一种身份保持的人脸重演方法、装置、设备及存储介质


[0001]本专利技术涉及机器学习与图像处理
，尤其涉及一种身份保持的人脸重演方法、装置、设备及存储介质。

技术介绍

[0002]近几年来伴随深度学习技术的快速发展，图像生成领域取得了较大的进展。而人脸重演是人脸图像生成领域的一个重要分支，其主要任务是给定一张源图像和一张驱动图像，目标是生成一张新图像，该图像具有驱动图像的面部表情和头部姿态等运动信息的同时，能够保留源图像的人物身份、图像背景等内容信息。人脸重演技术有着广泛的应用前景，可以应用于图像编辑、娱乐、人机交互、文化教育等场景中。
[0003]目前，人脸重演模型往往采用基于流场变形的网络结构，基于流场变形的网络结构学习面部的像素运动一般是学习人脸的光流(OpticalFlow)或位移场(Displacement Field)，通过光流或者位移场提取运动的流场来实现对人脸的重演。
[0004]但是现有技术中通过流场变形的网络结构提取运动流场的过程中并没有考虑人物身份信息，导致在图像生成过程中存在身份泄漏的问题，使得在生成图像中人物的身份信息出现一定的损失。

技术实现思路

[0005]有鉴于此，有必要提供一种身份保持的人脸重演方法、装置、设备及存储介质，用以解决现有技术中提取运动流场的过程中并没有考虑人物身份信息，导致在图像生成过程中存在身份泄漏，使得在生成图像中人物的身份信息出现一定的损失的问题。
[0006]为达到上述技术目的，本专利技术采取了以下技术方案：
>[0007]第一方面，本专利技术提供了一种身份保持的人脸重演方法，包括：
[0008]对初始视频数据进行采样得到数据训练集和数据测试集；
[0009]基于预设训练方法，根据数据训练集对初始人脸重演模型进行训练得到过渡人脸重演模型；
[0010]根据数据测试集对过渡人脸重演模型进行测试，并对测试结果进行评价，筛选得到目标人脸重演模型；
[0011]将待重演的人脸图像输入至目标人脸重演模型进行人脸重演，输出得到身份保持的人脸重演图像。
[0012]在一些可能的实现方式中，基于预设训练方法，根据数据训练集对初始人脸重演模型进行训练得到过渡人脸重演模型，包括：
[0013]根据数据训练集选取同一人的特征图像对初始人脸重演模型进行第一阶段训练；
[0014]根据数据训练集选取不同人的特征图像对第一阶段训练后的初始人脸重演模型进行第二阶段训练，得到过渡人脸重演模型。
[0015]在一些可能的实现方式中，根据数据训练集选取同一人的特征图像对初始人脸重
演模型进行第一阶段训练，包括：
[0016]从数据训练集中随机抽取同一人的两帧不同人脸图像作为第一图像；
[0017]将第一图像输入至初始人脸重演模型，计算第一损失函数；
[0018]重复上述步骤直至第一损失函数收敛。
[0019]在一些可能的实现方式中，根据数据训练集选取不同人的特征图像对第一阶段训练后的初始人脸重演模型进行第二阶段训练，得到过渡人脸重演模型，包括：
[0020]从数据训练集中对不同的两个人各随机抽取一帧人脸图像作为第二图像；
[0021]将第二图像输入至第一阶段训练后的初始人脸重演模型，计算第二损失函数；
[0022]重复上述步骤直至第二损失函数收敛。
[0023]在一些可能的实现方式中，根据数据测试集对过渡人脸重演模型进行测试，并对测试结果进行评价，筛选得到目标人脸重演模型，包括：
[0024]从数据测试集中随机抽取不同数据的两帧图像作为测试图像；
[0025]将测试图像输入至过渡人脸重演模型，得到测试重演图像；
[0026]根据测试图像和测试重演图像计算预设评价指标；
[0027]基于预设评价指标，对测试结果进行评价并筛选得到目标人脸重演模型。
[0028]在一些可能的实现方式中，测试图像包括驱动图像和源图像；根据测试图像和测试重演图像计算预设评价指标，包括：
[0029]根据源图像和测试重演图像计算人物面部表情相似度；
[0030]根据驱动图像和测试重演图像计算人脸姿态相似度；
[0031]根据源图像和测试重演图像计算身份信息保持情况。
[0032]在一些可能的实现方式中，对初始视频数据进行采样得到数据训练集和数据测试集，包括：
[0033]将初始视频数据进行预处理，按照预设比例将预处理后的初始视频数据划分为数据训练集和数据测试集。
[0034]第二方面，本专利技术还提供了一种身份保持的人脸重演装置，包括：
[0035]采样模块，用于对初始视频数据进行采样得到数据训练集和数据测试集；
[0036]训练模块，用于基于预设训练方法，根据数据训练集对初始人脸重演模型进行训练得到过渡人脸重演模型；
[0037]测试模块，用于根据数据测试集对过渡人脸重演模型进行测试，并对测试结果进行评价，筛选得到目标人脸重演模型；
[0038]重演模块，用于将待重演的人脸图像输入至目标人脸重演模型进行人脸重演，输出得到身份保持的人脸重演图像。
[0039]第三方面，本专利技术还提供了一种电子设备，包括存储器和处理器，其中，
[0040]存储器，用于存储程序；
[0041]处理器，与存储器耦合，用于执行存储器中存储的程序，以实现上述任一种实现方式中的身份保持的人脸重演方法中的步骤。
[0042]第四方面，本专利技术还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述任一种实现方式中的身份保持的人脸重演方法中的步骤。
[0043]采用上述实施例的有益效果是：本专利技术涉及一种身份保持的人脸重演方法、装置、设备及存储介质，该方法包括：对初始视频数据进行采样得到数据训练集和数据测试集；基于预设训练方法，根据所述数据训练集对初始人脸重演模型进行训练得到过渡人脸重演模型；根据所述数据测试集对所述过渡人脸重演模型进行测试，并对测试结果进行评价，筛选得到目标人脸重演模型；将待重演的人脸图像输入至所述目标人脸重演模型进行人脸重演，输出得到身份保持的人脸重演图像。本专利技术提供的一种身份保持的人脸重演方法、装置、设备及存储介质，通过数据训练集和数据测试集对人脸重演模型进行训练优化，使得人脸重演模型能得到身份保持的人脸重演图像，避免在图像生成过程中出现身份泄漏的问题。
附图说明
[0044]图1为本专利技术提供的身份保持的人脸重演方法的一实施例的流程示意图；
[0045]图2为本专利技术提供的第一阶段训练的一实施例的流程示意图；
[0046]图3为本专利技术提供的第二阶段训练的一实施例的流程示意图；
[0047]图4为图1中步骤S103的一实施例的流程示意图；
[0048]图5为本专利技术提供的身份保持的人脸重演装置的一实施例的结构示意图；
[0049]图6为本专利技术实施例提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种身份保持的人脸重演方法，其特征在于，包括：对初始视频数据进行采样得到数据训练集和数据测试集；基于预设训练方法，根据所述数据训练集对初始人脸重演模型进行训练得到过渡人脸重演模型；根据所述数据测试集对所述过渡人脸重演模型进行测试，并对测试结果进行评价，筛选得到目标人脸重演模型；将待重演的人脸图像输入至所述目标人脸重演模型进行人脸重演，输出得到身份保持的人脸重演图像。2.根据权利要求1所述的身份保持的人脸重演方法，其特征在于，所述基于预设训练方法，根据所述数据训练集对初始人脸重演模型进行训练得到过渡人脸重演模型，包括：根据所述数据训练集选取同一人的特征图像对所述初始人脸重演模型进行第一阶段训练；根据所述数据训练集选取不同人的特征图像对第一阶段训练后的初始人脸重演模型进行第二阶段训练，得到过渡人脸重演模型。3.根据权利要求2所述的身份保持的人脸重演方法，其特征在于，所述根据所述数据训练集选取同一人的特征图像对所述初始人脸重演模型进行第一阶段训练，包括：从所述数据训练集中随机抽取同一人的两帧不同人脸图像作为第一图像；将所述第一图像输入至所述初始人脸重演模型，计算第一损失函数；重复上述步骤直至所述第一损失函数收敛。4.根据权利要求2所述的身份保持的人脸重演方法，其特征在于，所述根据所述数据训练集选取不同人的特征图像对第一阶段训练后的初始人脸重演模型进行第二阶段训练，得到过渡人脸重演模型，包括：从所述数据训练集中对不同的两个人各随机抽取一帧人脸图像作为第二图像；将所述第二图像输入至第一阶段训练后的初始人脸重演模型，计算第二损失函数；重复上述步骤直至所述第二损失函数收敛。5.根据权利要求1所述的身份保持的人脸重演方法，其特征在于，所述根据所述数据测试集对所述过渡人脸重演模型进行测试，并对测试结果进行评价，筛选得到目标人脸重演模型，包括：从所述数据测试集中随机抽取不同数据...

【专利技术属性】
技术研发人员：陈亚雄，孙浩凯，路雄博，熊盛武，孔贤伟，
申请(专利权)人：武汉理工大学重庆研究院，
类型：发明
国别省市：