一种视频换脸的处理方法、相关装置及存储介质制造方法及图纸

本申请实施例涉及图像处理技术领域，并提供一种视频换脸的处理方法、装置及存储介质，该方法包括：获取第一视频素材和第二视频素材；将相似度高于预设相似度的素材属性信息的第一帧图片和第二帧图片输入至预设模型，得到替换视频；该替换视频存在拼接缺陷时，调整第一帧图片和第二帧图片的数量，并将调整后的图片输入至预设模型，直至预设模型输出的替换视频不存在拼接缺陷，将不存在缺陷时的第一帧图片的数量和第二帧图片的数量的比例作为目标配比；获取包含所述被替换者的待替换视频文件；将待替换视频文件输入至预设模型，根据目标配比输出包含所述替换者脸部的目标视频。本申请能够提高人侧脸替换后的视觉效果。申请能够提高人侧脸替换后的视觉效果。申请能够提高人侧脸替换后的视觉效果。

【技术实现步骤摘要】
一种视频换脸的处理方法、相关装置及存储介质


[0001]本申请实施例涉及图像处理
，尤其涉及一种视频换脸的处理方法、相关装置及存储介质。

技术介绍

[0002]人工智能(Artificial Intelligence，AI)换脸技术的应用场景之一是将虚拟人物的面部替换到影视剧中真人的面部区域，替换结果要求脸部表情自然、效果逼真。整个过程只需要通过一张照片即可完成替换，例如，用户a可采用AI技术在换脸软件上使用用户a自己的照片即可替视影视剧或者小视频中的人物，从而生成以用户a自己为主角的视频。
[0003]在对现有技术的研究和实践过程中，本申请实施例的专利技术人发现在替换模特侧脸的时候，会出现拼接缺陷的现象，例如原图中的瞳距和内眼角与侧眼角的角度倾斜不同使得模特脸部更换出现瞳距过大、眼睛向斜上方上挑等问题，使得视频中出现人侧脸替换时，存在较为明显的替换缺陷。
[0004]由于后期需要进行整段视频的脸部替换，所以需要在前期对拼接缺陷的现象进行优化，目前的优化方法是对原始图片进行调整，修改眼睛的形状和距离，对于视频中的原始图片修改而言，工作量太大，使得修改效率较低。

技术实现思路

[0005]本申请实施例提供了一种视频换脸的处理方法、相关装置及存储介质，能够提高人侧脸被替换后的视觉效果。
[0006]第一方面中，介绍本申请实施例提供的一种视频换脸的处理方法，该方法包括：
[0007]获取第一视频素材和第二视频素材，所述第一视频素材包含被替换者侧脸的第一帧图片，所述第二视频素材包含替换者侧脸的第二帧图片，所述第一帧图片和所述第二帧图片均预先标记有至少一种素材属性信息；
[0008]将相似度高于预设相似度的素材属性信息的所述第一帧图片和所述第二帧图片分别输入至预设模型，输出人脸替换后的替换视频；
[0009]当所述替换视频存在拼接缺陷时，调整所述第一帧图片的数量和所述第二帧图片的数量，并将调整后的第一帧图片和第二帧图片输入至所述预设模型，直至所述预设模型输出的替换视频不存在拼接缺陷，将不存在缺陷时的第一帧图片的数量和第二帧图片的数量的比例作为目标配比；
[0010]获取包含所述被替换者的待替换视频文件；
[0011]将所述待替换视频文件输入至所述预设模型，根据所述目标配比输出包含所述替换者脸部的目标视频。
[0012]第二方面中，本申请实施例提供一种视频换脸的处理装置，具有实现对应于上述第一方面提供的视频换脸的处理方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块
可以是软件和/或硬件。
[0013]一种可能的设计中，所述视频换脸的处理装置包括：
[0014]输入输出模块，用于获取第一视频素材和第二视频素材，将相似度高于预设相似度的素材属性信息的所述第一帧图片和所述第二帧图片分别输入至预设模型，输出人脸替换后的替换视频；其中，所述第一视频素材包含被替换者侧脸的第一帧图片，所述第二视频素材包含替换者侧脸的第二帧图片，所述第一帧图片和所述第二帧图片均预先标记有至少一种素材属性信息；
[0015]处理模块，用于当所述替换视频存在拼接缺陷时，调整所述第一帧图片的数量和所述第二帧图片的数量，并将调整后的第一帧图片和第二帧图片输入至所述预设模型，直至所述预设模型输出的替换视频不存在拼接缺陷，将不存在缺陷时的第一帧图片的数量和第二帧图片的数量的比例作为目标配比；
[0016]通过所述输入输出模块获取包含所述被替换者的待替换视频文件；
[0017]所述处理模块还用于将所述待替换视频文件输入至所述预设模型，根据所述目标配比输出包含所述替换者脸部的目标视频。
[0018]本申请实施例又一方面提供了一种视频换脸的装置，其包括至少一个连接的处理器、存储器和输入输出单元，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中的计算机程序来执行上述第一方面中提供的视频换脸的处理方法。
[0019]本申请实施例又一方面提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述第一方面中提供的视频换脸的处理方法。
[0020]相较于现有技术，本申请实施例提供的方案中，通过获取包含被替换者的第一视频素材以及包含替换者的第二视频素材，由于第一视频素材及该第二视频素材中均包括有预先标记有至少一种素材属性及所述素材属性的取值的第一帧图片和第二帧图片，且该素材属性包括人脸姿态，该素材属性的取值包括人脸姿态为侧脸，使得在侧脸替换的训练场景中可以通过丰富的训练素材对训练过程做支撑，在循环的过程中根据预设模型的输出结果，不断调节第一帧图片与第二帧图片的配比以使其达到最优，从而使得被替换者的视频素材帧图片与替换者的视频素材帧图片在通过这种目标配比并利用预设模型替换输出的过程中产出的替换视频没有瑕疵，最后再通过调节好的被替换者的视频素材帧图片与替换者的视频素材帧图片的目标配比，并利用预设模型对实际需要替换的包含被替换者的待替换视频文件进行输出，以确保替换后输出的人脸拼接处，尤其是人侧脸的拼接处没有拼接痕迹以及拼接模糊等缺陷。
附图说明
[0021]图1为本申请实施例提供的一种网络架构示意图；
[0022]图2为本申请实施例中视频换脸的处理方法的一种流程示意图；
[0023]图3为本申请实施例的视频换脸的处理方法中获取第二视频素材的流程示意图；
[0024]图4为根据本申请实施例的一应用场景示意图；
[0025]图5为本申请实施例中视频换脸的处理装置的框图；
[0026]图6为本申请实施例中计算机设备的一种结构示意图；
[0027]图7为本申请实施例中实施视频换脸的处理方法的手机的一种结构示意图；
[0028]图8为本申请实施例中实施视频换脸的处理方法的实体装置的一种结构示意图。
具体实施方式
[0029]本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象(例如本申请实施例中的第一视频素材、第二视频素材分别表示不同的视频素材)，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频换脸的处理方法，其特征在于，所述方法包括：获取第一视频素材和第二视频素材，所述第一视频素材包含被替换者侧脸的第一帧图片，所述第二视频素材包含替换者侧脸的第二帧图片，所述第一帧图片和所述第二帧图片均预先标记有至少一种素材属性信息；将相似度高于预设相似度的素材属性信息的所述第一帧图片和所述第二帧图片分别输入至预设模型，输出人脸替换后的替换视频；当所述替换视频存在拼接缺陷时，调整所述第一帧图片的数量和所述第二帧图片的数量，并将调整后的第一帧图片和第二帧图片输入至所述预设模型，直至所述预设模型输出的替换视频不存在拼接缺陷，将不存在缺陷时的第一帧图片的数量和第二帧图片的数量的比例作为目标配比；获取包含所述被替换者的待替换视频文件；将所述待替换视频文件输入至所述预设模型，根据所述目标配比输出包含所述替换者脸部的目标视频。2.根据权利要求1所述的视频换脸的处理方法，其特征在于，所述素材属性信息包括不同类型的多个面部表情标签，所述将相似度高于预设相似度的素材属性信息的所述第一帧图片和所述第二帧图片分别输入至预设模型，包括：获取类型相同的面部表情标签；将具有类型相同的面部表情标签对应的第一帧图片和第二帧图片分别输入所述预设模型。3.根据权利要求1所述的视频换脸的处理方法，其特征在于，所述素材属性信息包括不同的多个人脸姿态，所述将相似度高于预设相似度的素材属性信息的所述第一帧图片和所述第二帧图片分别输入至预设模型，包括：获取相同的人脸姿态；将具有相同的人脸姿态对应的第一帧图片和第二帧图片分别输入所述预设模型。4.根据权利要求2所述的视频换脸的处理方法，其特征在于，所述将相似度高于预设相似度的素材属性信息的所述第一帧图片和所述第二帧图片分别输入至预设模型，包括：分别将第一配对图片、第二配对图片和第三配对图片输入至预设模型；其中，所述第一配对图片包括面部表情标签的类型相同的第一表情图片和第二表情图片；所述第二配对图片包括素材属性信息中人脸姿态相同的第一人脸姿态图片和第二人脸姿态图片；所述第三配对图片包括素材属性信息中人脸大小在同一范围的第一人脸大小图片和第二人脸大小图片。5.根据权利要求4所述的视频换脸的处理方法，其特征在于，所述第一视频素材包括从影视剧中截取或从网络平台下载...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：北京生数科技有限公司，
类型：发明
国别省市：