视频处理方法、装置和存储介质制造方法及图纸

本公开提供了一种用于视频处理的方法、装置、计算机设备以及存储介质。接收来自用户的第一输入，第一输入用于请求使用用户输入的脸部图像替换视频中角色的脸部；接收用户输入的脸部图像；响应于用户输入的脸部图像的风格与视频的风格不相匹配，基于视频的风格对用户输入的脸部图像的风格进行迁移，使得用户输入的脸部图像的风格与视频的风格相匹配，使用风格迁移后的脸部图像替换视频中角色的脸部；响应于用户输入的脸部图像的风格与视频的风格相匹配，使用用户输入的脸部图像替换视频中角色的脸部；和显示脸部替换后的视频。

【技术实现步骤摘要】
视频处理方法、装置和存储介质
本专利技术涉及视频处理
，特别涉及一种视频处理方法、装置和存储介质。
技术介绍
互联网技术的发展催生了许多新兴的网络交互方式，其中视频换脸技术受到了众多用户的喜爱。用户可以借助于该技术，实现自己/特定人物与喜爱的明星合照，还可以用自己的脸替换喜爱的电影、电视剧中明星的脸。此外，还可以利用换脸技术剪辑视频。
技术实现思路
在当前的视频换脸中，视频换脸技术本身具有局限性，例如对于一些动漫类型的电影，无法将用户的脸替换到该动漫类型电影中。原因在于动漫的背景以及动漫中的人物都是卡通化的，用户的脸会显得很突兀。此外，每种视频属于不同的风格派系，不同的用户对不同风格派系的电影喜爱程度也不同。例如用户喜欢某视频的剧情，但不喜欢该视频的风格，而换脸只是局部的人脸替换，而无法实现整体视频风格的切换。有鉴于此，有必要提供一种可以缓解、减轻或甚至消除上述问题的用于视频处理的方法、装置、系统、计算设备及存储介质。根据本专利技术的一方面，提出了一种用于视频处理的方法。该方法包括：接收来自用户的第一输入，第一输入用于请求使用用户输入的脸部图像替换视频中角色的脸部；接收用户输入的脸部图像；响应于用户输入的脸部图像的风格与视频的风格不相匹配，基于视频的风格对用户输入的脸部图像的风格进行迁移，使得用户输入的脸部图像的风格与视频的风格相匹配，使用风格迁移后的脸部图像替换视频中角色的脸部；响应于用户输入的脸部图像的风格与视频的风格相匹配，使用用户输入的脸部图像替换视频中角色的脸部；和显示脸部替换后的视频。在一些实施例中，该方法还包括：接收来自用户的第二输入，第二输入请求对脸部替换后的视频的风格进行迁移和指示意图迁移的风格类型；基于意图迁移的风格类型对脸部替换后的视频进行风格迁移。在一些实施例中，该方法中基于视频的风格对用户输入的脸部图像的风格进行迁移，使得用户输入的脸部图像的风格与视频的风格相匹配包括：将用户输入的脸部图像和视频的风格输入脸部风格迁移网络中，其中，脸部风格迁移网络包括经预先训练的图像转换网络和经预先训练的第一损失计算网络；输出与视频的风格相匹配的风格迁移后的脸部图像。在一些实施例中，用风格迁移后的脸部图像替换视频中角色的脸部包括：将风格迁移后的脸部图像和视频的一个或多个帧输入经预训练的深度神经网络，输出脸部替换后的视频的一个或多个帧，经预训练的深度神经网络至少包括编码器和解码器，编码器用于对视频中的一个或多个帧进行编码，解码器用于对经编码的视频中的一个或多个帧进行解码以输出用风格迁移后的脸部图像替换了视频中角色的脸部的脸部替换后的视频。在一些实施例中，以用户的输入的脸部图像替换视频中角色的脸部包括：将用户的输入的脸部图像和视频的一个或多个帧输入经预训练的深度神经网络，输出脸部替换后的视频的一个或多个帧，经预训练的深度神经网络至少包括编码器和解码器，编码器用于对视频中的一个或多个帧进行编码，解码器用于对经编码的视频中的一个或多个帧进行解码以输出脸部替换后的视频。在一些实施例中，基于意图迁移的风格类型对脸部替换后的视频进行风格迁移包括：将意图迁移的风格类型和脸部替换后的视频输入视频风格迁移网络中，输出风格与意图迁移的风格类型相匹配的风格迁移后的视频，其中，视频风格迁移网络包括经预先训练的风格化网络和经预先训练的第二损失计算网络。在一些实施例中，经预先训练的第一损失计算网络针对第一损失函数进行迭代，第一损失函数至少包括内容损失部分和风格损失部分。在一些实施例中，经预先训练的第二损失计算网络针对第二损失函数进行迭代，第二损失函数至少包括时间损失部分和空间损失部分。在一些实施例中，第一损失计算网络和第二损失计算网络中的至少一个包括计算机视觉组VGG-16网络。根据本专利技术的另一方面，提出了一种用于视频处理的装置。该装置包括：第一接收模块、第二接收模块、脸部替换模块和显示模块。第一接收模块被配置成接收来自用户的第一输入，第一输入用于请求使用用户输入的脸部图像替换视频中角色的脸部。第二接收模块被配置成接收用户输入的脸部图像。脸部替换模块被配置成响应于用户输入的脸部图像的风格与视频的风格不相匹配，基于视频的风格对用户输入的脸部图像的风格进行迁移，使得用户输入的脸部图像的风格与视频的风格相匹配，使用风格迁移后的脸部图像替换视频中角色的脸部；响应于用户输入的脸部图像的风格与视频的风格相匹配，使用用户输入的脸部图像替换视频中角色的脸部。显示模块被配置成显示脸部替换后的视频。在一些实施例中，该装置还包括第三接收模块和视频风格迁移模块。第三接收模块被配置成接收来自用户的第二输入，第二输入请求对脸部替换后的视频的风格进行迁移和指示意图迁移的风格类型。视频风格迁移模块被配置成基于意图迁移的风格类型对脸部替换后的视频进行风格迁移。根据本专利技术的又一方面，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行根据前述方面提供的用于视频处理的方法的步骤。根据本专利技术的又一方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行根据前述方面提供的用于视频处理的方法的步骤。根据本专利技术的实施例的用于视频处理的方法通过在视频播放菜单中增加视频切换的入口和提供用户可选的风格列表，实现了一种更彻底的换脸。具体地，响应于用户输入脸部图像的风格与视频风格不匹配，对用户输入的脸部图像的风格进行迁移之后再进行人脸替换，使得用户的脸部风格与视频风格相匹配而不会显得突兀。人脸的替换后，会随着视频的风格迁移而迁移，从而使得观众可以将自己的脸换到任何一部风格的影视剧中。此外，用户还可以将视频/影视剧的风格迁移为自己喜欢的风格。当前许多电影、电视、动画剧情非常有趣，但由于不同的人对视频的风格不太喜欢，导致用户的观看意愿降低。使用根据本专利技术的用于视频处理的方法，在保留视频剧情的前提下，可以将视频切换成用户喜爱的风格，从而使得最终的视频形象与用户喜欢的风格更贴合，大大提升了用户体验度。通过该用于视频处理的方法可以进一步增加这种互动的趣味性，提升了互动体验。通过增加可供用户选择一键替换视频风格的功能，使得视频处理模型的复杂度降低，节省了存储资源。在换脸的基础上，还可以视频风格迁移，使得之前存在的风格不适用于换脸（即，会因为换脸显得突兀）的视频也可以被用户用于换脸，增强了视频处理方法的通用性。根据在下文中所描述的实施例，本专利技术的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。附图说明在下面结合附图对于示例性实施例的描述中，本专利技术的更多细节、特征和优点被公开，在附图中：图1示意性示出了根据本专利技术一个实施例的图形用户界面示意图；图2示意性示出了根据本专利技术一个实施例的示例应用场景；图3示意性示出了根据本专利技术一个实施例的用于视频处理的方法流程图；图4示意性示出了根据本专利技术一个实施例进行脸部风格迁本文档来自技高网...

【技术保护点】
1.一种用于视频处理的方法，包括：/n接收来自用户的第一输入，所述第一输入用于请求使用所述用户输入的脸部图像替换所述视频中角色的脸部；/n接收所述用户输入的脸部图像；/n响应于所述用户输入的脸部图像的风格与所述视频的风格不相匹配，基于所述视频的风格对所述用户输入的脸部图像的风格进行迁移，使得所述用户输入的脸部图像的风格与所述视频的风格相匹配，使用风格迁移后的脸部图像替换所述视频中所述角色的脸部；/n响应于所述用户输入的脸部图像的风格与所述视频的风格相匹配，使用所述用户输入的脸部图像替换所述视频中角色的脸部；和/n显示脸部替换后的视频。/n

【技术特征摘要】
1.一种用于视频处理的方法，包括：
接收来自用户的第一输入，所述第一输入用于请求使用所述用户输入的脸部图像替换所述视频中角色的脸部；
接收所述用户输入的脸部图像；
响应于所述用户输入的脸部图像的风格与所述视频的风格不相匹配，基于所述视频的风格对所述用户输入的脸部图像的风格进行迁移，使得所述用户输入的脸部图像的风格与所述视频的风格相匹配，使用风格迁移后的脸部图像替换所述视频中所述角色的脸部；
响应于所述用户输入的脸部图像的风格与所述视频的风格相匹配，使用所述用户输入的脸部图像替换所述视频中角色的脸部；和
显示脸部替换后的视频。


2.如权利要求1所述的方法，还包括：
接收来自所述用户的第二输入，所述第二输入请求对所述脸部替换后的视频的风格进行迁移和指示意图迁移的风格类型；
基于所述意图迁移的风格类型对所述脸部替换后的视频进行风格迁移。


3.如权利要求1所述的方法，其中基于所述视频的风格对所述用户输入的脸部图像的风格进行迁移，使得所述用户输入的脸部图像的风格与所述视频的风格相匹配包括：
将所述用户输入的脸部图像和所述视频的风格输入脸部风格迁移网络中，其中，所述脸部风格迁移网络包括经预先训练的图像转换网络和经预先训练的第一损失计算网络；
输出与所述视频的风格相匹配的风格迁移后的脸部图像。


4.如权利要求1所述的方法，其中所述用风格迁移后的脸部图像替换所述视频中角色的脸部包括：
将所述风格迁移后的脸部图像和所述视频的一个或多个帧输入经预训练的深度神经网络，输出脸部替换后的视频的一个或多个帧，所述经预训练的深度神经网络至少包括编码器和解码器，所述编码器用于对所述视频中的一个或多个帧进行编码，所述解码器用于对经编码的所述视频中的一个或多个帧进行解码以输出用风格迁移后的脸部图像替换了所述视频中角色的脸部的脸部替换后的视频。


5.如权利要求1所述的方法，其中用所述用户的输入的脸部图像替换所述视频中角色的脸部包括：
将所述用户的输入的脸部图像和所述视频的一个或多个帧输入经预训练的深度神经网络，输出脸部替换后的视频的一个或多个帧，所述经预训练的深度神经网络至少包括编码器和解码器，所述编码器用于对所述视频中的一个或多个帧进行编码，所述解码器用于对经编码的所述视频中的一个或多个帧进行解码以输出脸部替换后的视频。


6.如权利要求2所述的方法，其中所述基于所述意图迁移的风格类型对所述脸部替换后的视频进行风格迁移包括：
将所述意图迁移的风格类型和所述脸部替换后的视频输入视频风格迁移网络中，输出风格与所述意图迁...

【专利技术属性】
技术研发人员：袁两胜，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44