视频处理方法、装置、电子设备及介质制造方法及图纸

视频处理方法、装置、电子设备及介质。一种视频处理方法，方法包括：分别将待替换视频与目标视频解码成第一帧序列及第二帧序列，获取各自分别对应的待替换对象图像及目标对象图像；对待替换对象图像进行编码，编码过程中加入预选噪声；对编码结果进行风格迁移；对风格迁移的编码结果进行解码重建，使得目标对象图像替换待替换对象图像，得到重建图像；将重建图像融合到第一帧序列，得到替换后的第一帧序列，将替换后的第一帧序列恢复为视频。该方法节约了时间成本和物资成本，减少了替换痕迹，从而保证换脸效果的清晰度与真实度，具备较高的观看效果，并且操作简单。

Video processing methods, devices, electronic equipment and media

【技术实现步骤摘要】
视频处理方法、装置、电子设备及介质
本公开涉及图像处理领域，特别是涉及一种视频处理方法、装置、电子设备及介质。
技术介绍
在当前的影视娱乐业中，由于一些原因，需要在作品拍摄完成后对某些演员进行替换。聘请其他演员重新录制相关镜头将消耗大量时间成本与物资成本。视频是一个帧序列的集合，通常用每秒帧的数量(即FPS)衡量。按照常用的每秒24帧来估计，每10秒钟的视频片段就有240帧图像，人工处理的工作量极大，且需要图形图像的专业人士进行操作，对专业能力和熟练程度要求较高，否则处理效果无法得到保证。随着人工智能深度学习技术的不断发展，将人工智能技术用于视频中人脸自动替换成为可能。
技术实现思路
(一)要解决的技术问题针对于上述技术问题，本公开提出一种视频处理方法、装置、电子设备及介质，用于至少解决上述技术问题。(二)技术方案根据本公开实施例的第一方面，提供一种视频处理方法，方法包括：分别将待替换视频与目标视频解码成第一帧序列及第二帧序列，获取各自分别对应的待替换对象图像及目标对象图像；对待替换对象图像进行编码，编码过程中加入预选噪声；对编码结果进行风格迁移；对风格迁移的编码结果进行解码重建，使得目标对象图像替换待替换对象图像，得到重建图像；将重建图像融合到第一帧序列，得到替换后的第一帧序列，将替换后的第一帧序列恢复为视频。可选地，对待替换对象图像进行编码，包括：获取第一降噪自编码器；将待替换对象图像输入第一降噪自编码器进行编码。可选地，对风格迁移的编码结果进行解码重建，包括：获取第二降噪自编码器；将风格迁移的编码结果输入第二降噪自编码器进行解码重建。可选地，方法还包括：训练第一降噪自编码器或第二降噪自编码器，该操作包括：获取第一训练数据集及第二训练数据集，第一训练数据集包括训练用的待替换视频，第二训练数据集包括训练用的目标视频；提取训练用的待替换视频中的第一图像数据，提取训练用的目标视频的第二图像数据；采用层次训练方法，利用第一图像数据训练第一降噪自编码器，利用第二图像数据训练第二降噪自编码器。可选地，采用层次训练方法，利用第一图像数据训练第一降噪自编码器，包括：采用双层卷积对第一图像数据进行第一次训练，得到第一参数；采用四层卷积对第一图像数据及第一参数进行训练，得到第二参数；采用六层卷积对第一图像数据及第二参数进行训练，得到第三参数；以此类推，每次增加两层卷积，其中一层对应第一降噪自编码器的编码器，另一层对应第一降噪自编码器的解码器。可选地，方法还包括：获取待替换对象图像在待替换视频中的位置信息。可选地，将重建图像融合到帧序列，包括：将重建图像融合到帧序列中位置信息指向的位置。可选地，预选噪声选择高斯噪声。根据本公开实施例的第二方面，提供了一种视频处理装置，该装置包括：分解模块，用于将分别将待替换视频与目标视频解码成第一帧序列及第二帧序列，获取各自分别对应的待替换对象图像及目标对象图像；第一自编码器，用于对待替换对象图像进行编码，编码过程中加入预选噪声；迁移模块，用于对编码结果进行风格迁移；第二自编码器，用于对风格迁移的编码结果进行解码重建，使得目标对象图像替换待替换对象图像，得到重建图像；替换模块，用于将重建图像融合到第一帧序列，得到替换后的第一帧序列，将替换后的第一帧序列恢复为视频。根据本公开实施例的第三方面，提供了一种电子设备，包括：一个或多个处理器。存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。根据本公开实施例的第四方面，提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。根据本公开实施例的第五方面，提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。(三)有益效果本公开提一种视频处理方法、装置、电子设备及介质，有益效果为：1、替换视频作品时，只需要针对被替换的对象训练一模型，便可对视频中的所有镜头进行处理，节约了时间成本和物资成本。2、对待替换对象编码过程中，加入了降噪机制，对编码结果进行的风格迁移，并且，模型训练过程中采用了层次训练方法，减少了替换痕迹，从而保证换脸效果的清晰度与真实度，具备较高的观看效果。3、将该方法中的操作封装于程序存储于装置或电子设备中，使用者不必深入掌握计算机科学与图像处理的专业知识，只需要具备基本的计算机操作能力，按照训练步骤和使用流程运行相应程序即可，操作简单。附图说明为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。其中：图1示意性示出了根据本公开一示例性实施例的视频处理方法的流程图；图2示意性示出了根据本公开一示例性实施例的自编码器的原理图；图3示意性示出了根据本公开一示例性实施例的自编码器的网络结构图；图4示意性示出了根据本公开一示例性实施例的自编码器的训练方法流程图；图5示意性示出了根据本公开一示例性实施例的VGG19网络结构图；图6示意性示出了根据本公开一示例性实施例的视频处理装置的框图；以及图7示意性示出了根据本公开一示例性实施例的电子设备的框图。具体实施方式以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。本公开实施例提供一种视频处理方法，包括：分别将待替换视频与目标视频解码成第一帧序列及第二帧序列，获取各自分别对应的待替换对象图像及目标对象图像。对待替换对象图像进行编码，编码过程中加入预选噪声。对编码结果进行风格迁移。对风格迁移的编码结果进行解码重建，使得目标对象图像替换待替换对象图像，得到重建图像。将重建图像融合到第一帧序列，得到替换后的第一帧序列，将替换后的第一帧序列恢复为视频。图1示意性示出了根据本公开一示例性实施例的视频处理方法的流程图，该方法例如可以包括操作S101～S104。S101，分别将待替换视频与目标视频解码成第一帧序列及第二帧序列，获取各自分别对应的待替换对象图像及目标对象图像。在本实施例一可行的方式中，例如可以使用视频解码软件将待替换视频解码为帧，得到第一帧序列，将目标视频解码为帧，得到第二帧序列，并将第一帧序列及第二帧序列分别保存在两个文件夹中。针对于每一帧，提取出待替换对象图像及目标对象图像，待替换对象图像例如可以为人脸，本专利技术不做限制。若需要对人脸进行使用，则可以使用人脸检测器(DLIB)或多任务本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，方法包括：/n分别将待替换视频与目标视频解码成第一帧序列及第二帧序列，获取各自分别对应的待替换对象图像及目标对象图像；/n对所述待替换对象图像进行编码，编码过程中加入预选噪声；/n对编码结果进行风格迁移；/n对风格迁移的编码结果进行解码重建，使得所述目标对象图像替换所述待替换对象图像，得到重建图像；/n将所述重建图像融合到所述第一帧序列，得到替换后的第一帧序列，将所述替换后的第一帧序列恢复为视频。/n

【技术特征摘要】
1.一种视频处理方法，其特征在于，方法包括：
分别将待替换视频与目标视频解码成第一帧序列及第二帧序列，获取各自分别对应的待替换对象图像及目标对象图像；
对所述待替换对象图像进行编码，编码过程中加入预选噪声；
对编码结果进行风格迁移；
对风格迁移的编码结果进行解码重建，使得所述目标对象图像替换所述待替换对象图像，得到重建图像；
将所述重建图像融合到所述第一帧序列，得到替换后的第一帧序列，将所述替换后的第一帧序列恢复为视频。


2.根据权利要求1所述的方法，其特征在于，所述对所述待替换对象图像进行编码，包括：
获取第一降噪自编码器；
将所述待替换对象图像输入所述第一降噪自编码器进行编码。


3.根据权利要求1所述的方法，其特征在于，所述对风格迁移的编码结果进行解码重建，包括：
获取第二降噪自编码器；
将所述风格迁移的编码结果输入所述第二降噪自编码器进行解码重建。


4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：训练所述第一降噪自编码器或所述第二降噪自编码器，该操作包括：
获取第一训练数据集及第二训练数据集，所述第一训练数据集包括用于训练的待替换视频，所述第二训练数据集包括用于训练的目标视频；
提取所述用于训练的待替换视频中的第一图像数据，提取所述用于训练的目标视频的第二图像数据；
采用层次训练方法，利用所述第一图像数据训练所述第一降噪自编码器，利用所述第二图像数据训练所述第二降噪自编码器。


5.根据权利要求4所述的方法，其特征在于，所述采用层次训练方法，利用所述第一图像数据训练所述第一降噪自编码器，包括：
采用双层卷积对所述第一图像...

【专利技术属性】
技术研发人员：张勇东，胡梓珩，谢洪涛，邓旭冉，李岩，
申请(专利权)人：中国科学技术大学，北京中科研究院，
类型：发明
国别省市：安徽;34