一种视频合成方法、相关装置及存储介质制造方法及图纸

本申请实施例涉及音视频处理领域，提供一种视频生成方法、相关装置及存储介质，该方法包括：获得音频分片和至少两个视频分片；根据至少两个视频分片得到目标分片；利用音频分片驱动目标分片，得到经驱动的目标分片；其中，视频分片中的目标对象对应至少一种特定动作，至少两个视频分片中的目标对象对应不同的特定动作，目标分片中的目标对象对应至少两种特定动作，第一视频分片在第一播放时段以及第二视频分片在第二播放时段没有跳变的帧，第一视频分片在第一播放时段的结束播放时刻与第二视频分片在第二播放时段的起始播放时刻相同。本方案能够提高合成视频中对象的动作丰富多样性和视频拼接处的图像连贯性和稳定性。性和视频拼接处的图像连贯性和稳定性。性和视频拼接处的图像连贯性和稳定性。

【技术实现步骤摘要】
一种视频合成方法、相关装置及存储介质


[0001]本案是申请号为申请号为2022104618544的专利申请的分案申请。
[0002]本申请实施例涉及音视频处理
，尤其涉及一种视频合成方法、相关装置及存储介质。

技术介绍

[0003]相关技术中为了录制视频，可以通过拍摄装置对拍摄对象进行视频录制。例如，为了录制教师的教学视频，可以通过拍摄装置对教师的教学过程进行视频录制。但是，录制过程对拍摄对象、拍摄人员、拍摄器材和拍摄场地等的要求较高，导致录制成本较高。相关技术可以采用视频合成技术生成教学视频，来降低视频录制成本。
[0004]在对现有技术的研究和实践过程中，本申请实施例的专利技术人发现，为了提升视频中拍摄对象的真实度，可以采用包括拍摄对象的背景视频，以生成所需的视频。为了降低背景视频的拍摄难度和拍摄成本，可以拍摄播放时长较短的视频片段，然后通过视频片段拼接的方式生成所需背景视频。然而，拼接后的视频分片中对象的动作单一。此外，视频分片拼接处在进行播放时，展示效果较低，如容易出现图像抖动、图像跳变等。

技术实现思路

[0005]本申请实施例提供了一种视频生成方法、相关装置及存储介质，能够提高合成视频中对象的动作丰富多样性和视频拼接处的图像连贯性和稳定性。
[0006]第一方面中，本申请实施例提供的一种视频生成方法，该方法包括：获得音频分片和至少两个视频分片，音频分片的播放时长至少长于至少两个视频分片中的各视频分片的播放时长；根据至少两个视频分片得到目标分片，目标分片的播放时长大于或者等于音频分片的播放时长；利用音频分片驱动目标分片，得到经驱动的目标分片；其中，视频分片中的目标对象对应至少一种特定动作，至少两个视频分片中的目标对象对应不同的特定动作，目标分片中的目标对象对应至少两种特定动作，第一视频分片在第一播放时段以及第二视频分片在第二播放时段没有跳变的帧，第一视频分片的第一播放时段的起始播放时刻晚于第一视频分片的播放起始时刻，第二视频分片的第二播放时段的结束播放时刻提前于第二视频分片的结束播放时刻，第一视频分片在第一播放时段的结束播放时刻与第二视频分片在第二播放时段的起始播放时刻相同。
[0007]一种可能的设计中，生成动作视频分片Vi针对动作视频分片Vj的补帧视频分片Bij可以包括如下操作：首先，获得动作视频分片Vi的最后一个视频帧和动作视频分片Vj的首个视频帧；然后，通过补帧算法得到动作视频分片Vi的最后一个视频帧和动作视频分片Vj的首个视频帧之间的多个补充视频帧，使得动作视频分片Vi的最后一个视频帧、动作视频分片Vj的首个视频帧以及两者之间无跳变帧；接着，按照预设帧率组合多个补充视频帧，得到补帧视频分片Bij，补帧视频分片Bij的播放时长为指定时长。
[0008]一种可能的设计中，确定音频分片的各播放时段与至少两个视频分片各自之间的
映射关系，包括：接收标定信息，标定信息包括音频分片的播放时段与视频分片之间的对应关系；基于标定信息确定音频分片的各播放时段与至少两个视频分片各自之间的映射关系。
[0009]一种可能的设计中，如果f2/f1是小数，并且则第一播放时段的结束播放时刻的音频帧与第二播放时段的起始播放时刻的音频帧之间存在重叠；如果f2/f1是小数，并且则第一播放时段的结束播放时刻的音频帧与第二播放时段的起始播放时刻的音频帧之间相互分离。
[0010]一种可能的设计中，根据至少两个视频分片得到目标分片，包括：对于至少两个视频分片中的每一个视频分片，对该视频分片进行抽帧，得到视频帧序列；按照预设的视频分片播放顺序对至少两个视频帧序列进行排序，得到经合并的视频帧序列；按照预设帧率对经合并的视频帧序列进行组合，生成目标分片。
[0011]一种可能的设计中，当补帧动作视频分片Vij中i和j的取值相同时，两个相邻的补帧动作视频分片Vij中的视频帧序列相互逆序排列。
[0012]一种可能的设计中，对于目标分片中的第P个视频帧，利用音频分片驱动目标分片，得到经驱动的目标分片可以包括：至少基于第Q
×
P个音频帧到第(Q
×
(P+1)
‑
1)个音频帧的音频特征，调整目标分片中第P个视频帧的嘴部图像，得到经驱动的第P个视频帧，其中，P是大于或者等于0的整数，中，P是大于或者等于0的整数，为上取整，或者，为上取整，或者，为下取整，f1是目标分片的帧率，f2是音频分片的帧率。
[0013]一种可能的设计中，上述方法还可以包括：输出音频和经驱动的目标分片，进行教学、引导中至少一种功能。
[0014]一种可能的设计中，第一视频分片在第一播放时段的视频帧与第二视频分片在第二播放时段的视频帧不同。
[0015]第二方面中，本申请实施例提供一种视频生成装置，具有实现对应于上述第一方面提供的视频生成方法的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，模块可以是软件和/或硬件。
[0016]第三方面中，本申请实施例提供一种视频处理装置，设置于服务器端和/或客户端中。
[0017]一种可能的设计中，上述装置包括：视频分片获得模块、目标分片获得模块和驱动模块。其中，视频分片获得模块用于获得至少两个视频分片；目标分片获得模块用于根据至少两个视频分片得到目标分片；驱动模块用于利用音频分片驱动目标分片，得到经驱动的目标分片。其中，视频分片中的目标对象对应至少一种特定动作，至少两个视频分片中的目标对象对应不同的特定动作，目标分片中的目标对象对应至少两种特定动作，第一视频分片在第一播放时段以及第二视频分片在第二播放时段没有跳变的帧，第一视频分片的第一播放时段的起始播放时刻晚于第一视频分片的播放起始时刻，第二视频分片的第二播放时段的结束播放时刻提前于第二视频分片的结束播放时刻，第一视频分片在第一播放时段的结束播放时刻与第二视频分片在第二播放时段的起始播放时刻相同。
[0018]本申请实施例又一方面提供了一种视频处理装置，其包括至少一个连接的处理器、存储器和输入输出模块，其中，存储器用于存储计算机程序，处理器用于调用存储器中
的计算机程序来执行上述第一方面、第一方面中的各种可能的设计中提供的方法。
[0019]本申请实施例又一方面提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述第一方面、第一方面中的各种可能的设计中提供的方法。
[0020]相较于现有技术，本申请实施例提供的方案中，采用至少两个视频分片生成目标分片，其中，两个视频分片各自可以包括针对目标对象的不同种类的特定动作的图像，使得生成的目标分片中可以包括与目标对象对应的至少两种特定动作，有效提升了目标分片中的目标对象的动作丰富性和多样性。此外，第一播放时段和第二播放时段中没有跳变的帧，有助于实现第一视频分片在第一播放时段以及第二视频分片在第二播放时段的播放图像的连贯性和稳定性较高。
附图说明
[0021本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频的合成方法，其特征在于，所述方法包括：获得至少两个视频分片；基于预设顺序拼接所述至少两个视频分片，得到经拼接的目标分片；所述预设顺序包括正序或逆序；其中，所述视频分片中的目标对象对应至少一种特定动作，至少两个所述视频分片中的目标对象对应基准动作和不同的特定动作，所述目标分片中的所述目标对象对应至少两种特定动作，第一视频分片在第一播放时段以及第二视频分片在第二播放时段没有跳变的帧，所述第一视频分片在所述第一播放时段的结束播放时刻与所述第二视频分片在所述第二播放时段的起始播放时刻相同，所述视频分片的目标对象在所述第一播放时段和所述第二播放时段对应所述基准动作。2.根据权利要求1所述的方法，其特征在于，所述至少两个视频分片通过如下方式获得：至少从第一素材库中获取至少两个补帧动作视频分片Vij，其中，所述第一素材库包括N个补帧动作视频分片Vij，每个补帧动作视频分片Vij包括动作视频分片Vi和至少一个补帧视频分片Bij；补帧视频分片Bij使得动作视频分片Vi在第一播放时段没有跳变的帧，并且补帧视频分片Bij使得动作视频分片Vj在第二播放时段没有跳变的帧，其中，N是大于或者等于2的整数，i、j分别是大于或者等于1的整数；将所述至少两个补帧动作视频分片Vij作为所述至少两个视频分片。3.根据权利要求2所述的方法，其特征在于，所述动作视频分片Vi中的目标对象对应基准动作和至少一种特定动作，所述动作视频分片Vi的目标对象在所述第一播放时段和所述第二播放时段对应所述基准动作。4.根据权利要求2所述的方法，其特征在于，所述第一素材库通过以下方式构建，包括：获得n个动作视频分片Vi，i≤N，N＝n2；对于所述n个动作视频分片Vi中的每一个，生成所述动作视频分片Vi针对动作视频分片Vj的补帧动作视频分片Vij，以添加到所述第一素材库中，i和j相同或不同。5.根据权利要求4所述的方法，其特征在于，所述生成所述动作视频分片Vi针对动作视频分片Vj的补帧动作视频分片Vij，包括：生成所述动作视频分片Vi针对动作视频分片Vj的补帧视频分片Bij；通过以下之一得到所述补帧动作视频分片Vij：将所述补帧视频分片Bij设置于所述动作视频分片Vi的最后一个视频帧之后，得到所述补帧动作视频分片Vij；或者，将所述补帧视频分片Bij设置于所述动作视频分片Vj的首个视频帧之前，得到所述补帧动作视频分片Vij；或者，将所述补帧视频分片Bij的第一部分设置于所述动作视频分片Vi的最后一个视频帧之后，并且将所述补帧视频分片Bij的第二部分设置于所述动作视频分片Vj的首个视频帧之前，得到所述补帧动作视频分片Vij。6.根据权利要求5所述的方法，其特征在于，所述生成所述动作视频分片Vi针对动作视频分片Vj的补帧视频分片Bij，包括：获得所述动作视频分片Vi的最后一个视频帧和...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：北京生数科技有限公司，
类型：发明
国别省市：