一种多素材视频合成方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及视频合成技术领域，提供一种多素材视频合成方法、装置、电子设备及存储介质，方法包括：获取素材的路径以及所述素材的参数信息，所述参数信息包括显示时间；根据获取所述路径的顺序以及所述显示时间计算每个素材的起始时间，并判断所述每个素材的类型；基于多个素材的获取顺序以及所述起始时间分别将素材的每一帧输入视频编码器进行编码；将所述第二类型的多个素材输入音频解码器进行解码，并重采样多个素材的音频数据进行时间重叠判断后，将所述音频数据输入音频编码器进行编码；将所述视频编码器编码得到的视频帧与所述音频编码器编码得到的音频帧进行融合输出。本发明专利技术能够实现不同类型的多素材视频合成。

【技术实现步骤摘要】
一种多素材视频合成方法、装置、电子设备及存储介质
本专利技术涉及视频合成
，尤其涉及一种多素材视频合成方法、装置、电子设备及存储介质。
技术介绍
如今，随着短视频的发展，越来越丰富的视频制作玩法开始流行，比如当下流行的把几张图片素材拼接，最后合成一个视频的所谓“动态相册”的功能。但能够制作视频的素材并不应该是仅仅只有图片，但却难以对视频、音频、甚至GIF动画这些不同类型的素材进行视频合成。可见，现有技术中，对于动态视频合成存在素材类型单一的问题。
技术实现思路
本专利技术实施例提供一种多素材视频合成方法，能够融合多种类型的素材，解决动态视频合成存在的素材类型单一的问题。第一方面，本专利技术实施例提供一种多素材视频合成方法，所述方法包括以下步骤：获取素材的路径以及所述素材的参数信息，所述参数信息包括显示时间；根据获取所述路径的顺序以及所述显示时间计算每个素材的起始时间，并判断所述每个素材的类型；若存在多个素材为第一类型，则基于多个素材的获取顺序以及所述起始时间分别将素材的每一帧输入视频编码器进行编码，直到满足对应素材的所述显示时间；若存在多个素材为第二类型，则将所述第二类型的多个素材输入音频解码器进行解码，并重采样多个素材的音频数据进行时间重叠判断后，将所述音频数据输入音频编码器进行编码；将所述视频编码器编码得到的视频帧与所述音频编码器编码得到的音频帧进行融合输出。第二方面，本专利技术实施例还提供一种多素材视频合成装置，包括：获取模块，用于获取素材的路径以及所述素材的参数信息，所述参数信息包括显示时间；计算模块，用于根据获取所述路径的顺序以及所述显示时间计算每个素材的起始时间，并判断所述每个素材的类型；编码模块，用于若存在多个素材为第一类型，则基于多个素材的获取顺序以及所述起始时间分别将素材的每一帧输入视频编码器进行编码，直到满足对应素材的所述显示时间；解码模块，用于若存在多个素材为第二类型，则将所述第二类型的多个素材输入音频解码器进行解码，并重采样多个素材的音频数据进行时间重叠判断后，将所述音频数据输入音频编码器进行编码；融合模块，用于将所述视频编码器编码得到的视频帧与所述音频编码器编码得到的音频帧进行融合输出。第三方面，本专利技术实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述实施例提供的多素材视频合成方法中的步骤。第四方面，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述实施例提供的多素材视频合成方法中的步骤。本专利技术实施例中，由于获取素材的路径以及所述素材的参数信息，所述参数信息包括显示时间；根据获取所述路径的顺序以及所述显示时间计算每个素材的起始时间，并判断所述每个素材的类型；若存在多个素材为第一类型，则基于多个素材的获取顺序以及所述起始时间分别将素材的每一帧输入视频编码器进行编码，直到满足对应素材的所述显示时间；若存在多个素材为第二类型，则将所述第二类型的多个素材输入音频解码器进行解码，并重采样多个素材的音频数据进行时间重叠判断后，将所述音频数据输入音频编码器进行编码；将所述视频编码器编码得到的视频帧与所述音频编码器编码得到的音频帧进行融合输出。通过获取多种类型的素材后，将多种类型中第一类型的素材分别有序的输入到视频编码器进行编码，并且将第二类型的素材输入到音频解码器进行解码后对时间重叠的情况进行混音处理后再输入到音频编码器进行编码，然后将编码得到的视频帧以及音频帧进行融合处理后输出多素材带有音频的动态视频，实现了动态视频中多种类型的素材融合，解决了动态视频合成存在的素材类型单一的问题，增强动态视频的呈现效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种多素材视频合成方法的流程图；图2是本专利技术实施例提供的另一种多素材视频合成方法的流程图；图3是本专利技术实施例提供的另一种多素材视频合成方法的流程图；图4是本专利技术实施例提供的一种多素材视频合成装置的结构示意图；图5是本专利技术实施例提供的另一种多素材视频合成装置的结构示意图；图6是本专利技术实施例提供的另一种多素材视频合成装置的结构示意图；图7是本专利技术实施例提供的另一种多素材视频合成装置的结构示意图；图8是本专利技术实施例提供的另一种多素材视频合成装置的结构示意图；图9是本专利技术实施例提供的另一种多素材视频合成装置的结构示意图；图10是本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请的说明书和权利要求书及附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。如图1所示，图1是本专利技术实施例提供的一种多素材视频合成方法的流程图，上述多素材视频合成方法包括以下步骤：S101、获取素材的路径以及素材的参数信息，参数信息包括显示时间。在本实施例中，上述多素材视频合成方法可以运用在智能手机、智能平板等终端设备上。上述多素材视频合成方法运行于其上的电子设备可以通过有线连接方式或者无线连接方式获取素材以及素材的参数信息、路径等。上述无线连接方式可以包括但不限于3G/4G连接、WiFi(Wireless-Fidelity)连接、蓝牙连接、WiMAX(WorldwideInteroperabilityforMicrowaveAccess)连接、Zigbee(低功耗局域网协议，又称紫峰协议)连接、UWB(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。上述的素材可以包括图片素材、gif动画素材、视频素材、音频素材等等类型。素材为多素材(多种类型的素材)，多素材的路径可以通过路径列表的形式表示，每个素材在路径列表中都有对应的路径，根据路径可以获取对应的素材。上述的本文档来自技高网...

【技术保护点】
1.一种多素材视频合成方法，其特征在于，包括以下步骤：/n获取素材的路径以及所述素材的参数信息，所述参数信息包括显示时间；/n根据获取所述路径的顺序以及所述显示时间计算每个素材的起始时间，并判断所述每个素材的类型；/n若存在多个素材为第一类型，则基于多个素材的获取顺序以及所述起始时间分别将素材的每一帧输入视频编码器进行编码，直到满足对应素材的所述显示时间；/n若存在多个素材为第二类型，则将所述第二类型的多个素材输入音频解码器进行解码，并重采样多个素材的音频数据进行时间重叠判断后，将所述音频数据输入音频编码器进行编码；/n将所述视频编码器编码得到的视频帧与所述音频编码器编码得到的音频帧进行融合输出。/n

【技术特征摘要】
1.一种多素材视频合成方法，其特征在于，包括以下步骤：
获取素材的路径以及所述素材的参数信息，所述参数信息包括显示时间；
根据获取所述路径的顺序以及所述显示时间计算每个素材的起始时间，并判断所述每个素材的类型；
若存在多个素材为第一类型，则基于多个素材的获取顺序以及所述起始时间分别将素材的每一帧输入视频编码器进行编码，直到满足对应素材的所述显示时间；
若存在多个素材为第二类型，则将所述第二类型的多个素材输入音频解码器进行解码，并重采样多个素材的音频数据进行时间重叠判断后，将所述音频数据输入音频编码器进行编码；
将所述视频编码器编码得到的视频帧与所述音频编码器编码得到的音频帧进行融合输出。


2.如权利要求1所述的多素材视频合成方法，其特征在于，所述第一类型包括图片类型，所述基于多个素材的获取顺序以及所述起始时间分别将素材的每一帧输入视频编码器进行编码，直到满足对应素材的所述显示时间的步骤包括：
若判断出所述素材为图片类型的图片素材，则根据预设的所述图片素材的单位传输帧数计算所述图片素材每一帧的间隔时间；
根据所述图片素材的所述起始时间以及所述图片素材每一帧的间隔时间计算所述图片素材的每一帧的时间戳；
持续将所述图片素材的剩余帧以及每一帧对应的时间戳输入到所述视频编码器，直到输入的图片素材帧数对应的时间戳满足所述图片素材的显示时间时，通过所述视频编码器对所述图片素材进行编码。


3.如权利要求2所述的多素材视频合成方法，其特征在于，所述第一类型还包括动画类型，所述基于多个素材的获取顺序以及所述起始时间分别将素材的每一帧输入视频编码器进行编码，直到满足对应素材的所述显示时间的步骤还包括：
若判断出所述素材为动画类型的动画素材，则将所述动画素材输入到动画解码器中解码，输出所述动画素材的每一帧图片以及与每一帧图片对应的时间戳；
将所述每一帧图片对应的时间戳重新赋值为与所述动画素材的所述起始时间相加之后的图片重置时间戳；
当所述图片素材的所有帧输入到所述视频编码器后，持续将所述动画素材的每一帧图片以及赋值后对应所述每一帧图片的图片重置时间戳输入到所述视频编码器；
直到所述动画素材持续输入的图片重置时间戳满足所述动画素材的所述显示时间时，通过所述视频编码器对所述输入的所述动画素材的多帧图片进行编码。


4.如权利要求3所述的多素材视频合成方法，其特征在于，所述第一类型还包括视频类型，所述基于多个素材的获取顺序以及所述起始时间分别将素材的每一帧输入视频编码器进行编码，直到满足对应素材的所述显示时间的步骤还包括：
若判断出所述素材为视频类型的视频素材，则将所述视频素材进行分解，得到视频数据；
将所述视频数据输入到视频解码器进行解码，输出原始视频帧以及时间戳序列；
将每一所述原始图像帧对应的时间戳重新赋值为与所述视频素材的起始时间相加之后的视频重置时间戳；
当所述动画素材完成输入到所述视频编码器后，持续的将所述视频素材的每一所述原始图像帧以及对应每一所述原始图像帧赋值后的视频重置时间戳输入到所述视频编码器；
直到所述视频重置时间戳满足所述视频素材的所述显示时间，通过所述视频编码器对输入的所述原始图像帧进行编码。


5.如权利要求4所述的多素材视频合成方法，其特征在于，所述若判断出所述素材为视频类型的视频素材，则将所述视频素材进行分解...

【专利技术属性】
技术研发人员：霍锴，
申请(专利权)人：上海七牛信息技术有限公司，
类型：发明
国别省市：上海;31