视频的生成方法、电子设备及其介质技术

本申请属于电子技术领域，尤其涉及一种视频的生成方法、电子设备及其介质。在本方法中，电子设备将根据每个海报图像的内容为海报图像匹配适合的背景音乐，使海报图像与背景音乐在主题内容上相契合，此外本方法还将海报图像的前景对象的运动范围与音频区间的运动范围关联起来，以使当海报图像的前景对象结束运动后，该段音频区间也正好结束播放，使用户在观看动态海报图像卡点视频时，能够产生视听上的联动，提高了用户体验。提高了用户体验。提高了用户体验。

【技术实现步骤摘要】
视频的生成方法、电子设备及其介质


[0001]本申请属于电子
，尤其涉及一种视频的生成方法、电子设备及其介质。

技术介绍

[0002]目前各大视频应用平台，影视剧、电影发行方或广告商为了能够吸引用户，推出了动态海报图像(dynamic posters)、裸眼3D(dimension)等特效海报图像，相对于形式单一的静态海报图像，动态海报图像、裸眼3D等海报图像能够在视觉上吸引用户，给用户带来良好的沉浸感。
[0003]但目前在播放动态海报图像时，动态海报图像的背景音乐与动态海报图像的主题题材没有联系起来，无法让用户产生视听上的联动。例如，有些题材比较温和的动态海报图像，它的背景音乐节奏却比较激烈，或者有些动态海报图像前景对象运动范围比较大，但是它的背景音乐节奏却比较缓和，这种视听上的反差会引起用户不适，降低用户体验。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种视频的生成方法。在本申请的视频的生成方法中，电子设备将根据每个海报图像的主题内容为每个海报图像添加海报图像主题标签，并利用图像前景分割算法、景深估计算法，确定每个海报图像中前景对象的运动范围；同时，检测背景音乐中节奏发生变化时刻的时间节点，并根据该段时间内音频变化的速率值确定该音频区间对应的主题，以及根据该音频区间的主题为段音频区间添加音频主题标签，然后根据该音频区间的时长以及上述音频变化速率值确定该音频区间的运动范围；之后，将该音频区间与和该音频区间主题标签的相似、运动范围相似的动态海报关联起来，并按照音频区间的播放顺序进行播放以形成动态海报图像卡点视频。通过前述方法使动态海报图像与背景音乐在主题内容上相契合，此外本方法还将动态海报图像的前景对象的运动范围与音频区间的运动范围关联起来，以使当动态海报图像的前景对象结束运动后，该段音频区间也正好结束播放，使用户在观看动态海报图像卡点视频时，能够产生视听上的联动，提高了用户体验。
[0005]下面介绍本申请的视频的生成方法。
[0006]第一方面，本申请实施例提供了一种视频的生成方法，该方法可应用于电子设备，该方法包括：将用于生成视频的背景音乐划分为N个连续的音频区间，其中，N为正整数；根据各音频区间的音频节奏变化和N个图像之间的匹配度，将N个图像匹配给对应的音频区间，以生成视频，其中，在视频的播放过程中，在播放到各音频区间时显示与各音频区间所匹配的图像。
[0007]可以理解，为了实现上述动态海报图像的卡点视频，以使每个动态海报图像与对应的音频区间不仅在主题内容上相适应，而且使得动态海报图像的前景对象的运动范围与对应的音频区间的运动范围也相适应，电子设备需要首先根据背景音乐的音频节奏变化，将背景音乐划分为多个连续的音频区间，然后根据每个音频区间的节奏变化与图像的匹配
度，将图像匹配给对应的音频区间，以生成动态海报图像的卡点视频。并且，不难理解，在动态海报图像的卡点视频的播放过程中，每当播放某个音频区间时，就会显示与该音频区间的节奏变化相匹配的图像。
[0008]由于音频区间的节奏变化不仅可以反映音频区间的内容，还在一定程度上反映了音频区间的运动范围，所以在一些实施例中，每个音频区间的节奏变化与图像的匹配度就包括了每个音频区间的节奏变化与图像内容之间的第一匹配度和/或每个音频区间的节奏变化与图像中前景对象的动态运动范围之间的第二匹配度。其中，第一匹配度可以通过计算反映音频区间节奏变化的节奏标签与反映图像内容的内容标签之间的匹配度得到，第二匹配度可以通过计算反映音频区间节奏变化以及播放时长的运动范围与图像中前景对象的运动范围之间的匹配度得到。
[0009]具体地，在一些实施例中，可以通过以下方式计算第一匹配度：利用内容识别神经网络模型对图像进行内容识别，根据识别出的内容，为图像添加反映图像内容的内容标签，以及根据音频区间的音频节奏变化为音频区间添加反映音频节奏变化的节奏标签；计算内容标签与节奏标签的匹配度，得到第一匹配度。在一些实施例中，可以通过以下方式计算第二匹配度：根据音频节奏变化以及音频区间的时长计算音频区间的运动范围；计算音频区间的运动范围与图像中前景对象的动态运动范围之间的匹配度，得到第二匹配度。其中，反映音频区间的节奏变化的节奏标签对应于下文具体实施例部分的音频区间的主题标签，反映图像内容的内容标签对应于下文具体实施例部分的图像的主题标签。
[0010]结合第一方面以及上述可能的实现方式，在第一方面的另一种可能的实现方式中，可以通过以下方式计算图像的前景对象的动态范围：利用前景分割神经网络模型对图像进行前景分割，得到图像的前景对象以及背景对象，并根据前景对象相对于背景对象的位置关系，得到图像中前景对象的动态运动范围。可以理解，前景对象相对于背景对象的位置关系指的是，前景对象各个方向上，最外端侧轮廓距离图像边缘的距离，前景对象各个方向上最外端侧轮廓距离图像边缘的距离即为前景对象的动态运动范围。例如，图像前景对象的最左端侧距离图像左侧边缘为2像素，前景对象的最右端侧距离图像右侧边缘为3像素，前景对象最上端侧距离图像上方边缘为2像素，前景对象最下端侧距离图像下方边缘1像素，那么此时，前景对象的动态运动范围即为：向左运动范围为2像素，向右运动范围为 3像素，向上运动范围为2像素，向下运动范围为1像素。其中，具体如何对图像进行前景分割并确定图像前景对象的运动范围的方式将在下文具体实施例部分进行介绍，此处不展开描述。
[0011]结合上文，在一些实施例中，根据各音频区间的节奏变化为各音频区间匹配适合的图像的方式可以包括如下几种：1)首先按照第一顺序将N个图像分别分配给N个连续的音频区间，然后判断各个音频区间与图像之间的第一匹配度以及第二匹配度是否符合要求，在各个音频区间与图像之间的第一匹配度以及第二匹配度均符合要求的情况下，再判断全部音频区间与图像的第一匹配度以及第二匹配度之和是否满足要求，在全部音频区间与图像的第一匹配度以及第二匹配度之和满足要求的情况下，按照第一顺序将为N个连续的音频区间匹配N个图像，以生成视频。
[0012]具体地，将N个图像按照第一顺序分别分配给N个连续的音频区间，并利用上述方法计算各音频区间与分配的图像之间的多个第一匹配度和多个第二匹配度；在多个第一匹
配度均大于第一匹配度阈值，和多个第二匹配度均大于第二匹配度阈值的情况下，计算多个第一匹配度以及多个第二匹配度之和；并且，在多个第一匹配度以及多个第二匹配度之和大于总匹配度阈值的情况下，按照第一顺序，将N个图像匹配给对应的音频区间。其中，第一匹配度阈值可以根据N个图像整体的风格与背景音乐的整体风格进行设置，例如，如果背景音乐整体风格为“燃情”，图像的整体风格也为“燃情”，说明图像与背景音乐很容易达到相匹配的程度，所以第一匹配度阈值可以设置的高一些，如果背景音乐整体风格为“紧急”，而图像的整个风格为“燃情”，说明图像与背景音乐不是很容易达到相匹配的程度，所以第一匹配度阈值可以设置的低一些。其中，第二匹配度阈值的设置方式与第一匹配度阈值的设置方式原理类似，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频的生成方法，应用于电子设备，其特征在于，所述方法包括：将用于生成所述视频的背景音乐划分为N个连续的音频区间，其中，N为正整数；根据各音频区间的音频节奏变化和N个图像之间的匹配度，将所述N个图像匹配给对应的音频区间，以生成所述视频，其中，在所述视频的播放过程中，在播放到各所述音频区间时显示与各音频区间所匹配的图像。2.根据权利要求1所述的方法，其特征在于，所述匹配度包括以下中的至少一种：所述音频区间的音频节奏变化和图像的内容之间的第一匹配度；所述音频区间的音频节奏变化和音频区间的时长，与图像中前景对象的动态运动范围之间的第二匹配度。3.根据权利要求2所述的方法，其特征在于，通过以下方式计算所述图像的前景对象的动态范围：利用前景分割神经网络模型对所述图像进行前景分割，得到所述图像的前景对象以及背景对象，并根据所述前景对象相对于所述背景对象的位置关系，得到所述图像中前景对象的动态运动范围。4.根据权利要求2所述的方法，其特征在于，通过以下方式计算所述第一匹配度：利用内容识别神经网络模型对所述图像进行内容识别，根据识别出的内容，为所述图像添加反映所述图像内容的内容标签，以及根据所述音频区间的音频节奏变化为所述音频区间添加反映音频节奏变化的节奏标签；计算所述内容标签与所述节奏标签的匹配度，得到所述第一匹配度。5.根据权利要求2所述的方法，其特征在于，通过以下方式计算所述第二匹配度：根据所述音频节奏变化以及所述音频区间的时长计算所述音频区间的运动范围；计算所述音频区间的运动范围与所述图像中前景对象的动态运动范围之间的匹配度，得到所述第二匹配度。6.根据权利要求2所述的方法，其特征在于，所述根据各音频区间的音频节奏变化和N个图像之间的匹配度，将所述N个图像匹配给对应的音频区间，包括：将所述N个图像按照第一顺序分别分配给所述N个连续的音频区间，并计算各音频区间与分配的图像之间的多个第一匹配度和多个第二匹配度；在所述多个第一匹配度均大于第一匹配度阈值，和所述多个第二匹配度均大于第二匹配度阈值的情况下，计算所述多个第一匹配度以及所述多个第二匹配度之和；并且，在所述多个第一匹配度以及所述多个第二匹配度之和大于...

【专利技术属性】
技术研发人员：徐高，
申请(专利权)人：花瓣云科技有限公司，
类型：发明
国别省市：