一种舞蹈视频生成方法、设备及存储介质技术

本申请公开了一种舞蹈视频生成方法、设备及存储介质，本申请利用音频特征提取模型、动作特征提取模型、节奏预测模型、姿势预测模型，可针对用户选择的歌曲自动生成相应的新舞蹈视频，不仅可提升舞蹈视频的制作效率，实现舞蹈视频的快速生成，还可以降低制作成本。具体的，上述各模型可基于音频、画面动作、节奏等信息综合预测下一帧包括舞蹈姿势的舞蹈画面，可使预测到的舞蹈姿势实现踩点、卡点，从而提高了视频画面的真实性和准确性。同时，该方案针对用户所选歌曲实现了舞蹈视频的个性化定制，可以为用户提供更符合其偏好的舞蹈视频。相应地，本申请提供的舞蹈视频生成设备及存储介质，也同样具有上述技术效果。也同样具有上述技术效果。也同样具有上述技术效果。

【技术实现步骤摘要】
一种舞蹈视频生成方法、设备及存储介质


[0001]本申请涉及计算机
，特别涉及一种舞蹈视频生成方法、设备及存储介质。

技术介绍

[0002]体感游戏是一种通过肢体动作变化来操作的新型电子游戏，该游戏需要提供相应的舞蹈视频供用户模仿。
[0003]目前，需要真人录制舞蹈视频，再将录制所得视频里的真人卡通化，从而得到用于体感游戏的舞蹈视频。但此过程不仅费时费力，还延长了制作周期，降低了舞蹈视频的制作效率，能得到的舞蹈视频也比较有限。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种舞蹈视频生成方法、设备及存储介质，以快速生成舞蹈视频，提高舞蹈视频的制作效率。其具体方案如下：
[0005]为实现上述目的，一方面，本申请提供了一种舞蹈视频生成方法，包括：
[0006]获取用户选择的歌曲，并利用音频特征提取模型提取所述歌曲中每帧音频中的音频特征，得到所述歌曲的音频特征流；
[0007]确定当前待预测的舞蹈画面的帧序数N和第N
‑
1帧舞蹈画面；N为自然数，且从2开始取值；第1帧舞蹈画面为：与所述歌曲匹配的目标舞蹈视频的首帧画面；
[0008]利用动作特征提取模型提取所述第N
‑
1帧舞蹈画面中的第N
‑
1帧动作特征；
[0009]拼接第1～N
‑
1帧的动作特征得到第1～N
‑
1帧动作特征流，并在所述歌曲的音频特征流中确定第1～N帧音频特征流；
[0010]将所述第1～N
‑
1帧动作特征流和所述第1～N帧音频特征流输入节奏预测模型，以使所述节奏预测模型预测得到第N帧节奏信息；
[0011]拼接第1～N帧的节奏信息得到第1～N帧节奏信息流，并将所述第1～N
‑
1帧动作特征流、所述第1～N帧音频特征流和所述第1～N帧节奏信息流输入姿势预测模型，以使所述姿势预测模型预测得到第N帧舞蹈画面；第1帧节奏信息为预设值；
[0012]拼接第1～N帧的舞蹈画面得到第1～N帧舞蹈画面流；
[0013]若所述帧序数N等于所述歌曲中的音频特征个数，则基于所述歌曲的音频特征流和所述第1～N帧舞蹈画面流生成新舞蹈视频。
[0014]可选地，还包括：
[0015]若所述帧序数N不等于所述歌曲中的音频特征个数，则控制所述帧序数N递增一，并基于递增后的帧序数N执行所述确定当前待预测的舞蹈画面的帧序数N和第N
‑
1帧舞蹈画面步骤以及后续步骤，以预测下一帧舞蹈画面，直至所述帧序数N等于所述音频特征个数。
[0016]可选地，所述目标舞蹈视频的确定过程包括：
[0017]分别计算所述歌曲与预设舞蹈视频库中的各现有舞蹈视频的匹配度；
[0018]将与所述歌曲匹配度最大的现有舞蹈视频确定为所述目标舞蹈视频。
[0019]可选地，所述分别计算所述歌曲与预设舞蹈视频库中的各现有舞蹈视频的匹配度，包括：
[0020]分别从各现有舞蹈视频中提取音频特征流，得到多个现有音频特征流；
[0021]分别计算各现有音频特征流与所述歌曲的音频特征流的匹配度，得到所述歌曲与各现有舞蹈视频的匹配度。
[0022]可选地，所述分别计算各现有音频特征流与所述歌曲的音频特征流的匹配度，包括：
[0023]分别计算各现有音频特征流与所述歌曲的音频特征流的欧式距离，得到各现有音频特征流与所述歌曲的音频特征流的匹配度。
[0024]可选地，所述音频特征提取模型和所述动作特征提取模型的训练过程包括：
[0025]从任意现有舞蹈视频中的任一帧视频数据中获取音频信息、舞蹈画面信息、以及该帧视频数据的标签；所述标签为：所述音频信息与所述舞蹈画面信息之间的初始匹配程度；
[0026]将所述音频信息输入神经网络模型，以使所述神经网络模型输出音频特征提取结果；
[0027]将所述舞蹈画面信息输入Transformer模型，以使所述Transformer模型输出动作特征提取结果；
[0028]计算所述音频特征提取结果和所述动作特征提取结果之间的匹配程度，并确定所述匹配程度与初始匹配程度之间的损失值；
[0029]基于所述损失值分别对所述神经网络模型和所述Transformer模型的模型参数进行调整，得到更新后的神经网络模型和更新后的Transformer模型；
[0030]若更新后的神经网络模型和更新后的Transformer模型收敛，则将更新后的神经网络模型作为所述音频特征提取模型，将更新后的Transformer模型作为所述动作特征提取模型。
[0031]可选地，若更新后的神经网络模型和/或更新后的Transformer模型未收敛，则从所述现有舞蹈视频中重新获取另一帧视频数据及该帧视频数据的标签，以对更新后的神经网络模型和更新后的Transformer模型进行迭代训练，直至更新后的神经网络模型和更新后的Transformer模型均收敛。
[0032]可选地，基于基于所述歌曲的音频特征流和所述第1～N帧舞蹈画面流生成新舞蹈视频，包括：
[0033]将所述歌曲的音频特征流与所述第1～N帧舞蹈画面流逐帧合成，并对合成后视频画面进行渲染，得到所述新舞蹈视频。
[0034]又一方面，本申请还提供了一种电子设备，所述电子设备包括处理器和存储器；其中，所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述舞蹈视频生成方法。
[0035]又一方面，本申请还提供了一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述舞蹈视频生成方法。
[0036]本申请利用音频特征提取模型、动作特征提取模型、节奏预测模型、姿势预测模型，可针对用户选择的歌曲自动生成相应的新舞蹈视频，不仅可提升舞蹈视频的制作效率，
实现舞蹈视频的快速生成，还可以降低制作成本。具体的，上述各模型可基于音频、画面动作、节奏等信息综合预测下一帧包括舞蹈姿势的舞蹈画面，可使预测到的舞蹈姿势实现踩点、卡点，从而提高了视频画面的真实性和准确性。同时，该方案针对用户所选歌曲实现了舞蹈视频的个性化定制，可以为用户提供更符合其偏好的舞蹈视频。
[0037]相应地，本申请提供的舞蹈视频生成设备及存储介质，也同样具有上述技术效果。
附图说明
[0038]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0039]图1为本申请提供的一种本申请适用的物理架构示意图；
[0040]图2为本申请提供的一种舞蹈视频生成方法流程图；
[0041]图3为本申请提供的一种模型联合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种舞蹈视频生成方法，其特征在于，包括：获取用户选择的歌曲，并利用音频特征提取模型提取所述歌曲中每帧音频中的音频特征，得到所述歌曲的音频特征流；确定当前待预测的舞蹈画面的帧序数N和第N
‑
1帧舞蹈画面；N为自然数，且从2开始取值；第1帧舞蹈画面为：与所述歌曲匹配的目标舞蹈视频的首帧画面；利用动作特征提取模型提取所述第N
‑
1帧舞蹈画面中的第N
‑
1帧动作特征；拼接第1～N
‑
1帧的动作特征得到第1～N
‑
1帧动作特征流，并在所述歌曲的音频特征流中确定第1～N帧音频特征流；将所述第1～N
‑
1帧动作特征流和所述第1～N帧音频特征流输入节奏预测模型，以使所述节奏预测模型预测得到第N帧节奏信息；拼接第1～N帧的节奏信息得到第1～N帧节奏信息流，并将所述第1～N
‑
1帧动作特征流、所述第1～N帧音频特征流和所述第1～N帧节奏信息流输入姿势预测模型，以使所述姿势预测模型预测得到第N帧舞蹈画面；第1帧节奏信息为预设值；拼接第1～N帧的舞蹈画面得到第1～N帧舞蹈画面流；若所述帧序数N等于所述歌曲中的音频特征个数，则基于所述歌曲的音频特征流和所述第1～N帧舞蹈画面流生成新舞蹈视频。2.根据权利要求1所述的方法，其特征在于，还包括：若所述帧序数N不等于所述歌曲中的音频特征个数，则控制所述帧序数N递增一，并基于递增后的帧序数N执行所述确定当前待预测的舞蹈画面的帧序数N和第N
‑
1帧舞蹈画面步骤以及后续步骤，以预测下一帧舞蹈画面，直至所述帧序数N等于所述音频特征个数。3.根据权利要求1所述的方法，其特征在于，所述目标舞蹈视频的确定过程包括：分别计算所述歌曲与预设舞蹈视频库中的各现有舞蹈视频的匹配度；将与所述歌曲匹配度最大的现有舞蹈视频确定为所述目标舞蹈视频。4.根据权利要求3所述的方法，其特征在于，所述分别计算所述歌曲与预设舞蹈视频库中的各现有舞蹈视频的匹配度，包括：分别从各现有舞蹈视频中提取音频特征流，得到多个现有音频特征流；分别计算各现有音频特征流与所述歌曲的音频特征流的匹配度，得到所述歌曲与各现有舞蹈视频的匹配度。5.根据权利要求4所述的方法，其特征在于，所述分别计算各现...

【专利技术属性】
技术研发人员：洪思欣，
申请(专利权)人：腾讯音乐娱乐科技深圳有限公司，
类型：发明
国别省市：