一种舞蹈视频生成方法、设备及存储介质技术

本申请公开了一种舞蹈视频生成方法、设备及存储介质，本申请利用音频特征提取模型、动作特征提取模型、节奏预测模型、姿势预测模型，可针对用户选择的歌曲自动生成相应的新舞蹈视频，不仅可提升舞蹈视频的制作效率，实现舞蹈视频的快速生成，还可以降低制作成本。具体的，上述各模型可基于音频、画面动作、节奏等信息综合预测下一帧包括舞蹈姿势的舞蹈画面，可使预测到的舞蹈姿势实现踩点、卡点，从而提高了视频画面的真实性和准确性。同时，该方案针对用户所选歌曲实现了舞蹈视频的个性化定制，可以为用户提供更符合其偏好的舞蹈视频。相应地，本申请提供的舞蹈视频生成设备及存储介质，也同样具有上述技术效果。也同样具有上述技术效果。也同样具有上述技术效果。

【技术实现步骤摘要】
一种舞蹈视频生成方法、设备及存储介质


[0001]本申请涉及计算机
，特别涉及一种舞蹈视频生成方法、设备及存储介质。

技术介绍

[0002]体感游戏是一种通过肢体动作变化来操作的新型电子游戏，该游戏需要提供相应的舞蹈视频供用户模仿。
[0003]目前，需要真人录制舞蹈视频，再将录制所得视频里的真人卡通化，从而得到用于体感游戏的舞蹈视频。但此过程不仅费时费力，还延长了制作周期，降低了舞蹈视频的制作效率，能得到的舞蹈视频也比较有限。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种舞蹈视频生成方法、设备及存储介质，以快速生成舞蹈视频，提高舞蹈视频的制作效率。其具体方案如下：
[0005]为实现上述目的，一方面，本申请提供了一种舞蹈视频生成方法，包括：
[0006]获取用户选择的歌曲，并利用音频特征提取模型提取所述歌曲中每帧音频中的音频特征，得到所述歌曲的音频特征流；
[0007]确定当前待预测的舞蹈画面的帧序数N和第N
‑
1帧舞蹈画面；N为自然数，且从2开始取值；第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种舞蹈视频生成方法，其特征在于，包括：获取用户选择的歌曲，并利用音频特征提取模型提取所述歌曲中每帧音频中的音频特征，得到所述歌曲的音频特征流；确定当前待预测的舞蹈画面的帧序数N和第N
‑
1帧舞蹈画面；N为自然数，且从2开始取值；第1帧舞蹈画面为：与所述歌曲匹配的目标舞蹈视频的首帧画面；利用动作特征提取模型提取所述第N
‑
1帧舞蹈画面中的第N
‑
1帧动作特征；拼接第1～N
‑
1帧的动作特征得到第1～N
‑
1帧动作特征流，并在所述歌曲的音频特征流中确定第1～N帧音频特征流；将所述第1～N
‑
1帧动作特征流和所述第1～N帧音频特征流输入节奏预测模型，以使所述节奏预测模型预测得到第N帧节奏信息；拼接第1～N帧的节奏信息得到第1～N帧节奏信息流，并将所述第1～N
‑
1帧动作特征流、所述第1～N帧音频特征流和所述第1～N帧节奏信息流输入姿势预测模型，以使所述姿势预测模型预测得到第N帧舞蹈画面；第1帧节奏信息为预设值；拼接第1～N帧的舞蹈画面得到第1～N帧舞蹈画面流；若所述帧序数N等于所述歌曲中的音频特征个数，则基于所述歌曲的音频特征流和所述第1～N帧舞蹈画面流生成新舞蹈视频。2.根据权利要求1所述的方法，其特征在于，还包括：若所述帧序数N不等于所述歌曲中的音频特征个数，则控制所述帧序数N递增一，并基于递增后的帧序数N执行所述确定当前待预测的舞蹈画面的帧序数N和第N
‑
1帧舞蹈画面步骤以及后续步骤，以预测下一帧舞蹈画面，直至所述帧序数N等于所述音频特征个数。3.根据权利要求1所述的方法，其特征在于，所述目标舞蹈视频的确定过程包括：分别计算所述歌曲与预设舞蹈视频库中的各现有舞蹈视频的匹配度；将与所述歌曲匹配度最大的现有舞蹈视频确定为所述目标舞蹈视频。4.根据权利要求3所述的方法，其特征在于，所述分别计算所述歌曲与预设舞蹈视频库中的各现有舞蹈视频的匹配度，包括：分别从各现有舞蹈视频中提取音频特征流，得到多个现有音频特征流；分别计算各现有音频特征流与所述歌曲的音频特征流的匹配度，得到所述歌曲与各现有舞蹈视频的匹配度。5.根据权利要求4所述的方法，其特征在于，所述分别计算各现...

【专利技术属性】
技术研发人员：洪思欣，
申请(专利权)人：腾讯音乐娱乐科技深圳有限公司，
类型：发明
国别省市：