本申请提供了一种3D舞蹈生成方法、装置、设备和存储介质，所述方法通过对给定音乐进行提取操作，获得给定音乐的能量、音乐特征和梅尔谱，根据能量、音乐特征和梅尔谱，生成第一目标向量，加强了每个流派与其对应音乐之间的相关性；将舞蹈片段的骨骼关节位置输入矢量量化自动编码器，生成初始上半身姿态编码和初始下半身姿态编码，根据初始上半身姿态编码、初始下半身姿态编码和第一目标向量，生成第二目标向量，将第二目标向量输入生成式的预训练模型，预测目标上半身姿态编码和目标下半身姿态编码，提高舞蹈生成框架的整体流派一致性；将目标上半身姿态编码和目标下半身姿态编码输入矢量量化自动解码器，获得未来3D舞蹈，提高了舞蹈生成质量。了舞蹈生成质量。了舞蹈生成质量。
【技术实现步骤摘要】
3D舞蹈生成方法、装置、设备和存储介质
[0001]本申请涉及人工智能
，尤其涉及一种3D舞蹈生成方法、装置、设备和计算机可读存储介质。
技术介绍
[0002]现有的舞蹈生成方法主要有两种方案，基于拼接检索与基于自回归生成，实现了使舞蹈动作符合音乐节拍对齐。自回归生成的方法，将音乐与舞蹈直接送入到一个单一的网络中来自回归地生成舞蹈动作序列，会因为在自回归过程中的错误累计导致生成出来非舞蹈动作。拼接检索的方法，将舞蹈切分成固定长度的单元，再根据音乐的节奏来重新将这些单元进行拼接，形成舞蹈，该方法虽然能够保证生成舞蹈的质量，但是不适用于不同节拍的音乐。还有一种使用VQ
‑
VAE与GPT的方法，解决了上述自回归与拼接检索方法的问题，实现了高质量且踩拍的舞蹈生成。然而，以上的方法在生成舞蹈的过程中都没有考虑舞蹈流派。
[0003]在不考虑舞蹈流派的情况下，生成的舞蹈会在一段音乐中做出多个流派的舞蹈动作，导致与音乐不匹配，例如在一段嘻哈音乐中生成芭蕾舞蹈动作。近期也有一些工作开始考虑舞蹈流派的信息。一种是使用一个一维向量来表示流派，并将流派嵌入变换器(Transformer)以生成具有流派一致性的舞蹈。一种是使用映射网络将潜在代码转换为多流派的风格代码，同时生成舞蹈动作。这两种方法虽然可以生成具有特定类型的舞蹈，但需要在生成过程中手动确定流派。此外，舞蹈类型与其背景音乐之间存在特定的相关性，允许编舞师根据音乐确定舞蹈类型，以上的方法也没有考虑。
[0004]因此，如何生成与音乐背景相适应的舞蹈，提高舞蹈自动生成质量是目前亟待解决的技术问题。
技术实现思路
[0005]本申请提供了一种3D舞蹈生成方法、装置、设备和存储介质，旨在解决目前自动生成的舞蹈与音乐不匹配，舞蹈自动生成质量差的技术问题。
[0006]第一方面，本申请实施例提供了一种3D舞蹈生成方法，所述方法包括：
[0007]对给定音乐进行提取操作，获得所述给定音乐的能量、音乐特征和梅尔谱；
[0008]根据所述给定音乐的能量、音乐特征和梅尔谱，生成第一目标向量；
[0009]将舞蹈片段的骨骼关节位置输入矢量量化自动编码器，生成初始上半身姿态编码和初始下半身姿态编码；
[0010]根据所述初始上半身姿态编码、所述初始下半身姿态编码和所述第一目标向量，生成第二目标向量；
[0011]将所述第二目标向量输入生成式的预训练模型，预测目标上半身姿态编码和目标下半身姿态编码；
[0012]将所述目标上半身姿态编码和所述目标下半身姿态编码输入矢量量化自动解码
器，获得未来3D舞蹈。
[0013]优选地，所述根据所述给定音乐的能量、音乐特征和梅尔谱，生成第一目标向量的步骤，包括：
[0014]将所述给定音乐的能量和音乐特征分别嵌入到第一可学习向量和第二可学习向量中，获得对应的第一已嵌入可学习向量和第二已嵌入可学习向量；
[0015]将所述给定音乐的梅尔谱送入到流派令牌网络，生成流派嵌入向量；
[0016]在时间维度上连接所述第一已嵌入可学习向量和所述第二已嵌入可学习向量，连接后的向量与所述流派嵌入向量相加，形成第一目标向量。
[0017]优选地，所述根据所述初始上半身姿态编码、所述初始下半身姿态编码和所述第一目标向量，生成第二目标向量的步骤，包括：
[0018]将舞蹈片段的骨骼关节位置输入矢量量化自动编码器，生成初始上半身姿态编码和初始下半身姿态编码；
[0019]将所述初始上半身姿态编码和所述初始下半身姿态编码分别嵌入第三可学习向量和第四可学习向量，获得对应的第三已嵌入可学习向量和第四已嵌入可学习向量；
[0020]在时间维度上连接所述第一目标向量、所述第三已嵌入可学习向量和所述第四已嵌入可学习向量，连接后的向量添加一个位置嵌入，获得第二目标向量。
[0021]优选地，所述将所述第二目标向量输入生成式的预训练模型，预测目标上半身姿态编码和目标下半身姿态编码的步骤，包括：
[0022]将所述第二目标向量输入到生成式的预训练模型，输出上半身姿态编码的概率和下半身姿态编码的概率；
[0023]根据所述上半身姿态编码的概率和所述下半身姿态编码的概率，预测目标上半身姿态编码和目标下半身姿态编码。
[0024]优选地，所述将所述给定音乐的梅尔谱送入到流派令牌网络，生成流派嵌入向量的步骤，包括：
[0025]将所述给定音乐的梅尔谱送入到流派令牌网络，经过所述流派令牌网络中的参考编码器、流派令牌层和流派嵌入，生成流派嵌入向量。
[0026]优选地，所述将所述给定音乐的梅尔谱送入到流派令牌网络，生成流派嵌入向量的步骤之前，还包括：
[0027]收集舞蹈背景音乐数据，并标记所述舞蹈背景音乐数据对应的舞蹈流派标签；
[0028]根据所述舞蹈背景音乐数据与对应的所述舞蹈流派标签，训练流派令牌网络，并在训练达到预设迭代次数时冻结流派令牌网络。
[0029]优选地，所述将所述目标上半身姿态编码和所述目标下半身姿态编码输入矢量量化自动解码器，获得未来3D舞蹈的步骤,包括：
[0030]将所述目标上半身姿态编码和所述目标下半身姿态编码输入矢量量化自动解码器,并根据舞蹈生成框架损失函数计算损失，获得未来3D舞蹈。
[0031]第二方面，本申请实施例提供了一种3D舞蹈生成装置，所述装置包括：
[0032]提取模块，用于对给定音乐进行提取操作，获得所述给定音乐的能量、音乐特征和梅尔谱；
[0033]生成模块，用于根据所述给定音乐的能量、音乐特征和梅尔谱，生成第一目标向
量；
[0034]所述生成模块，还用于将舞蹈片段的骨骼关节位置输入矢量量化自动编码器，生成初始上半身姿态编码和初始下半身姿态编码；
[0035]所述生成模块，还用于根据所述初始上半身姿态编码、所述初始下半身姿态编码和所述第一目标向量，生成第二目标向量；
[0036]预测模块，用于将所述第二目标向量输入生成式的预训练模型，预测目标上半身姿态编码和目标下半身姿态编码；
[0037]解码模块，用于将所述目标上半身姿态编码和所述目标下半身姿态编码输入矢量量化自动解码器，获得未来3D舞蹈。
[0038]第三方面，本申请实施例提供了一种3D舞蹈生成设备，所述3D舞蹈生成设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的3D舞蹈生成程序，其中所述3D舞蹈生成程序被所述处理器执行时，实现如上所述的3D舞蹈生成方法的步骤。
[0039]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上所述的3D舞蹈生成方法的步骤。
[0040]本申请实施例提供了一种3D舞蹈生成方法、装置、设备和存储介质，所述方法通过对给定音乐进行提取操作，获得所述给定音乐的能量、音乐特征和梅本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种3D舞蹈生成方法，其特征在于，所述方法包括：对给定音乐进行提取操作，获得所述给定音乐的能量、音乐特征和梅尔谱；根据所述给定音乐的能量、音乐特征和梅尔谱，生成第一目标向量；将舞蹈片段的骨骼关节位置输入矢量量化自动编码器，生成初始上半身姿态编码和初始下半身姿态编码；根据所述初始上半身姿态编码、所述初始下半身姿态编码和所述第一目标向量，生成第二目标向量；将所述第二目标向量输入生成式的预训练模型，预测目标上半身姿态编码和目标下半身姿态编码；将所述目标上半身姿态编码和所述目标下半身姿态编码输入矢量量化自动解码器，获得未来3D舞蹈。2.根据权利要求1所述的3D舞蹈生成方法，其特征在于，所述根据所述给定音乐的能量、音乐特征和梅尔谱，生成第一目标向量的步骤，包括：将所述给定音乐的能量和音乐特征分别嵌入到第一可学习向量和第二可学习向量中，获得对应的第一已嵌入可学习向量和第二已嵌入可学习向量；将所述给定音乐的梅尔谱送入到流派令牌网络，生成流派嵌入向量；在时间维度上连接所述第一已嵌入可学习向量和所述第二已嵌入可学习向量，连接后的向量与所述流派嵌入向量相加，形成第一目标向量。3.根据权利要求1所述的3D舞蹈生成方法，其特征在于，所述根据所述初始上半身姿态编码、所述初始下半身姿态编码和所述第一目标向量，生成第二目标向量的步骤，包括：将舞蹈片段的骨骼关节位置输入矢量量化自动编码器，生成初始上半身姿态编码和初始下半身姿态编码；将所述初始上半身姿态编码和所述初始下半身姿态编码分别嵌入第三可学习向量和第四可学习向量，获得对应的第三已嵌入可学习向量和第四已嵌入可学习向量；在时间维度上连接所述第一目标向量、所述第三已嵌入可学习向量和所述第四已嵌入可学习向量，连接后的向量添加一个位置嵌入，获得第二目标向量。4.根据权利要求1所述的3D舞蹈生成方法，其特征在于，所述将所述第二目标向量输入生成式的预训练模型，预测目标上半身姿态编码和目标下半身姿态编码的步骤，包括：将所述第二目标向量输入到生成式的预训练模型，输出上半身姿态编码的概率和下半身姿态编码的概率；根据所述上半身姿态编码的概率和所述下半身姿态编码的概率，预测目标上半身姿态编码和目标下半身姿态编码。5.根据权利要求2所述的3D舞蹈生成方法，其特征在于，所述将所述给定音乐的梅尔谱送入到流派令...
【专利技术属性】
技术研发人员：康世胤，吴志勇，庄昊霖，雷舜，肖龙，李伟钦，陈礼扬，杨思程，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。