本申请公开了一种舞蹈动作的确定方法、装置、电子设备以及存储介质，涉及人工智能技术领域。该方法包括：获取待编舞元素，其中，该待编舞元素包括待编舞音频和待编舞文本中的至少一种，将待编舞元素切分成多个待编舞元素片段，将多个待编舞元素片段输入已训练的多模态模型，获得已训练的多模态模型输出的多个待编舞元素各自对应的风格向量和节奏向量，基于待编舞元素，以及多个待编舞元素片段各自对应的风格向量和节奏向量，获得与待编舞元素对应的舞蹈动作。本申请通过将音频/文本与舞蹈的内在联系解耦成风格和节奏，可以保证最终生成的舞蹈动作跟输入的音频/文本的风格和节奏的一致性，从而提升基于音频/文本所生成的舞蹈的效果。效果。效果。
【技术实现步骤摘要】
舞蹈动作的确定方法、装置、电子设备以及存储介质
[0001]本申请涉及人工智能
，更具体地，涉及一种舞蹈动作的确定方法、装置、电子设备以及存储介质。
技术介绍
[0002]音乐驱动舞蹈生成是指利用计算机技术将音乐作为输入，自动生成与音乐节奏、情感、风格相匹配的舞蹈动作。这种技术的应用范围广泛，如在娱乐、教育、智能助手等领域都有很大的潜力。但是，要实现音乐驱动舞蹈动作的生成，需要解决多项难题，导致所生成的舞蹈的效果不佳。
技术实现思路
[0003]鉴于上述问题，本申请提出了一种舞蹈动作的确定方法、装置、电子设备以及存储介质，以解决上述问题。
[0004]第一方面，本申请实施例提供了一种舞蹈动作的确定方法，所述方法包括：获取待编舞元素，其中，所述待编舞元素包括待编舞音频和待编舞文本中的至少一种；将所述待编舞元素切分成多个待编舞元素片段；将所述多个待编舞元素片段输入已训练的多模态模型，获得所述已训练的多模态模型输出的所述多个待编舞元素片段各自对应的风格向量和节奏向量；基于所述待编舞元素，以及所述多个待编舞元素片段各自对应的风格向量和节奏向量，获得与所述待编舞元素对应的舞蹈动作。
[0005]第二方面，本申请实施例提供了一种舞蹈动作的确定装置，所述装置包括：元素获取模块，用于获取待编舞元素，其中，所述待编舞元素包括待编舞音频和待编舞文本中的至少一种；元素切分模块，用于将所述待编舞元素切分成多个待编舞元素片段；向量获得模块，用于将所述多个待编舞元素片段输入已训练的多模态模型，获得所述已训练的多模态模型输出的所述多个待编舞元素片段各自对应的风格向量和节奏向量；动作获得模块，用于基于所述待编舞元素，以及所述多个待编舞元素片段各自对应的风格向量和节奏向量，获得与所述待编舞元素对应的舞蹈动作。
[0006]第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。
[0007]第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。
[0008]本申请实施例提供的舞蹈动作的确定方法、装置、电子设备以及存储介质，获取待编舞元素，其中，该待编舞元素包括待编舞音频和待编舞文本中的至少一种，将待编舞元素切分成多个待编舞元素片段，将多个待编舞元素片段输入已训练的多模态模型，获得已训练的多模态模型输出的多个待编舞元素各自对应的风格向量和节奏向量，基于待编舞元素，以及多个待编舞元素片段各自对应的风格向量和节奏向量，获得与待编舞元素对应的
舞蹈动作，从而通过将音频/文本与舞蹈的内在联系解耦成风格和节奏，可以保证最终生成的舞蹈动作跟输入的音频/文本的风格和节奏的一致性，从而提升基于音频/文本所生成的舞蹈的效果。
附图说明
[0009]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0010]图1示出了本申请一实施例提供的舞蹈动作的确定方法的流程示意图；
[0011]图2示出了本申请一实施例提供的舞蹈动作的确定方法的流程示意图；
[0012]图3示出了本申请的图2所示的舞蹈动作的确定方法的步骤S250的流程示意图；
[0013]图4示出了本申请的图3所示的舞蹈动作的确定方法的步骤S252的流程示意图；
[0014]图5示出了本申请一实施例提供的舞蹈动作的生成方法的流程示意图；
[0015]图6示出了本申请的图5所示的舞蹈动作的生成方法的步骤S310的流程示意图；
[0016]图7示出了本申请实施例提供的舞蹈动作的生成方法的应用示意图；
[0017]图8示出了本申请一实施例提供的舞蹈动作的生成装置的模块框图；
[0018]图9示出了本申请实施例用于执行根据本申请实施例的舞蹈动作的确定方法的电子设备的框图；
[0019]图10示出了本申请实施例的用于保存或者携带实现根据本申请实施例的舞蹈动作的确定方法的程序代码的存储单元。
具体实施方式
[0020]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0021]目前，要实现音乐驱动舞蹈生成，需要解决多项难题。例如：
[0022]1.音乐和舞蹈之前的对应关系不可揭示：音乐的复杂性和多样性使其与实际的舞蹈动作难以建立一一对应的关系；
[0023]2.保证舞蹈动作的流畅性：将音乐特征映射为舞蹈动作时，需要保证舞蹈动作的连续性和流畅性；
[0024]3.多模态问题：音乐驱动舞蹈生成是一个多模态问题，需要考虑音乐和舞蹈不同的节奏、风格等的差异。
[0025]目前，音乐驱动舞蹈生成主要分为基于规则和基于深度学习的方法，两者都无法很好的解决上述难题。
[0026]其中，基于规则的方法，即通过一系列预定义的规则和模板来实现的。例如，可以定义一些动作，每个动作都有与之关联的音乐类型和时间点。然后，根据音乐的节奏和旋律，规则会选择适当的动作并在正确的时间点上执行。这种方法的优点易于理解和解释，可以根据需要定制规则，但是缺点是没有足够的表现力和创造力，可能难以产生新颖的舞蹈。因此，基于规则的方法至少存在以下两个缺点：第一、不能充分挖掘音乐和舞蹈的深层联
系，导致生成的舞蹈与音乐的匹配性差；第二、生成的舞蹈动作多样性和创造力不足。
[0027]其中，基于深度学习的方法，即通过使用神经网络模型。这种方法的基本想法是将舞蹈数据与音乐数据作为输入，并训练神经网络模型以学习舞蹈动作与音乐之间的关联。在训练模型时，需要将大量的音乐和舞蹈组成一组数据集，这些舞蹈样本应包含各种不同的风格和节奏，并与相应的音乐相匹配。因此，基于深度学习的方法至少存在以下两个缺点：第一、需要依赖大量成对的音乐和舞蹈动作数据，需要高昂的数据采集成本和人工标注成本；第二、生成的舞蹈动作不可控，可解释性差。
[0028]针对上述问题，专利技术人经过长期的研究发现，并提出了本申请实施例提供的舞蹈动作的确定方法、装置、电子设备以及存储介质，通过将音频/文本与舞蹈的内在联系解耦成风格和节奏，可以保证最终生成的舞蹈动作跟输入的音频/文本的风格和节奏的一致性，从而提升基于音频/文本所生成的舞蹈的效果。其中，具体的舞蹈动作的确定方法在后续的实施例中进行详细的说明。
[0029]请参阅图1，图1示出了本申请一实施例提供的舞蹈动作的确定方法的流程示意图。该方法用于通过将音频/文本与舞蹈的内在联系解耦成风格和节奏，可以保证最终生成的舞蹈动作跟输入的音频/文本的风格和节奏的一致性，从而提升基于音频/文本所生成的舞蹈的效果。在具体的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种舞蹈动作的确定方法，其特征在于，所述方法包括：获取待编舞元素，其中，所述待编舞元素包括待编舞音频和待编舞文本中的至少一种；将所述待编舞元素切分成多个待编舞元素片段；将所述多个待编舞元素片段输入已训练的多模态模型，获得所述已训练的多模态模型输出的所述多个待编舞元素片段各自对应的风格向量和节奏向量；基于所述待编舞元素，以及所述多个待编舞元素片段各自对应的风格向量和节奏向量，获得与所述待编舞元素对应的舞蹈动作。2.根据权利要求1所述的方法，其特征在于，所述将所述待编舞元素切分成多个待编舞元素片段，包括：将所述待编舞元素按照乐句和小节切分成所述多个待编舞元素片段。3.根据权利要求1所述的方法，其特征在于，所述基于所述待编舞元素，以及所述多个待编舞元素片段各自对应的风格向量和节奏向量，获得与所述待编舞元素对应的舞蹈动作，包括：基于所述待编舞元素，以及所述多个待编舞元素片段各自对应的风格向量和节奏向量，确定与所述多个待编舞元素片段各自对应的动作图；对所述多个待编舞元素片段各自对应的动作图进行图优化处理，获得与所述待编舞元素对应的舞蹈动作。4.根据权利要求3所述的方法，其特征在于，所述对所述多个待编舞元素片段各自对应的动作图进行图优化处理，获得与所述待编舞元素对应的舞蹈动作，包括：构建图优化过程中涉及的多个损失项；基于所述多个损失项对所述多个待编舞元素片段各自对应的动作图进行图优化处理，获得与所述待编舞元素对应的舞蹈动作。5.根据权利要求4所述的方法，其特征在于，所述基于所述多个损失项对所述多个待编舞元素片段各自对应的动作图进行图优化处理，获得与所述待编舞元素对应的舞蹈动作，包括：基于动态规划算法对所述多个待编舞元素片段各自对应的动作图进行路径规划；确定所述多个损失项在所述动态规划算法包括的多个规划路径中的每个规划路径下对应的综合损失值；将对应的综合损失值最小的规划路径确定为目标规划路径，并基于所述目标规划路径和所述多个待编舞元素片段各自对应的动作图，获得与所述待编舞元素对应的舞蹈动作。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，在所述获取待编舞元素之前，还包括：获取目标训练数据，其中，所述目标训练数据包括对齐的目标训练元素和目标训练动作，所述目标训练元素包括目标训练音频和目标训练文本中的至少一种；将所述目标训练数据切分成多个目标训练数据片段...
【专利技术属性】
技术研发人员：王闯闯，郑志彤，刘海锋，
申请(专利权)人：深圳市欢太科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。