一种艺术体操动作生成方法技术

本发明专利技术公开了一种艺术体操动作生成方法，包括：对专业的艺术体操运动员进行动作捕捉；先进行音频特征提取，将音频特征分为音频片段；艺术体操动作捕捉视频分为视频片段；将音频片段和体视频片段进行数据归一化，再输入至生成扩散模型中，进行模型训练；对每个艺术体操片段生成的体操动作和音频的适配性进行打分，得分最高的艺术体操片段作为生成片段保留；使用损失函数结合动量梯度下降法算法对数据集的视频进行训练，得到艺术体操动作生成模型，输入音频通过模型得到艺术体操动作视频。本发明专利技术使用了生成扩散模型用于艺术体操的，相比于GAN等神经网络模型具有长期建模能力，能够生成长期稳定的动作序列。够生成长期稳定的动作序列。够生成长期稳定的动作序列。

【技术实现步骤摘要】
一种艺术体操动作生成方法


[0001]本专利技术涉及体育动作智能生成领域，具体涉及一种艺术体操动作生成方法。

技术介绍

[0002]艺术体操作为一项新兴的运动项目，其运动规范、技术难度和美学标准等方面也在不断演进和发展，需要不断创新和提高。艺术体操运动员需要进行不断的训练和练习，以提高自己的技术水平和竞技成绩。在训练过程中，艺术体操教练需要不断设计和改进训练方案和动作，以满足运动员的需求，本专利技术旨在使用人工智能的模型结合相应的音乐进行新的艺术体操动作生成。
[0003]现有的基于深度学习生成视频的方法主流模型为GAN(generative adversarial network)网络及其改进版本。然而，受限于这些网络的长期建模能力，很难生成长期稳定的动作序列。对于超过10s的音乐，生成序列在音乐结束时趋于冻结或漂移。

技术实现思路

[0004]本专利技术提供了一种艺术体操动作生成方法。
[0005]本专利技术利用一种改进的生成扩散模型(Generative Diffusion Model，GDM)进行高精度的体育教学视频生成，GDM是一种通过根据噪声扩散的逆过程用于生成视频的深度学习模型，现有的扩散模型往往较难捕捉长期依赖关系，可能导致在生成的较长时间的体操动作时出现不连贯性。因此本专利技术通过设计一种两阶段的生成模型，第一阶段通过GDM模型生成不同风格的艺术体操动作，第二阶段通过设计一个，通过对体操动作的连贯性检索以及与关注不同音乐间的适配性。从而得到一个完整的新型艺术体操动作。
[0006]一种艺术体操动作生成方法，包括以下步骤：
[0007]1)对专业的艺术体操运动员进行动作捕捉，获得艺术体操动作捕捉视频；
[0008]2)先对艺术体操动作捕捉视频中音乐进行音频特征提取，将音频特征分为音频片段其中，N为训练阶段的音乐片段数量，对每个音频片段的使用Librosa库进行特征提取得到时序特征和梅尔语谱图T和C
m
分别为音频的时长和通道数，W,H为梅尔语谱图的长和宽，3代表图谱是3通道的；
[0009]艺术体操动作捕捉视频分为视频片段，记将音频片段和体视频片段先进行数据归一化，再输入至生成扩散模型中，进行模型训练，；
[0010]3)通过训练后的生成扩散模型生成多个艺术体操片段，对每个艺术体操片段生成的体操动作和音频的适配性进行打分，得分最高的艺术体操片段作为生成片段保留；
[0011]4)在生成扩散模型中加入时间关系约束，将步骤3)获得的生成片段输入到加入时间关系约束的生成扩散模型进行训练，在训练过程中，引入同步性损失来优化同步性，得到新的损失函数L_total，使用损失函数L_total结合动量梯度下降法算法对数据集的视频进行训练，得到艺术体操动作生成模型；
[0012]5)将待生成艺术体操动作的音频输入到艺术体操动作生成模型中，输出的结果经过插值，得到艺术体操动作视频。
[0013]步骤1)中，所述的捕捉视频包括专业艺术体操动作以及相对应的音乐。
[0014]所述的专业艺术体操动作包括绳操、球操、圈操、带操和棒操项目类型。
[0015]步骤2)中，所述的数据归一化具体包括：将音频特征和体操动作数据归一化至相同的数值范围内。
[0016]步骤3)中，对每个艺术体操片段生成的体操动作和音频的适配性进行打分，得分最高的艺术体操片段作为生成片段保留，具体包括：
[0017]将艺术体操片段按帧和步骤1)的艺术体操动作捕捉视频的原始音乐输入编码器和并使用余弦相似度计算音乐和艺术体操片段的匹配度得到score值，通过获取score值的最大值确定生成片段。
[0018][0019]其中，X
t
,Y
t
分别代表t时间段的原始音频和生成的视频帧，和代表音频和视频帧通过编码器输出的向量，score
t
(X
t
,Y
t
)为t时间段的音频和体操生成片段之间匹配度的得分值。
[0020]步骤4)中，所述的时间关系约束包括：
[0021]对于生成片段的每个音频特征和对应的体操动作表示帧，计算两者间的时间延迟，时间延迟表示为两者之间的时间差，即：
[0022]Δt_i＝t_audio_i
‑
t_action_i，其中Δt_i是第i对音频特征和体操动作生成表示帧之间的实际时间延迟，t_audio_i是音频特征的时间戳，t_action_i是体操动作生成表示帧的时间戳。
[0023]步骤4)中，同步性损失为实际时间延迟与期望时间延迟之间的均方误差，期望时间延迟为设置的阈值，给定N对音频特征和动作表示帧，同步性损失L_sync定义为如下，Δt_expected为期望时间延迟：
[0024][0025]同步性损失函数在训练过程中不断优化最小化L_sync值，将L_sync和生成和扩散过程的KL散度结合，作为新的损失函数L_total，公式如下：
[0026]L_total＝L_KL+λ*L_sync
[0027]其中L_KL是生成和扩散过程之间的KL散度损失，λ是一个权重参数。
[0028]步骤5)中，所述的插值为贝塞尔插值。
[0029]与现有技术相比，本专利技术具有如下优点：
[0030]本专利技术使用了生成扩散模型用于艺术体操的，相比于GAN等神经网络模型具有长期建模能力，能够生成长期稳定的动作序列。
[0031]本专利技术在生成阶段通过计算音频和生成视频之间的余弦距离从而获得更好的匹配性。
[0032]本专利技术通过对音频和视频加入时间关系约束，并建立同步性损失函数，使得生成
的视频和音乐之间具有更好的同步性。
[0033]本专利技术在生成视频的后处理阶段使用贝塞尔插值的方法，能够使得生成的视频更平滑。
附图说明
[0034]图1为本专利技术艺术体操动作生成方法的流程示意图；
[0035]图2为本专利技术通过生成扩散模型得到的体操视频帧。
具体实施方式
[0036]如图1所示，一种艺术体操动作生成方法，包括以下步骤：
[0037]1)对专业的艺术体操运动员进行动作捕捉，获得艺术体操动作捕捉视频；
[0038]2)先对艺术体操动作捕捉视频中音乐进行音频特征提取，将音频特征分为音频片段其中，t为时间段,N为训练阶段的音乐片段数量，对每个音频片段的使用Librosa库进行特征提取得到时序特征和梅尔语谱图T和C
m
分别为音频的时长和通道数，W,H为梅尔语谱图的长和宽，3代表图谱是3通道的；
[0039]艺术体操动作捕捉视频分为视频片段，记将音频片段和体视频片段先进行数据归一化，再输入至生成扩散模型中，进行模型训练，；
[0040]3)通过训练后的生成扩散模型生成多个艺术体操片段，对每个艺术体操片段生成的体操动作和音频的适配性进行打分，得分最高的艺术体操片段作为生成片段保留本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种艺术体操动作生成方法，其特征在于，包括以下步骤：1)对专业的艺术体操运动员进行动作捕捉，获得艺术体操动作捕捉视频；2)对艺术体操动作捕捉视频中音乐进行音频特征提取，将音频特征分为音频片段艺术体操动作捕捉视频分为视频片段，记将音频片段和体视频片段进行数据归一化，再输入至生成扩散模型中，进行模型训练；3)通过训练后的生成扩散模型生成多个艺术体操片段，对每个艺术体操片段生成的体操动作和音频的适配性进行打分，得分最高的艺术体操片段作为生成片段保留；4)在生成扩散模型中加入时间关系约束，将步骤3)获得的生成片段输入到加入时间关系约束的生成扩散模型进行训练，在训练过程中，引入同步性损失来优化同步性，得到新的损失函数L_total，使用损失函数L_total结合动量梯度下降法算法对数据集的视频进行训练，得到艺术体操动作生成模型；5)将待生成艺术体操动作的音频输入到艺术体操动作生成模型中，输出的结果经过插值，得到艺术体操动作视频。2.根据权利要求1所述的艺术体操动作生成方法，其特征在于，步骤1)中，所述的捕捉视频包括专业艺术体操动作以及相对应的音乐。3.根据权利要求2所述的艺术体操动作生成方法，其特征在于，所述的专业艺术体操动作包括绳操、球操、圈操、带操和棒操项目类型。4.根据权利要求1所述的艺术体操动作生成方法，其特征在于，步骤2)中，所述的音频片段为中，t为时间段,N为训练阶段的音乐片段数量，对每个音频片段的使用Librosa库进行特征提取得到时序特征和梅尔语谱图T和C
m
分别为音频的时长和通道数，W,H为梅尔语谱图的长和宽，3代表图谱是3通道的。5.根据权利要求1所述的艺术体操动作生成方法，其特征在于，步骤2)中，所述的数据归一化具体包括：将音频特征和体操动作数据归一化至相同的数值范围内。6.根据权利要求1所述的艺术体操动作生成方法，其特征在于，步骤3)中，对每个艺术体操片段生成的体操动作和音频的适配性进行打分，得分最高的艺术体操片段作为生成片段保留，...

【专利技术属性】
技术研发人员：刘文明，吴吉义，应晶，杨建波，张有健，
申请(专利权)人：杭州亚体智能科技有限公司，
类型：发明
国别省市：