The invention provides a method, equipment and storage medium for robot dancing. The method includes: extracting the music low-order feature matrix of audio source files; the music low-order feature matrix is the matrix data of the surface feature of music; inputting the music low-order feature matrix into the music feature classification model for calculation, and obtaining the corresponding music high-order feature matrix; The high-order characteristic matrix of music is the matrix data of the deep features of music. The high-order characteristic matrix of music is input into the dance action generation model to generate dance actions satisfying the kinematic constraints. The invention realizes the purpose of reducing the time and energy of developers, enabling robots to dance autonomously according to multi-dimensional music feature information, and improving the matching degree between dance action and music feature information.
【技术实现步骤摘要】
一种实现机器人跳舞的方法、设备和储存介质
本专利技术涉及机器人控制领域，尤指一种实现机器人跳舞的方法、设备和储存介质。
技术介绍
随着机器人技术的发展，越来越多的消费级的机器人走进千家万户，然而机器人的智能程度直接影响用户的体验，其中机器人随音乐跳舞是很常见的一个应用场景。所谓机器人随音乐跳舞是指机器人根据给定的音频源文件，获取该音频源文件的特征，然后根据该音乐的特征，生成舞蹈动作，从而实现随音乐跳舞的功能。目前机器人随音乐跳舞的实现方式有两种，一是开发人员提前根据音乐的类型、节奏、情绪等预先手动编排舞蹈动作，然后在播放音乐时机器人调取编排好的与播放音乐对应的舞蹈动作实现跳舞。二是开发人员首先获取音乐的节拍信息，根据节拍信息随机生成舞蹈动作或者映射到舞蹈动作库生成舞蹈动作实现跳舞。然而，第一种方式为开发人员需要先聆听音乐后，人工理解音乐的节奏和情绪，然后人工提前编排舞蹈动作，而人工编排不仅仅效率比较低下，且跳舞效果与编排的开发人员的水平相关。第二种仅仅利用音乐的节拍信息生成舞蹈动作，舞蹈动作生成的维度低，导致舞蹈动作和音乐的匹配度较低，用户体验较差；此外，根据节拍...
【技术保护点】
1.一种实现机器人跳舞的方法，其特征在于，包括步骤：提取音频源文件的音乐低阶特征矩阵，所述音乐低阶特征矩阵为音乐的表层特征的矩阵数据；将所述音乐低阶特征矩阵输入音乐特征分类模型中进行计算，获得对应的音乐高阶特征矩阵，所述音乐高阶特征矩阵为音乐的深层特征的矩阵数据；将所述音乐高阶特征矩阵输入舞蹈动作生成模型中，生成满足运动学约束条件的舞蹈动作。
【技术特征摘要】
1.一种实现机器人跳舞的方法，其特征在于，包括步骤：提取音频源文件的音乐低阶特征矩阵，所述音乐低阶特征矩阵为音乐的表层特征的矩阵数据；将所述音乐低阶特征矩阵输入音乐特征分类模型中进行计算，获得对应的音乐高阶特征矩阵，所述音乐高阶特征矩阵为音乐的深层特征的矩阵数据；将所述音乐高阶特征矩阵输入舞蹈动作生成模型中，生成满足运动学约束条件的舞蹈动作。2.根据权利要求1所述的实现机器人跳舞的方法，其特征在于，所述获取音频源文件的音乐低阶特征矩阵之前包括：收集音乐样本及其对应的舞蹈图像样本；提取所述音乐样本的音乐低阶特征矩阵；对所述音乐样本进行标记得到其音乐高阶特征矩阵；对所述舞蹈图像样本进行标记得到其动作特征矩阵；将所述音乐低阶特征矩阵和所述音乐高阶特征矩阵输入训练模型，并根据预设的模型参数训练得到所述音乐特征分类模型；将所述音乐高阶特征矩阵和所述动作特征矩阵输入训练模型，并根据预设的模型参数训练得到所述舞蹈动作生成模型。3.根据权利要求2所述的实现机器人跳舞的方法，其特征在于，所述将所述音乐低阶特征矩阵和所述音乐高阶特征矩阵输入训练模型，并根据预设的模型参数训练得到所述音乐特征分类模型之后包括：根据所述音乐低阶特征矩阵和所述音乐高阶特征矩阵对所述音乐特征分类模型进行验证，得到所述音乐特征分类模型的预测误差值；当所述音乐特征分类模型的预测误差值小于等于预设误差阈值时，确定所述音乐特征分类模型为最终的音乐特征分类模型；当所述音乐特征分类模型的预测误差值大于预设误差阈值时，调整所述训练模型的模型参数获得多个待定音乐特征分类模型；根据所述音乐低阶特征矩阵对每个待定音乐特征分类模型进行验证，得到每个待定音乐特征分类模型对应的预测误差值；比较每个待定音乐特征分类模型对应的预测误差值的大小，确定预测误差值最小的待定音乐特征分类模型为最终的音乐特征分类模型。4.根据权利要求3所述的实现机器人跳舞的方法，其特征在于，所述根据所述音乐低阶特征矩阵和所述音乐高阶特征矩阵对所述音乐特征分类模型进行验证，得到所述音乐特征分类模型的预测误差值具体包括：将所述音乐低阶特征矩阵和音乐高阶特征矩阵分割成若干份数据集；根据交叉验证的方式将所述数据集依次轮换为验证集和训练集；将所有交叉验证对应的验证结果求均值得到所述预测误差值。5.根据权利要求1所述的实现机器人跳舞的方法，其特征在于，所述获取音频源文件的音乐低阶特征矩阵具体包括：将所述音频源文件进行分割得到若干个音频帧；对所述音频帧进行音频信号处理得到所述音乐低阶特征矩阵；所述音频信号处理包括加窗处理或加窗处理后频域变换处理。6.根据权利要求1所述的实现机器人跳舞的方法，其特征在于，所述将所述音乐低阶特征矩阵输入音乐特征分类模型中进行计算，获得对应的音乐高阶特征矩阵，所述音乐高阶特征矩阵为音乐的深层特征的矩阵数据具体包括：将所述音乐低阶特征矩阵输入所述音乐特征分类模型；通过所述音乐特征分类模型解析输入的所述音乐低阶特征矩阵得到类别评判值；根据输入的音乐特征分类模型的预设阈值与所述类别评判值的比较结果，输出所述音乐低阶特征矩阵对应的音乐高阶特征矩阵。7.根据权利要求2所述的实现机器人跳舞的方法，其特征在于，所述将所述音乐高阶特征矩阵和所述动作特征矩阵输入训练模型，并根据预设的模型参数训练得到所述舞蹈动作生成模型之后包括：根据所述音乐高阶特征矩阵和所述动作特征矩阵对所述舞蹈动作生成模型进行验证，得到所述舞蹈动作生成模型的预测误差值；当所述舞蹈动作生成模型的预测误差值小于等于预设误差阈值时，确定所述舞蹈动作生成模型为最终的舞蹈动作生成模型；当所述舞蹈动作生成模型的预测误差值大于预设误差阈值时，调整所述训练模型的模型参数获得多个待定舞蹈动作生成模型；根据所述动作特征矩阵对每个待定舞蹈动作生成模型进行验证，得到每个待定舞蹈动作生成模型对应的预测误差值；比较每个待定舞蹈动作生成模型对应的预测误差值的大小，确定预测误差值最小的待定舞蹈动作生成模型为最终的舞蹈动作生成模型。8.根据权利要求1-7任一项所述的实现机器人跳舞的方法，其特征在于，所述将所述音乐高阶特征矩阵输入舞蹈动作生成模型中，生成满足运动学约束条件的舞蹈动作具体包括：将所述音乐高阶特征矩阵输入至所述舞蹈动作生成模型，通过所述舞蹈动作生成模型分类计算得到与所述音乐高阶特征矩阵对应的参考舞蹈动作；将所述参考舞蹈动作进行分割得到对应的关节运动参数；所述关节运动参数包括移动幅度和移动时间；分别对相邻的两组关节运动参数进行处理，生成满足所述运动学约束条件的舞蹈动作。9.根据权利要求8所述的实现机器人跳舞的方法，其特征在于，所述将所述参考舞蹈动作进行分割得到对应的关节运动参数之后，所述分别对相邻的两组关节运动参数进行处理，生成满足所述运动学约束条件的舞蹈动作之前包括：当存在超过所述预设自由度范围和预设速度范围的关节运动参数时，对所有关节运动参数进行等比例缩小，得到等比例缩小后的关节运动参数。10.一种实现机器人跳舞的设备，其特征在于，包括：音乐低阶特征矩阵提取模块，用于提取音频源文件的音乐低阶特征矩阵，所述音乐低阶特征矩阵为音乐的表层特征的矩阵数据；音乐高阶特征矩阵获取模块，与所述音乐低阶特征矩阵提取模块连接，用于将所述音乐低阶特征矩阵输入音乐特征分类模型中进行计算，获得对应的音乐高阶特征矩阵，所述音乐高阶特征矩阵为音乐的深层特征的矩阵数据；舞蹈动作生成模块，与所述音乐高阶特征矩阵获取模块连接，用于将所述音乐高阶特征矩阵输入舞蹈动作生成模型中，生成满足运动学约束条件的舞蹈动作。11.根据权利要求10所述的实现机器人跳舞的设备，还包括：样本收集模块，用于收集音乐样本及其对应的舞蹈图像样本；所述音乐...
【专利技术属性】
技术研发人员：张光肖，
申请(专利权)人：南京阿凡达机器人科技有限公司，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。