【技术实现步骤摘要】
本申请涉及人工智能与计算机视觉，特别是涉及乐器演奏的手部运动生成方法、装置及介质。
技术介绍
1、人工智能在技能学习方面有着显著的潜力，尤其在乐器学习领域。对于钢琴，演奏者需要深刻理解乐谱与肢体动作之间的关联，通过反复练习才能熟练掌握钢琴的指法和手部运动技巧。为了提供更直观的钢琴学习指导，ai钢琴指导系统应运而生，能够依据音乐生成钢琴演奏时对应的3d手部运动图像，帮助人们更好地学习钢琴。
2、然而，目前的钢琴指导方式过于专注于连续音符的局部指法约束，忽略长距离指法关系，导致得到的手势的准确性比较低，不太符合现实演奏的手势要求。
技术实现思路
1、本申请提供了乐器演奏的手部运动生成方法、装置及存储介质，能够提高手部运动图生成的准确性。
2、第一方面，本申请提供一种乐器演奏的手部运动生成方法，基本模型包括音频细节提取器、手部位置预测器和手势生成器；方法包括：
3、获取目标音频片段；
4、将目标音频片段输入基本模型，利用音频细节提取器对目标音频片段...
【技术保护点】
1.一种乐器演奏的手部运动生成方法，其特征在于，基本模型包括音频细节提取器、手部位置预测器和手势生成器；所述方法包括：
2.根据权利要求1所述的乐器演奏的手部运动生成方法，其特征在于，所述得到音频特征之后，所述方法还包括：
3.根据权利要求2所述的乐器演奏的手部运动生成方法，其特征在于，所述手部位置预测器包括手部位置解码器和线性映射层，所述利用所述手部位置预测器对所述编码后的音频特征进行手部位置预测，得到手部预测位置序列，包括：
4.根据权利要求2所述的乐器演奏的手部运动生成方法，其特征在于，所述手势生成器包括时间嵌入层和手势解码器...
【技术特征摘要】
1.一种乐器演奏的手部运动生成方法，其特征在于，基本模型包括音频细节提取器、手部位置预测器和手势生成器；所述方法包括：
2.根据权利要求1所述的乐器演奏的手部运动生成方法，其特征在于，所述得到音频特征之后，所述方法还包括：
3.根据权利要求2所述的乐器演奏的手部运动生成方法，其特征在于，所述手部位置预测器包括手部位置解码器和线性映射层，所述利用所述手部位置预测器对所述编码后的音频特征进行手部位置预测，得到手部预测位置序列，包括：
4.根据权利要求2所述的乐器演奏的手部运动生成方法，其特征在于，所述手势生成器包括时间嵌入层和手势解码器，所述将所述编码后的音频特征和所述手部预测位置序列输入所述手势生成器，得到所述基本模型输出的手部运动图，包括：
5.根据权利要求4所述的乐器演奏的手部运动生成方法，其特征...
【专利技术属性】
技术研发人员：张茜，庞彦，董长宇，李达文，黄琳婷，
申请(专利权)人：广州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。