【技术实现步骤摘要】
乐器演奏方法、装置、机器人及存储介质
[0001]本申请涉及但不限于计算机视觉
，尤其涉及一种乐器演奏方法、装置、机器人及存储介质。
技术介绍
[0002]乐器例如木琴的演奏，对琴槌与琴键的接触力度与接触时间有严格的要求，以使乐器发音良好，而现实中由于人为控制乐器的原因导致乐器的发音会出现偏差。随着机器人技术的发展，为解决这一问题提供了可能，然而现阶段采用机器人演奏乐器的领域仍然存在空白。
技术实现思路
[0003]有鉴于此，本申请实施例至少提供一种乐器演奏方法、装置、机器人及存储介质。
[0004]本申请实施例的技术方案是这样实现的：
[0005]一方面，本申请实施例提供一种乐器演奏方法，所述方法包括：获取待处理的图像帧集合，其中，所述图像帧集合中的图像帧具有先后时序关系；对所述待处理的图像帧集合中的当前图像帧进行图像检测，得到所述当前图像帧中所包括的对象的姿态；判断所述当前图像帧中所包括的对象的姿态是否与预设动作类型集中的基本动作类型相匹配，其中，所述预设动作集包括至少两个基本动作类...
【技术保护点】
【技术特征摘要】
1.一种乐器演奏方法，其特征在于，包括：获取待处理的图像帧集合，其中，所述图像帧集合中的图像帧具有先后时序关系；对所述待处理的图像帧集合中的当前图像帧进行图像检测，得到所述当前图像帧中所包括的对象的姿态；判断所述当前图像帧中所包括的对象的姿态是否与预设动作类型集中的基本动作类型相匹配，其中，所述预设动作集包括至少两个基本动作类型；响应于所述当前图像帧中对象的姿态为所述预设动作类型集中匹配的基本动作类型，确定与匹配的基本动作类型对应的目标音符，并控制机器人的执行机构弹奏所述乐器的所述目标音符。2.根据权利要求1所述的方法，其特征在于，所述预设动作类型集包括动作序列，所述动作序列为基本动作类型集合中各基本动作类型按照时序组成的序列，所述判断所述当前图像帧中所包括的对象的姿态是否与预设动作类型集中的基本动作类型相匹配，包括：判断所述当前图像帧中对象的姿态是否为所述动作序列中的目标动作；所述响应于所述当前图像帧中对象的姿态为所述预设动作类型集中匹配的基本动作类型，确定与匹配的基本动作类型对应的目标音符，包括：响应于所述当前图像帧中对象的姿态为所述动作序列中的目标动作，确定与所述目标动作的类型匹配的目标音符。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：响应于所述乐器演奏的开始操作，通过显示屏输出所述动作序列；所述获取待处理的图像帧集合，包括：响应于所述乐器演奏的开始操作，通过图像采集装置采集所述对象的视频，将所述对象的视频确定为所述待处理的图像帧集合；所述判断所述当前图像帧中所包括的对象的姿态是否为所述动作序列中的目标动作，包括：从所述动作序列中确定与所述当前图像帧匹配的目标动作帧，判断所述当前图像帧中所包括的对象的姿态是否为所述目标动作帧中的目标动作。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：响应于所述乐器演奏的测试操作，通过显示屏输出测试动作的外轮廓范围，其中，所述外轮廓范围用于提示所述对象的所述姿态在所述外轮廓范围内；获取包含所述对象的测试图像帧集合；基于所述测试图像帧集合中的图像帧，确定所述对象的站位是否满足预设条件；在所述对象的站位满足预设条件的情况下，提示所述对象执行所述乐器演奏的开始操作；所述响应于所述乐器演奏的开始操作，通过显示屏输出所述动作序列，包括：响应于所述乐器演奏的开始操作，通过显示屏输出所述动作序列中所述目标动作的外轮廓范围。5.根据权利要求2至4任一项所述的方法，其特征在于，还包括：确定所述乐器演奏的歌曲中音符的先后顺序和所述音符的节拍；确定每一所述音符对应的基本动作类型；将每一所述音符对应的基本动作类型，按照所述歌曲中音符的先后顺序和音符的节拍，生成所述动作序列。6.根据权利要求5所述的方法，其特征在于，所述对所述待处理的图像帧集合中的当前
图像帧进行图像检测，得到所述当前图像帧中所包括的对象的姿态，包括：对所述待处理的图像帧集合中的当前图像帧进行目标检测，得到所述当前图像帧中所包括的对象的检测框；基于所述当前图像帧中所包括的对象的检测框，确定与每一所述对象关联的关键点集合的位置信息；基于与每一所述对象关联的关键点集合...
【专利技术属性】
技术研发人员：孟玉陈，唐明勇，王兴，陈永胜，吴姝衡，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。