一种仿人钢琴演奏机器人制造技术

本说明书公开了一种仿人钢琴演奏机器人，仿人钢琴演奏机器人可以包括手爪、手臂、腰部、颈部、腿部、控制系统以及底座，其中，颈部对应两个自由度，以带动头部进行回转运动与俯仰运动，腰部对应两个自由度，以带动上半身进行回转运动与俯仰运动，该仿人钢琴演奏机器人可以通过视觉感知单元，对琴键的位置进行准确定位，并且可以智能化的识别出曲谱的内容，以及自动化地按照曲谱进行钢琴演奏。通过腰部、头部的两个自由度，以及对两个机械臂位姿的控制，使得本说明书中的钢琴演奏机器人可以灵巧并智能化的弹奏钢琴。并智能化的弹奏钢琴。并智能化的弹奏钢琴。

【技术实现步骤摘要】
一种仿人钢琴演奏机器人


[0001]本说明书涉及机器人领域，尤其涉及一种仿人钢琴演奏机器人。

技术介绍

[0002]随着科技的进步，机器人慢慢地应用在了人们的生活当中，例如：扫地机器人、医疗机器人。
[0003]在实际应用中，实现将机器人应用在钢琴演奏中是较为困难的。
[0004]所以，有效的将机器人应用在钢琴演奏中，则是一个亟待解决的问题。

技术实现思路

[0005]本说明书提供一种仿人钢琴演奏机器人，以部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：本说明书提供了一种仿人钢琴演奏机器人，所述仿人钢琴演奏机器人包括：左手爪、右手爪、左手臂、右手臂、腰部、颈部、视觉感知单元、左腿、右腿、控制系统、底座，所述颈部对应两个自由度，以带动头部进行回转动作和俯仰动作，所述腰部对应两个自由度，以带动机器人的上半身进行回转动作和俯仰动作；所述仿人钢琴演奏机器人用于，通过所述视觉感知单元获取曲谱图像以及所述仿人钢琴演奏机器人所面对的钢琴琴键的琴键图像，并对所述曲谱图像进行识别，得到曲谱信息，以及根据所述琴键图像，对所述钢琴琴键进行定位，得到定位数据；根据所述定位数据以及所述曲谱信息，规划出所述仿人钢琴演奏机器人在弹奏所述曲谱信息对应的乐曲时所采用的指法，并确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列；通过所述控制系统，按照所述指法，对所述左手爪以及所述右手爪进行控制，以及根据所述位姿变化序列，对除所述左手爪以及所述右手爪之外的身体部位进行控制。
[0007]可选地，所述仿人钢琴演奏机器人还用于，将所述曲谱信息进行编码，得到预设格式的编码信息，并将所述编码信息发送给所述控制系统，所述曲谱信息中至少包括节拍、音符以及修饰符。
[0008]可选地，所述仿人钢琴演奏机器人还包括：语音单元；所述仿人钢琴演奏机器人用于，通过所述语音单元接收用户发出的语音信息，根据所述语音信息，判断所述用户的目的是否为请求所述仿人钢琴演奏机器人进行钢琴演奏，若是，通过所述控制系统，控制所述仿人钢琴演奏机器人进行钢琴演奏。
[0009]可选地，所述仿人钢琴演奏机器人用于，若根据所述语音信息，判断所述用户的目的为请求所述仿人钢琴演奏机器人进行钢琴演奏，对所述语音信息进行识别，确定所述用户所请求所述仿人钢琴演奏机器人演奏的曲目信息，根据所述曲目信息，通过所述控制系统，控制所述仿人钢琴演奏机器人进行钢琴演奏。
[0010]可选地，所述仿人钢琴演奏机器人用于，过滤所述语音信息中的噪声，根据过滤噪声后的语音信息，判断所述用户的目的是否为请求所述仿人钢琴演奏机器人进行钢琴演奏。
[0011]可选地，所述仿人钢琴演奏机器人用于，根据所述定位数据，确定每一时刻下所述左手臂和/或所述右手臂按照所述指法弹奏所述曲谱信息对应乐曲所需的手臂末端位姿，根据所述手臂末端位姿，确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列。
[0012]可选地，所述控制系统用于，针对所述位姿序列中的每个手臂末端位姿，进行逆运动学解算，分别确定出所述左手臂或右手臂达到该手臂末端位姿所需的关节角；根据每个手臂末端位姿对应的关节角，控制所述左手臂或所述右手臂进行移动。
[0013]可选地，所述控制系统用于，针对所述位姿变化序列中的每个手臂末端位姿，确定该手臂末端位姿所属的手臂，并根据该手臂末端位姿所属的手臂对应的肩部与腰部之间的固定转角、腰部在该时刻的偏摆角和俯仰角以及该手臂末端位姿所属的手臂对应的肩部在腰部的俯仰关节的局部坐标系下的坐标，将该手臂末端位姿转换到该手臂末端位姿所属的手臂的肩部坐标系下，得到转换后位姿；以使所述控制系统根据所述转换后位姿，控制所述左手臂和/或所述右手臂进行移动。
[0014]本说明书提供了一种仿人钢琴演奏机器人的控制方法，所述方法应用在仿人钢琴演奏机器人中，所述仿人钢琴演奏机器人包括：左手爪、右手爪、左手臂、右手臂、腰部、颈部、视觉感知单元、左腿、右腿、控制系统、底座，所述颈部对应两个自由度，以带动头部进行水平转动以及以竖直方向为轴线的摆动动作，所述腰部对应两个自由度，以进行转体动作以及以竖直方向为轴线的摆动动作，包括：通过所述视觉感知单元获取曲谱图像以及所述仿人钢琴演奏机器人所面对的钢琴琴键的琴键图像；对所述曲谱图像进行识别，得到曲谱信息，以及根据所述琴键图像，对所述钢琴琴键进行定位，得到定位数据；根据所述定位数据以及所述曲谱信息，规划出所述仿人钢琴演奏机器人在弹奏所述曲谱信息对应的乐曲时所采用的指法，并确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列；通过所述控制系统，按照所述指法，对所述左手爪以及所述右手爪进行控制，以及根据所述位姿变化序列，对除所述左手爪以及所述右手爪之外的身体部位进行控制。
[0015]可选地，所述方法还包括：将所述曲谱信息进行编码，得到预设格式的编码信息，并将所述编码信息发送给所述控制系统，所述曲谱信息中至少包括节拍、音符以及修饰符。
[0016]可选地，所述仿人钢琴演奏机器人还包括：语音单元；所述方法还包括：通过所述语音单元接收用户发出的语音信息；根据所述语音信息，判断所述用户的目的是否为请求所述仿人钢琴演奏机器人进行钢琴演奏，若是，通过所述控制系统，控制所述仿人钢琴演奏机器人进行钢琴演奏。
[0017]可选地，通过所述控制系统，控制所述仿人钢琴演奏机器人进行钢琴演奏，具体包
括：若根据所述语音信息，确定所述用户的目的为请求所述仿人钢琴演奏机器人进行钢琴演奏，对所述语音信息进行识别，确定所述用户所请求所述仿人钢琴演奏机器人演奏的曲目信息；根据所述曲目信息，通过所述控制系统，控制所述仿人钢琴演奏机器人进行钢琴演奏。
[0018]可选地，确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列，具体包括：根据所述曲谱信息和所述定位数据，确定每一时刻下所述左手臂和/或所述右手臂弹奏所述曲谱信息对应乐曲所需的手臂末端位姿；根据所述手臂末端位姿，确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列。
[0019]本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述仿人钢琴演奏机器人的控制方法。
[0020]本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述仿人钢琴演奏机器人的控制方法。
[0021]本说明书采用的上述至少一个技术方案能够达到以下有益效果：从上述仿人钢琴演奏机器人中可以看出，仿人钢琴演奏机器人可以包括左手爪、右手爪、左手臂、右手臂、腰部、颈部、视觉感知单元、左腿、右腿、控制系统、底座，其中，颈部对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种仿人钢琴演奏机器人，其特征在于，所述仿人钢琴演奏机器人包括：左手爪、右手爪、左手臂、右手臂、腰部、颈部、视觉感知单元、左腿、右腿、控制系统、底座，所述颈部对应两个自由度，以带动头部进行回转动作和俯仰动作，所述腰部对应两个自由度，以带动上半身进行回转动作和俯仰动作；所述仿人钢琴演奏机器人用于，通过所述视觉感知单元获取曲谱图像以及所述仿人钢琴演奏机器人所面对的钢琴琴键的琴键图像，并对所述曲谱图像进行识别，得到曲谱信息，以及根据所述琴键图像，对所述钢琴琴键进行定位，得到定位数据；根据所述定位数据以及所述曲谱信息，规划出所述仿人钢琴演奏机器人在弹奏所述曲谱信息对应的乐曲时所采用的指法，并确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列；通过所述控制系统，按照所述指法，对所述左手爪以及所述右手爪进行控制，以及根据所述位姿变化序列，对除所述左手爪以及所述右手爪之外的身体部位进行控制。2.如权利要求1所述的机器人，其特征在于，所述仿人钢琴演奏机器人还用于，将所述曲谱信息进行编码，得到预设格式的编码信息，并将所述编码信息发送给所述控制系统，所述曲谱信息中至少包括节拍、音符以及修饰符。3.如权利要求1所述的机器人，其特征在于，所述仿人钢琴演奏机器人还包括：语音单元；所述仿人钢琴演奏机器人用于，通过所述语音单元接收用户发出的语音信息，根据所述语音信息，判断所述用户的目的是否为请求所述仿人钢琴演奏机器人进行钢琴演奏，若是，通过所述控制系统，控制所述仿人钢琴演奏机器人进行钢琴演奏。4.如权利要求3所述的机器人，其特征在于，所述仿人钢琴演奏机器人用于，若根据所述语音信息，判断所述用户的目的为请求所述仿人钢琴演奏机器人进行钢琴演奏，对所述语音信息进行识别，确定所述用户所请求所述仿人钢琴演奏机器人演奏的曲目信息，根据所述曲目信息，通过所述控制系统，控制所述仿人钢琴演奏机器人进行钢琴演奏。5.如权利要求3所述的机器人，其特征在于，所述仿人钢琴演奏机器人用于，过滤所述语音信息中的噪声，根据过滤噪声后的语音信息，判断所述用户的目的是否为请求所述仿人钢琴演奏机器人进行钢琴演奏。6.如权利要求1所述的机器人，其特征在于，所述仿人钢琴演奏机器人用于，根据所述定位数据，确定每一时刻下所述左手臂和/或所述右手臂按照所述指法弹奏所述曲谱信息对应乐曲所需的手臂末端位姿，根据所述手臂末端位姿，确定所述仿人钢琴演奏机器人在按照所述指法弹奏所述乐曲时所述仿人钢琴演奏机器人的身体部位对应的位姿变化序列。7.如权利要求6所述的机器人，其特征在于，所述控制系统用于，针对所述位姿序列中的每个手臂末端位姿，进行逆运动学解算，分别确定出所述左手臂或右手臂达到该手臂末端位姿所需的关节角；根据每个手臂末端位姿对应的关节角，控制所述左手臂或所述右手臂进行移动。8.如权利要求6所述的机器人，其特征在于，所述控制系统用于，针对所述位姿变化序列中的每个手臂末端位姿，确定该手臂末端位姿所属的手臂，并根据该手臂末端位姿所属的手臂对应的肩部与腰部之间的固定转角、腰部在该时刻的偏摆角和俯仰角以及该手...

【专利技术属性】
技术研发人员：宛敏红，顾建军，朱世强，严敏东，黄秋兰，钟灵，高广，张璞，方伟，姚运昌，
申请(专利权)人：之江实验室，
类型：发明
国别省市：