【技术实现步骤摘要】
一种弹琴机器人的控制方法及控制装置
[0001]本说明书涉及人工智能领域以及视觉识别领域，尤其涉及一种弹琴机器人的控制方法及控制装置
。
技术介绍
[0002]随着人工智能领域的迅速发展，大量机器人在众多实际应用场景中出现，如智能教育机器人
、
情感交流机器人
、
烹饪机器人
、
表演机器人等
。
而随着机器人精度的愈加进步，机器人所能做到的拟人化程度越来越高，一些更高拟人化需求的机器人应运而生，如，可弹奏钢琴的弹琴机器人
。
[0003]然而，现有的弹琴机器人在拟人化弹奏过程中无法做到对琴键的准确定位，原因在于拟人化弹奏钢琴往往需要弹琴机器人的头颈部位做出动作，造成弹琴机器人相机视角的变化，而现有的定位方式并不能在相机移动的同时，准确的定位琴键的位置，导致弹琴机器人对于琴键的实时定位，存在着较大的误差
。
[0004]因此，如何有效的减少弹琴机器人对琴键实时定位的误差，是一个亟待解决的问题
。
专利技术内...
【技术保护点】
【技术特征摘要】
1.
一种弹琴机器人的控制方法，其特征在于，包括：弹琴机器人通过设置的相机，对琴键区域进行图像采集，得到采集后的图像；从所述图像中识别出各图像特征点，根据所述图像中包含的各像素点对应的深度信息以及所述各图像特征点在所述图像中坐标，确定所述各图像特征点在相机坐标系下的坐标；根据所述各图像特征点在相机坐标系下的坐标以及琴键模板，确定出所述琴键模板中各琴键在所述相机坐标系下的坐标，所述琴键模板用于表示各琴键在世界坐标系下的坐标；通过所述弹琴机器人在弹琴过程中所处位姿以及各琴键在相机坐标系下的坐标，确定出所述弹琴机器人在弹琴过程中所处位姿下所述弹琴机器人与各琴键之间的相对位置；通过预先确定的误差拟合函数，对所述相对位置进行误差补偿，获取补偿后相对位置，所述误差拟合函数用于表示各位姿下弹琴机器人对琴键的视觉定位误差，所述误差拟合函数是预先基于所述弹琴机器人在各位姿下的视觉定位误差值拟合出的；根据所述补偿后相对位置，控制所述弹琴机器人上的机械臂进行弹奏
。2.
如权利要求1所述的方法，其特征在于，从所述图像中识别出各图像特征点，根据所述图像中包含的各像素点对应的深度信息以及所述各图像特征点在所述图像中坐标，确定所述各图像特征点在相机坐标系下的坐标，具体包括：确定所述图像对应的二值图像；根据所述二值图像中像素值的变化，确定满足预设长度范围且满足预设斜率范围的直线，作为黑键区域与白键区域的分隔线，以及确定所述二值图像中各黑键的边缘线；根据确定出的所述分隔线以及各黑键的边缘线，确定出所述各图像特征点，以及所述各图像特征点在所述二值图像中的坐标，其中，针对每个黑键，在该黑键中位于所述分隔线上的两个角点中选择距离所述二值图像中心点最近的一个作为图像特征点；根据所述各图像特征点在所述二值图像中的坐标，确定出所述各图像特征点在所述图像中的坐标；根据所述图像中包含的各像素点对应的深度信息以及所述各图像特征点在所述图像中坐标，确定出所述各图像特征点在相机坐标系下的坐标
。3.
如权利要求2所述的方法，其特征在于，根据所述图像中包含的各像素点对应的深度信息以及所述各图像特征点在所述图像中坐标，确定出所述各图像特征点在相机坐标系下的坐标，具体包括：根据所述图像中包含的各像素点对应的深度信息，确定琴键区域点云；将所述琴键区域点云中包含的点云数据进行平面拟合，确定所述图像中白键表面的各像素点对应的理想深度信息；通过所述理想深度信息以及所述各图像特征点在所述图像中的坐标，确定出所述各图像特征点在相机坐标系下的坐标
。4.
如权利要求1所述的方法，其特征在于，根据所述各图像特征点在相机坐标系下的坐标以及琴键模板，确定出所述琴键模板中各琴键在所述相机坐标系下的坐标，具体包括：根据所述各图像特征点，确定在相机坐标系下所述各图像特征点所形成的点云，将所述图像特征点在所述相机坐标系下所形成的点云与琴键模板中各特征点所对应的点云进
行匹配，得到匹配结果，并根据所述匹配结果，获取所述各图像特征点在所述世界坐标系下的坐标；根据所述各图像特征点在所述世界坐标系下的坐标以及所述各图像特征点在所述相机坐标系下坐标，建立第一转化矩阵，其中，所述第一转化矩阵用于表示所述相机坐标系与所述世界坐标系之间的坐标转化关系；根据所述第一转化矩阵，确定出所述琴键模板中各琴键在所述相机坐标系下的坐标
。5.
如权利要求1所述的方法，其特征在于，通过所述弹琴机器人在弹琴过程中所处位姿以及各琴键在相机坐标系下的坐标，确定出所述弹琴机器人在弹琴过程中所处位姿下所述弹琴机器人与各琴键之间的相对位置，具体包括：通过预先确定的第二转化矩阵，将所述各琴键在相机坐标系下的坐标转化为机器人头部末端点坐标系下的坐标，所述第二转化矩阵用于表示所述相机坐标系与所述机器人头部末端点坐标系之间的坐标转化关系，其中，所述机器人头部末端点坐标...
【专利技术属性】
技术研发人员：孟森森，宛敏红，严敏东，钟灵，顾建军，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。