一种弹琴机器人的控制方法及控制装置制造方法及图纸

本说明书公开了一种弹琴机器人的控制方法及控制装置，弹琴机器人在实际弹奏过程中，根据相机中标识符的相对位置，即可确定出琴键的相对位置，从而对钢琴进行实时演奏，在演奏过程中无需对琴键进行拍摄，解决了琴键表面光滑导致的拍摄精度不佳以及弹奏时机械臂对琴键存在的遮挡导致的拍摄信息不完全的问题，降低了弹琴机器人对琴键定位的难度，提高了弹琴机器人对琴键的定位精度。机器人对琴键的定位精度。机器人对琴键的定位精度。

【技术实现步骤摘要】
一种弹琴机器人的控制方法及控制装置


[0001]本说明书涉及人工智能领域以及视觉识别领域，尤其涉及一种弹琴机器人的控制方法及控制装置。

技术介绍

[0002]随着人工智能领域的迅速发展，在众多实际应用场景中已使用大量的机器人来执行业务，如机器人送餐、机器人清扫卫生、机器人表演等。机器人在越来越多的领域出现，其主要目的便是解放人工，例如扫地机器人便节省了用户打扫所需的时间，送餐机器人也减少了餐厅进行配送时所耗费的精力。随着机器人精度的愈加进步，一些更高精度需求的机器人应运而生，如，可弹奏钢琴的弹琴机器人。
[0003]然而，现有的弹琴机器人对琴键的定位方式并不完善。例如通过深度图(RGB Depth Map，RGBD)相机直接获取带有深度数据的图像并借由琴键模板从而确定琴键位置，缺点在于钢琴在较强的环境光照射下，琴键会出现较为严重的反光情况，导致机器人在弹奏过程中可能无法通过RGBD相机对琴键进行准确识别。另一种常用方法会在特定琴键上粘贴特殊形状标签，以此来辅助机器人识别并确定出各琴键的位置。然而这种方法在实际演奏时会出现标签被机械臂遮挡的情况，从而导致机器人在弹奏过程中无法对琴键进行识别。

技术实现思路

[0004]本说明书提供一种弹琴机器人的控制方法及控制装置，以部分的解决现有技术存在的上述问题。
[0005]本说明书采用下述技术方案：
[0006]本说明书提供了一种弹琴机器人的控制方法，包括：
[0007]弹琴机器人通过设置的相机，对预设位置上的标识符进行图像采集，得到采集后的图像，其中，所述标识符设置在钢琴弹奏过程中所述弹琴机器人面对钢琴可观测到的位置；
[0008]通过预先保存的标识符的标准图像对所述图像进行匹配，以确定出所述标识符在所述图像中的图像位置；
[0009]根据所述图像位置以及预先确定出的转化矩阵，确定出所述弹琴机器人在弹琴过程中所处位姿下所述弹琴机器人与各琴键之间的相对位置，所述转化矩阵用于表示所述标识符所在的标识符坐标系与琴键所在的琴键坐标系之间的坐标转化关系，所述转化矩阵是预先基于标定相机的相机坐标系所确定出的；
[0010]根据所述相对位置，控制所述弹琴机器人上的机械臂进行弹奏。
[0011]可选地，预先确定所述转化矩阵，具体包括：
[0012]通过所述相机采集同时包括钢琴琴键和所述标识符的图像信息，作为第一图像；
[0013]对所述第一图像进行识别，以确定至少部分琴键表面的各关键点信息，并根据所
述各关键点信息，确定各琴键的图像坐标，以及确定出所述标识符的图像坐标；
[0014]根据所述标识符的图像坐标以及预先确定出的所述标识符在标识符坐标系中的坐标，确定所述相机的相机坐标系与所述标识符的标识符坐标系之间的坐标转化关系，作为第一转化关系，以及根据所述各琴键的图像坐标以及预先确定出的所述各琴键在琴键坐标系中的坐标，确定出所述相机坐标系与所述各琴键的琴键坐标系之间的坐标转化关系，作为第二转化关系；
[0015]根据所述第一转化关系以及所述第二转化关系，确定所述标识符坐标系与所述琴键坐标系之间的转化矩阵。
[0016]可选地，对所述第一图像进行识别，以确定至少部分琴键表面的各关键点信息，具体包括：
[0017]获取包含有所有琴键的二值图像；
[0018]根据所述二值图像中像素值的变化，确定满足预设长度范围且满足预设斜率范围的直线，作为黑键区域与白键区域的分隔线，以及确定每个琴键各自的边缘线；
[0019]根据确定出的所述分隔线以及每个琴键各自的边缘线，确定至少部分琴键表面的各关键点信息。
[0020]可选地，确定出所述标识符的图像坐标，具体包括：
[0021]通过不同大小的图像滑窗，对所述第一图像进行处理，以得到多个处理后图像，其中，针对每个处理后图像，该处理后图像中标识出至少一个候选标识符所处的图像区域；
[0022]根据所述标识符的图像所满足的位置条件以及候选标识符所满足的尺寸条件，从所述多个处理后图像中确定出所述标识符所在的候选图像区域；
[0023]通过预先保存的所述标识符的标准图像，在所述候选图像区域中对所述标识符进行匹配，以确定出所述标识符的图像坐标。
[0024]可选地，根据所述标识符的图像所满足的位置条件以及候选标识符所满足的尺寸条件，从所述多个处理后图像中确定出所述标识符所在的候选图像区域，具体包括：
[0025]从所述多个处理后图像中确定出位于图像中心邻域范围内的候选标识符所在的图像区域，作为过渡候选区域；
[0026]将所述多个处理后图像中针对同一位置的多个过渡候选区域中区域周长最长的过渡候选区域，作为确定出的所述标识符所在的候选图像区域。
[0027]本说明书提供了一种弹琴机器人的控制装置，包括：
[0028]采集模块，用于通过设置的相机，对预设位置上的标识符进行图像采集，得到采集后的图像，其中，所述标识符设置在钢琴弹奏过程中所述弹琴机器人面对钢琴可观测到的位置；
[0029]第一确定模块，用于通过预先保存的标识符的标准图像对所述图像进行匹配，以确定出所述标识符在所述图像中的图像位置；
[0030]第二确定模块，用于根据所述图像位置以及预先确定出的转化矩阵，确定出弹琴机器人在弹琴过程中所处位姿下所述弹琴机器人与各琴键之间的相对位置，所述转化矩阵用于表示所述标识符所在的标识符坐标系与琴键所在的琴键坐标系之间的坐标转化关系，所述转化矩阵是预先基于标定相机的相机坐标系所确定出的；
[0031]控制模块，用于根据所述相对位置，控制所述弹琴机器人上的机械臂进行弹奏。
[0032]可选的，所述第二确定模块具体用于，通过所述相机采集同时包括钢琴琴键和所述标识符的图像信息，作为第一图像；对所述第一图像进行识别，以确定至少部分琴键表面的各关键点信息，并根据所述各关键点信息，确定各琴键的图像坐标，以及确定出所述标识符的图像坐标；根据所述标识符的图像坐标以及预先确定出的所述标识符在标识符坐标系中的坐标，确定所述相机的相机坐标系与所述标识符的标识符坐标系之间的坐标转化关系，作为第一转化关系，以及根据所述各琴键的图像坐标以及预先确定出的所述各琴键在琴键坐标系中的坐标，确定出所述相机坐标系与所述各琴键的琴键坐标系之间的坐标转化关系，作为第二转化关系；根据所述第一转化关系以及所述第二转化关系，确定所述标识符坐标系与所述琴键坐标系之间的转化矩阵。
[0033]可选的，所述第二确定模块具体用于，获取包含有所有琴键的二值图像；根据所述二值图像中像素值的变化，确定满足预设长度范围且满足预设斜率范围的直线，作为黑键区域与白键区域的分隔线，以及确定每个琴键各自的边缘线；根据确定出的所述分隔线以及每个琴键各自的边缘线，确定至少部分琴键表面的各关键点信息。
[0034]本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现弹琴机器人的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种弹琴机器人的控制方法，其特征在于，包括：弹琴机器人通过设置的相机，对预设位置上的标识符进行图像采集，得到采集后的图像，其中，所述标识符设置在钢琴弹奏过程中所述弹琴机器人面对钢琴可观测到的位置；通过预先保存的标识符的标准图像对所述图像进行匹配，以确定出所述标识符在所述图像中的图像位置；根据所述图像位置以及预先确定出的转化矩阵，确定出所述弹琴机器人在弹琴过程中所处位姿下所述弹琴机器人与各琴键之间的相对位置，所述转化矩阵用于表示所述标识符所在的标识符坐标系与琴键所在的琴键坐标系之间的坐标转化关系，所述转化矩阵是预先基于标定相机的相机坐标系所确定出的；根据所述相对位置，控制所述弹琴机器人上的机械臂进行弹奏。2.如权利要求1所述的方法，其特征在于，预先确定所述转化矩阵，具体包括：通过所述相机采集同时包括钢琴琴键和所述标识符的图像信息，作为第一图像；对所述第一图像进行识别，以确定至少部分琴键表面的各关键点信息，并根据所述各关键点信息，确定各琴键的图像坐标，以及确定出所述标识符的图像坐标；根据所述标识符的图像坐标以及预先确定出的所述标识符在标识符坐标系中的坐标，确定所述相机的相机坐标系与所述标识符的标识符坐标系之间的坐标转化关系，作为第一转化关系，以及根据所述各琴键的图像坐标以及预先确定出的所述各琴键在琴键坐标系中的坐标，确定出所述相机坐标系与所述各琴键的琴键坐标系之间的坐标转化关系，作为第二转化关系；根据所述第一转化关系以及所述第二转化关系，确定所述标识符坐标系与所述琴键坐标系之间的转化矩阵。3.如权利要求2所述的方法，其特征在于，对所述第一图像进行识别，以确定至少部分琴键表面的各关键点信息，具体包括：获取包含有所有琴键的二值图像；根据所述二值图像中像素值的变化，确定满足预设长度范围且满足预设斜率范围的直线，作为黑键区域与白键区域的分隔线，以及确定每个琴键各自的边缘线；根据确定出的所述分隔线以及每个琴键各自的边缘线，确定至少部分琴键表面的各关键点信息。4.如权利要求2所述的方法，其特征在于，确定出所述标识符的图像坐标，具体包括：通过不同大小的图像滑窗，对所述第一图像进行处理，以得到多个处理后图像，其中，针对每个处理后图像，该处理后图像中标识出至少一个候选标识符所处的图像区域；根据所述标识符的图像所满足的位置条件以及候选标识符所满足的尺寸条件，从所述多个处理后图像中确定出所述标识符所在的候选图像区域；通过预先保存的所述标识符的标准图像，在所述候选图像区域中对所述标识符进行匹配，以确定出所述标识符的图像坐标。5.如权利要求4所述的方法，其特征在于，根据所述标识符的图像所满足的位置条件以及候选标识符所满足的尺寸条件，从所述多个处理后...

【专利技术属性】
技术研发人员：孟森森，朱世强，宛敏红，顾建军，严敏东，钟灵，
申请(专利权)人：之江实验室，
类型：发明
国别省市：