机械臂与3D相机的标定方法、系统、电子设备及存储介质技术方案

本申请涉及机器视觉技术领域，面向机器人系统应用领域，提出一种机械臂与3D相机的标定方法、系统、电子设备及存储介质。通过在机械臂末端安装一具有单特征图案的标定板，使标定板能随机械臂末端同步运动，并在机械臂的基底坐标系下安装一3D相机，在确定所述机械臂的移动范围后，自动控制所述机械臂移动m次，采集m次不同姿态下的标定板图像信息，并选取其中n次的图像信息计算标定矩阵X，以完成机械臂与3D相机的标定。本发明专利技术基于单特征图案的标定板进行标定，在硬件结构上设计简单成本低，在算法上不需要计算标定板的姿态信息，不需要标定相机内参，简化计算流程，降低了计算复杂度，并实现了自动化标定过程。现了自动化标定过程。现了自动化标定过程。

【技术实现步骤摘要】
机械臂与3D相机的标定方法、系统、电子设备及存储介质


[0001]本申请涉及机器视觉技术，面向机器人系统应用领域，提出了一种基于3D相机的机械臂标定技术解决方案，用于机械臂与3D相机之间的标定，包括标定方法、标定系统、电子设备及存储介质。

技术介绍

[0002]机器人系统一般是由视觉传感器、机械臂系统及主控计算机组成。机械臂系统与视觉传感器之间如要实现精准的配合必须做好手眼标定，机械臂与3D相机的标定技术在工业自动化邻域扮演着重要角色，其在引导定位、无序抓取等方面有着广泛的应用。手眼标定就是根据标定相机取得的位置信息与机械臂位置信息对应的匹配关系，即在图像(2D)或点云(3D)中位置与机械臂标定位置(如工具坐标或全局坐标)的转换关系。现有标定技术通常利用较为复杂的标定板进行标定，该类标定过程中，不仅存在标定板结构复杂、标定计算量大的问题，还存在不能实现自动化标定的问题，使机械臂的自动化能力不足。

技术实现思路

[0003]为克服现有技术中的至少一个问题或不足，本申请提出了一种基于3D相机的机械臂标定技术解决方案，用于机械臂与3D相机之间的标定，包括标定方法、标定系统、电子设备及存储介质。
[0004]一、标定方法
[0005]本申请目的之一在于提供一种标定方法，所述标定方法应用于机械臂与3D相机之间，主要包括以下步骤：标定所述机械臂的末端工具坐标系，将机械臂末端工具坐标标定到标定板的特征点的中心位置上，所述特征点包括单特征图案；所述标定板被安装在所述机械臂的末端且能随所述机械臂末端同步运动；移动所述机械臂使所述特征点的中心位置处于所述3D相机的视野中心位置或其附近；所述3D相机被固定在所述机械臂的基底坐标系下固定位置；确定所述机械臂的移动范围，控制所述机械臂在所述移动范围内移动；控制所述3D相机采集m次所述标定板在不同姿态下的图像信息；从采集的m次所述图像信息中，选取n次采集的所述标定板的2D图像及与该2D图像相应的3D点云图像，其中m≥n≥4；提取各张所述2D图像中的特征点在所述基底坐标系下的空间坐标M
i
，及其在对应的3D点云图像中的空间坐标P
i
；i∈[1，n]，i表示第i次图像采集；根据不同姿态下特征点的空间坐标M
i
及其对应的空间坐标P
i
，计算标定矩阵X。本专利技术提出的标定方法，基于单特征点的标定板进行手眼标定，设计简单成本更低，降低了对标定板的规格要求，仅需计算单个特征点的位置且不需要计算标定板的姿态信息，不需要标定3D相机的内参，简化了操作流程，降低了计算复杂度。
[0006]基于上述标定方法，优选的还可在计算得到所述标定矩阵X后，可根据所述标定矩阵X计算m次采集的所述特征点的残差值，并将残差值在预设残差阈值范围内的特征点视为有效点，反之视为无效点；统计所述有效点的数量，若有效点的数量超过预设占比，则判定
本次计算得到的所述标定矩阵X有效，否则判定该标定矩阵X为无效。
[0007]基于上述标定方法，优选的还可在判定所述标定矩阵X为无效后，删除m次采集的所述特征点中的所有无效点，组成新的有效点集合，根据该有效点集合中各个特征点的空间坐标M
i
及其对应的空间坐标P
i
，重新计算标定矩阵X。
[0008]基于上述任一标定方法，优选的还可根据所述特征点的中心位置，以及该中心位置与所述3D相机的视野边界的距离，自动计算所述机械臂在X轴方向和Y轴方向的移动范围；根据所述3D相机的景深自动计算所述机械臂在Z轴方向上的移动范围；自动控制所述机械臂在X轴方向、Y轴方向和Z轴方向的移动范围内移动m次；控制所述3D相机采集该m次不同姿态下所述标定板的图像信息。
[0009]基于上述任一标定方法，优选的还可在控制所述3D相机采集m次不同姿态下所述标定板的图像信息时，自动判断采集的图像信息是否合格，若不合格则控制所述3D相机重新采集该次的图像信息或者控制所述机械臂移动位置后再次采集；所述自动判断采集的图像信息是否合格的方式包括但不限于：A、检查所采集的图像信息中其特征点的清晰度；B、检查所述特征点是否超出所述3D相机的视野；C、检查所述特征点是否超出所述3D相机的景深。
[0010]基于上述任一标定方法，优选的还可在计算3D点云图像中的所述空间坐标P
i
时，利用X方向、Y方向和Z方向分量分离的点云结构，将所述3D点云图像中与所述特征点对应的X方向、Y方向和Z方向的值，作为所述空间坐标P
i
的值。
[0011]二、标定系统
[0012]本申请目的之一在于提供一种标定系统，所述系统包括机械臂、3D相机、标定板和控制单元；所述标定板被安装在所述机械臂的末端且能随机械臂末端同步运动，所述标定板上设有单特征图案作为特征点；所述3D相机被固定在所述机械臂的基底坐标系下固定位置；所述控制单元与机械臂和3D相机信号连接，用于执行和存储计算机程序，当所述计算机程序被所述控制单元执行时，控制所述机械臂在自动确定的移动范围内移动，控制所述3D相机采集图像信息，并实现第一部分中任一项所述标定方法对应的操作。
[0013]基于上述标定系统，优选的，所述标定板可主要由标定基板和标定模板组成；所述标定基板的正面的形状为长方形状，其正面上部设有标定区域，其正面下部设有安装区域；所述安装区域包括一个或多个与所述机械臂末端的法兰盘相匹配的安装孔；所述标定板通过所述安装孔被安装在所述机械臂的末端；所述标定模板的特征点为单特征图案，被固定在所述标定区域中。
[0014]三、电子设备
[0015]本申请目的之一在于提供电子设备。所述电子设备可主要包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器用于与机械臂和3D相机进行交互通信，并在执行所述计算机程序时，控制所述机械臂在自动确定的移动范围内移动，控制所述3D相机采集图像信息，实现如第一部分中任一项所述标定方法对应的操作。
[0016]四、计算机程序存储介质
[0017]本申请目的之一在于提供一种计算机可读的存储介质。所述存储介质用于存储计算机程序，当计算机读取所述存储介质中的计算机程序后，计算机运行如第一部分中任一项所述标定方法对应的操作。
[0018]综上所述，由于采用了上述技术方案，本专利技术的有益效果包括：本专利技术提出的基于3D相机的机械臂标定方法、系统、电子设备及存储介质，基于单特征图案的标定板进行标定，在硬件结构上设计简单成本更低，降低了对标定板的规格要求，在算法上仅需计算单个特征点的位置，不需要计算标定板的姿态信息，不需要标定3D相机的内参，简化了计算流程，降低了计算复杂度，并实现了自动化标定操作，机械臂可自动确定其移动范围，并自动采集m次所需的图像信息。需说明是的，本申请不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是本申请提到任意一种或几种的组合，也可以是其他未穷尽说明的任何可能获得的有益效果。
附图说明
...

【技术保护点】

【技术特征摘要】
1.机械臂与3D相机的标定方法，其特征在于：所述方法包括以下步骤：标定所述机械臂的末端工具坐标系，将机械臂末端工具坐标标定到标定板的特征点的中心位置上，所述特征点包括单特征图案；所述标定板被安装在所述机械臂的末端且能随所述机械臂末端同步运动；移动所述机械臂使所述特征点的中心位置处于所述3D相机的视野中心位置或其附近；所述3D相机被固定在所述机械臂的基底坐标系下固定位置；确定所述机械臂的移动范围，控制所述机械臂在所述移动范围内移动；控制所述3D相机采集m次所述标定板在不同姿态下的图像信息；从采集的m次所述图像信息中，选取n次采集的所述标定板的2D图像及与该2D图像相应的3D点云图像，其中m≥n≥4；提取各张所述2D图像中的特征点在所述基底坐标系下的空间坐标M
i
，及其在对应的3D点云图像中的空间坐标P
i
；i∈[1,n]，i表示第i次图像采集；根据不同姿态下特征点的空间坐标M
i
及其对应的空间坐标P
i
，计算标定矩阵X。2.根据权利要求1所述标定方法，其特征在于：在计算得到所述标定矩阵X后，根据所述标定矩阵X计算m次采集的所述特征点的残差值，并将残差值在预设残差阈值范围内的特征点视为有效点，反之视为无效点；统计所述有效点的数量，若有效点的数量超过预设占比，则判定本次计算得到的所述标定矩阵X有效，否则判定该标定矩阵X为无效。3.根据权利要求2所述标定方法，其特征在于：当判定所述标定矩阵X为无效后，将删除m次采集的所述特征点中的所有无效点，组成新的有效点集合，根据该有效点集合中各个特征点的空间坐标M
i
及其对应的空间坐标P
i
，重新计算标定矩阵X。4.根据权利要求1所述标定方法，其特征在于：根据所述特征点的中心位置，以及该中心位置与所述3D相机的视野边界的距离，自动计算所述机械臂在X轴方向和Y轴方向的移动范围；根据所述3D相机的景深自动计算所述机械臂在Z轴方向上的移动范围；自动控制所述机械臂在X轴方向、Y轴方向和Z轴方向的移动范围内移动m次；控制所述3D相机采集该m次不同姿态下所述标定板的图像信息。5.根据权利要求1所述标定方法，其特征在于：在控制所述3D相机采集m次不同姿态下所述标定板的图像信息时，自动判断采集的图像信息是否合格，若不合格则控制所述3D相机重新采集该次的图像信息或者控制所述机械臂移...

【专利技术属性】
技术研发人员：周坤，周剑，
申请(专利权)人：苏州深浅优视智能科技有限公司，
类型：发明
国别省市：