一种基于三维物体识别的机械臂手眼标定方法及装置制造方法及图纸

本发明专利技术公开了一种基于三维物体识别的机械臂手眼标定方法及装置，其中，标定方法包括：步骤S1、获取标定物在三维视角坐标系下的第一标定数据；步骤S2、获取所述标定物在机械臂坐标系中的第二标定数据；步骤S3、根据所述第一标定数据和所述第二标定数据，利用ICP迭代最近点算法求解得到：所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。本标定方法在光强较弱的环境下仍然能够实现高精度标定，且步骤简单，可操作性强，克服了现有标定方法精度低、步骤复杂、可操作性差、光照影响大的缺点。

A Method and Device for Manipulator Eye Calibration Based on 3D Object Recognition

The invention discloses a method and device for hand-eye calibration of a manipulator based on three-dimensional object recognition, in which the calibration methods include: acquiring the first calibration data of the calibrator in the three-dimensional perspective coordinate system; acquiring the second calibration data of the calibrator in the mechanical arm coordinate system; and, according to the first calibration data and the second calibration data, acquiring the second calibration data of the calibrator in the mechanical arm coordinate system. The transfer matrix from the coordinates of the three-dimensional perspective coordinate system to the coordinates of the manipulator is obtained by using the ICP iterative nearest point algorithm. This calibration method can still achieve high-precision calibration in the weak light environment, and the steps are simple and operable. It overcomes the shortcomings of the existing calibration methods, such as low accuracy, complex steps, poor operability and large illumination impact.

【技术实现步骤摘要】
一种基于三维物体识别的机械臂手眼标定方法及装置
本专利技术涉及图像识别处理领域，尤其涉及一种基于三维物体识别的机械臂手眼标定方法及装置。
技术介绍
工业自动化作为全球工业4.0时代到来的主要标志，智能制造和无人工厂是未来工业自动化的趋势。在无人工厂中，机械臂取代人工做一些重复的分拣与装配工作不仅可以节省成本，还可以提高工作效率。更智能的视觉与精确的机械臂控制系统成为实现无人工厂的重要前提。二维视觉发展多年已经有很成熟的理论和应用场景，但随着人们对机器的工作场景需求提高，二维视觉已经不能满足要求。三维视觉有着二维视觉不具备的天然优势，可以得到图像内像素点的精准距离信息，并且能在光强较低的环境下工作，所以基于三维视觉的机械臂抓取分拣系统越来越受到工业界重视。基于三维视觉的机械臂手眼系统分为三维视觉和机械臂运动控制模块，想要机械臂实现精准自主抓取分拣目标物体，必须要有高精度的视觉识别系统与机械臂运动控制系统，而这两个系统分别工作在不同的坐标系下，所以需要高精度的标定方法将两个坐标系转到同一坐标系下。现有的标定方案大多为二维视觉对棋盘格进行特征提取与匹配来获取机械臂与相机的坐标关系，这种基于二维棋盘格标定方案步骤繁杂、对环境要求较苛刻，而且标定好后还不能得到被抓取物体的精确距离信息，不能适用很多抓取分拣工业元器件混叠场景的需要。因此，现有技术还有待于改进和发展。
技术实现思路
鉴于上述现有技术的不足，本专利技术的目的在于提供一种基于三维物体识别的机械臂手眼标定方法及装置，旨在解决现有的基于二维棋盘格的标定方法步骤繁杂、对环境要求较苛刻、不够精准的问题。本专利技术的技术方案如下：一种基于三维物体识别的机械臂手眼标定方法，包括：步骤S1、获取标定物在三维视角坐标系下的第一标定数据；步骤S2、获取所述标定物在机械臂坐标系中的第二标定数据；步骤S3、根据所述第一标定数据和所述第二标定数据，利用ICP迭代最近点算法求解得到：所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。所述的基于三维物体识别的机械臂手眼标定方法，其中，所述步骤S1包括：步骤S11、在三维视角坐标系下获取所述标定物的点云数据；步骤S12、通过point-net多层感知网络对所述点云数据进行分割与识别，得到所述标定物的第一标定数据。所述的基于三维物体识别的机械臂手眼标定方法，其中，所述步骤S3包括：步骤S31、构建两组标定数据的目标函数通过初始化R和T，然后迭代计算目标函数，使得目标函数收敛到稳定值停止迭代，得到旋转矩阵R和平移向量T；其中，第一标定数据C′＝{p1′,p2′…pm′}；pi′、pm′分别表示第一标定数据中的第i/m个标定数据；第二标定数据R＝{pr1,pr2…prm}，pri、prm分别表示第二标定数据中的第i/m个标定数据；步骤S32、根据所述旋转矩阵和所述平移向量，求解得到所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。一种基于三维物体识别的机械臂手眼标定装置，包括：机械臂、设置在所述机械臂上的深度相机，用于对所述标定物进行三维视角坐标系下采集，以及分别与所述机械臂、所述深度相机信号连接的智能控制模块，用于：计算标定物在三维视角坐标系中的第一标定数据；计算标定物在机械臂坐标系中的第二标定数据；并利用ICP迭代最近点算法求解得到：所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。所述的基于三维物体识别的机械臂手眼标定装置，其中，所述智能控制模块包括：点云数据获取单元，用于获取所述标定物在所述深度相机的三维视角坐标系中的点云数据C＝{P1,P2,…Pn}，其中，Pn表示第n个点云数据；点云数据处理单元，用于：根据获取的所述点云数据，通过point-net多层感知网络对所述点云数据进行分割与识别，得到所述标定物的第一标定数据C′＝{p1′,p2′…pm′}，其中，pm′表示第一标定数据中的第m个标定数据。所述的基于三维物体识别的机械臂手眼标定装置，其中，所述智能控制模块包括：旋转矩阵和平移向量计算单元，用于：构建两组标定数据的目标函数通过初始化R和T，然后迭代计算目标函数，使得目标函数收敛到稳定值停止迭代，得到旋转矩阵R和平移向量T；其中，第一标定数据C′＝{p1′,p2′…pm′}；pi′、pm′分别表示第一标定数据中的第i/m个标定数据；第二标定数据R＝{pr1,pr2…prm}，pri、prm分别表示第二标定数据中的第i/m个标定数据；转移矩阵计算单元，用于：根据所述旋转矩阵和所述平移向量，求解得到所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。所述的基于三维物体识别的机械臂手眼标定装置，其中，还包括；机械臂底盘，用于承载所述机械臂；机械电爪，连接在所述机械臂的末端，用于抓取物品。有益效果：本专利技术首先获取标定物分别在三维视角坐标系和机械臂坐标系中的第一标定数据和第二标定数据，然后采用ICP(IterativeClosestPoints)迭代最近算法得到三维视角坐标系中的坐标到机械臂坐标系中的转移矩阵。本专利技术不需要使用高精度黑白棋盘标定板，仅需有限个(≥3个)规则的三维可识别物体，就可得到前述的转移矩阵。本标定方法在光强较弱的环境下仍然能够实现高精度标定，且步骤简单，可操作性强，克服了现有标定方法精度低、步骤复杂、可操作性差、光照影响大的缺点。附图说明图1为本专利技术的一种较佳实施的流程图。图2为本专利技术的一种较佳实施例的侧视立体结构图。图3为本专利技术的一种较佳实施例的俯视立体结构图。图4为本专利技术的一种较佳实施例的正视立体结构图。具体实施方式本专利技术提供了一种基于三维物体识别的机械臂手眼标定方法及装置，为使本专利技术的目的、技术方案及效果更加清楚、明确，以下对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供了一种基于三维物体识别的机械臂手眼标定方法的较佳实施例，如图1所示，包括：步骤S1、获取标定物在三维视角坐标系下的第一标定数据。现有技术是采用二维视觉对棋盘格进行特征提取与匹配来获取机械臂与相机的坐标关系，这种基于二维棋盘格标定方案步骤繁杂而且对环境要求较苛刻，而且标定好后还不能得到被抓取物体的精确距离信息，不能适用很多抓取分拣工业元器件混叠场景的需要，因此本专利技术选用三维视角对标定物进行标定，可包括如下步骤：步骤S11、在三维视角坐标系下获取所述标定物的点云数据。可使用深度相机对标定物进行数据采集，其中标定物选用规则的三维可识别物体(至少3个)，获取三维标定物点云数据C＝{P1,P2,…Pn}，其中，Pn表示第n个点云数据。步骤S12、通过point-net多层感知网络对所述点云数据进行分割与识别，得到所述标定物的第一标定数据C′＝{p1′,p2′…pm′}；pm′表示第一标定数据中的第m个标定数据，m＜＜n。步骤S2、获取所述标定物在机械臂坐标系中的第二标定数据。通过移动机械臂准确抓取标定物，可以得到标定物在机械臂坐标系下的三维坐标数据，得到标定物的第二标定数据R＝{pr1,pr2…prm}，prm表示第二标定数据中的第m个标定数据。步骤S3、根据所述第一标定数据和所述第二标定数据，利用ICP迭代最近点算法求解得到：所述三维视角坐标系中的坐标到所述机械臂本文档来自技高网...

【技术保护点】
1.一种基于三维物体识别的机械臂手眼标定方法，其特征在于，包括：步骤S1、获取标定物在三维视角坐标系下的第一标定数据；步骤S2、获取所述标定物在机械臂坐标系中的第二标定数据；步骤S3、根据所述第一标定数据和所述第二标定数据，利用ICP迭代最近点算法求解得到：所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。

【技术特征摘要】
1.一种基于三维物体识别的机械臂手眼标定方法，其特征在于，包括：步骤S1、获取标定物在三维视角坐标系下的第一标定数据；步骤S2、获取所述标定物在机械臂坐标系中的第二标定数据；步骤S3、根据所述第一标定数据和所述第二标定数据，利用ICP迭代最近点算法求解得到：所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。2.根据权利要求1所述的基于三维物体识别的机械臂手眼标定方法，其特征在于，所述步骤S1包括：步骤S11、在三维视角坐标系下获取所述标定物的点云数据；步骤S12、通过point-net多层感知网络对所述点云数据进行分割与识别，得到所述标定物的第一标定数据。3.根据权利要求1所述的基于三维物体识别的机械臂手眼标定方法，其特征在于，所述步骤S3包括：步骤S31、构建两组标定数据的目标函数通过初始化R和T，然后迭代计算目标函数，使得目标函数收敛到稳定值停止迭代，得到旋转矩阵R和平移向量T；其中，第一标定数据C′＝{p1′,p2′…pm′}；pi′、pm′分别表示第一标定数据中的第i/m个标定数据；第二标定数据R＝{pr1,pr2…prm}，pri、prm分别表示第二标定数据中的第i/m个标定数据；步骤S32、根据所述旋转矩阵和所述平移向量，求解得到所述三维视角坐标系中的坐标到所述机械臂坐标系中的转移矩阵。4.一种基于三维物体识别的机械臂手眼标定装置，其特征在于，包括：机械臂、设置在所述机械臂上的深度相机，用于对所述标定物进行三维视角坐标系下采集，以及分别与所述机械臂、所述深度相机信号连接的智能控制模块，用于：计算标定物在三维视角坐标系...

【专利技术属性】
技术研发人员：唐文名，龚元浩，潘威，刘军，邱国平，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东,44