一种适用于视觉伺服插拔作业的标定方法技术

一种适用于视觉伺服插拔作业的标定方法，属于图像识别领域。基于视觉伺服的伺服对准控制精度低，插拔阶段时开环控制的插拔作业的效果差的问题。一种适用于视觉伺服插拔作业的标定方法，利用相机采集包含插针、插口和插头夹持装置的图像；利用深度学习算法获得插口中每个插针的中心点以及插头夹持装置上每个标定板的中心点；之后计算插口中点坐标、插口偏角、插头夹持装置中点以及插头夹持装置偏角；将点坐标转移到机器人机械臂末端关节坐标系中；获得插口中点在机器人末端坐标系的坐标；在末端坐标系中计算视觉伺服图像特征误差；将视觉伺服特征发送给机器人视觉伺服算法，控制机器人运动。本发明专利技术使视觉伺服插拔作业当中作业精度得到提高。

A Calibration Method for Visual Servo Interpolation

A calibration method suitable for visual servo interpolation operation belongs to the field of image recognition. The servo alignment control precision based on visual servo is low, and the effect of open-loop control in plugging stage is poor. A calibration method suitable for visual servo plug-in operation is presented. The camera is used to collect images of the pins, sockets and plug-holding devices. The center points of each pin in the socket and the center points of each calibration plate on the plug-holding device are obtained by depth learning algorithm. Then the coordinates of the midpoint of the socket, the deviation angle of the socket, the points of the plug-holding device and the deviation of the plug-holding device are calculated. Angle; Transfer the point coordinates to the joint coordinates of the end of the robot arm; Obtain the coordinates of the midpoint of the socket in the robot's end coordinates; Calculate the visual servo image feature errors in the end coordinates; Send the visual servo features to the robot's visual servo algorithm to control the robot's motion. The invention improves the operation accuracy in the visual servo insertion operation.

【技术实现步骤摘要】
一种适用于视觉伺服插拔作业的标定方法
本专利技术涉及一种适用于视觉伺服插拔作业的标定方法。
技术介绍
目前，各种类型的机器人、机械臂在工业自动化当中运用渐趋广泛，而利用机器人进行装配作业更是运用广泛。然而，让机器人精确对准装配作业时的插槽是该作业当中的一大难点。而其中一种较为困难的装配作业就是插头插口组装作业。大部分视觉伺服技术都是使目标对准图像中某一个固定位置，由人为根据具体经验或者机械结构测量决定。为了保护插口以及插头的耐久度，我们常常使用视觉伺服方法来使插头精确对准插槽。然而由于视觉伺服在伺服对准后的插拔过程当中是开环控制，如果无法精确对准，往往插拔作业的效果较差，无法完成任务。
技术实现思路
本专利技术的目的是为了解决基于视觉伺服的伺服对准控制精度低，插拔阶段时开环控制的插拔作业的效果差的问题，而提出一种适用于视觉伺服插拔作业的标定方法。一种适用于视觉伺服插拔作业的标定方法，所述方法包括以下步骤：步骤一、标定准备工作：为机器人机械臂末端关节设置插头夹持装置，插头夹持装置的两个对称的夹子上分别设置一标定板，机器人机械臂上还安装有相机，相机对准目标，且相机视野范围内包含插口与插头夹持装置；其中，目标是指插入了插针的插口；步骤二、利用相机采集包含插针、插口和插头夹持装置的图像；其中，采集图像过程中利用激光光源提供光照，且将激光光源对准插头夹持装置及插口；且是采用pyTorch搭建的神经网络进行插口位置以及插头夹持装置的位置的识别的；步骤三、利用深度学习算法进行特征识别，分别获得插口中每个插针的中心点(xp1,yp1)和(xp2,yp2)，以及插头夹持装置上每个标定板的中心点(xb1,yb1)和(xb2,yb2)；步骤四、由插针的中心点计算插口中点(xdm,ydm)坐标以及插口偏角θd，计算公式如下：同理，计算插头夹持装置中点以及插头夹持装置偏角θb；步骤五、将步骤四获得的插口中的点坐标由图像坐标系转移到机器人机械臂末端关节坐标系当中；首先，将点转移到像平面坐标系；然后，将点转移到相机末端关节坐标系当中用于视觉伺服过程，其中，将插口中点坐标(xdm,ydm)进行转换的公式为：获得插口中点在机器人末端坐标系的坐标插口偏角θd不做转换；步骤六、在末端坐标系中计算视觉伺服图像特征误差：利用获得的插针特征点和插口偏角θd，以及标定板特征点和插头夹持装置偏角θb，计算视觉伺服中的图像误差：θerr＝θb-θd并将该误差点以及误差角度θerr作为视觉伺服特征；步骤七、将视觉伺服特征发送给机器人视觉伺服算法，进而在机器人的主控制程序中控制机器人运动，具体为：步骤七一、先控制机器人到插头与插口组装作业位置附近，保证相机视野中包含标定板与插口，且标定板在标定过程中不会再遮挡插口；步骤七二、控制机器人使操作端末端距离插口位置的高度固定，且机器人操作端末端插头夹持装置上的两个标定板所在平面平行于插口上口所在平面；步骤七三、机器人进行视觉伺服，通过深度学习方法来识别标定板与插口，并通过TCP/IP协议发送给机器人控制器，机器人控制器的TCP/IP接收程序首先接收识别点，然后在所述程序当中将接受到的识别点转化为视觉伺服过程当中所需要的图像特征信息，并传给机器人控制主程序以供视觉伺服指令使用。步骤七四、待伺服完成，在程序的配置文件中记录此时图像中插头夹持装置与插口对准重合时的中心的位置以及偏角，即为插头夹持装置中点以及插头夹持装置偏角θb。本专利技术的有益效果为：本专利技术提出一种视觉伺服插拔作业当中适用的标定方法。依靠pyTorch搭建的神经网络进行插口位置识别以及插头夹持装置的位置识别，再利用视觉伺服算法使插口与插头夹持装置的位置对准。然后记下该位置在图像坐标系当中的位置，并以此作为标定位置，既认为装配作业当中当插口中心移动到这个点时插头与插口才对准。在其后的视觉伺服插拔作业当中，视觉伺服使插口中心移动到标定点，然后开环控制插拔作业。实现良好的视觉伺服效果，视觉伺服插拔作业当中作业精度提高80％，保护插头与插口的耐久度，使用寿命延长一倍。本专利技术提供了一种视觉伺服过程当中的标定方法，该方法的目的是为了确定当插头可以准确的插进电源口时，电源口在图像中的位置和姿态。进行此过程是为了减少由于环境变化，机械结构变形等外部因素造成的插拔误差。该专利技术提供了一种在视觉伺服过程当中提高伺服精度的方法，以及在装配作业当中减少装配误差的一种途径。由于提高了视觉伺服插头插口组装作业当中作业精度，可以更好的保护插头与插口的耐久度，防止由于错误组装导致的插口或插头损坏，从而显著提高生产效率，节约加工成本，在未来视觉伺服相关的各种组装作业中有重要应用。附图说明图1为本专利技术的流程图；图2为本专利技术涉及的插头夹持装置上安装标定板的结构示意图；1为夹子，2为标定板，3为机械臂；图3为本专利技术涉及的深度学习算法识别出的插口中心点与插头夹持装置中心点的示意图；图4为本专利技术涉及的图像视野示意图；图5为本专利技术涉及的机器人与目标插口位置示意图，1为夹子，3为机械臂，4为机器人，5为插头插拔装置，6为相机，7为目标物体，8为插拔作业气缸；具体实施方式具体实施方式一：本实施方式的一种适用于视觉伺服插拔作业的标定方法，所述方法包括以下步骤，如图1所示：步骤一、标定准备工作：为机器人机械臂末端关节设置插头夹持装置，插头夹持装置的两个对称的夹子上分别设置一标定板，如图2所示，机器人机械臂上还安装有相机，相机对准目标，且相机视野范围内包含插口与插头夹持装置；其中，目标是指插入了插针的插口；步骤二、利用相机采集包含插针、插口和插头夹持装置的图像；其中，采集图像过程中利用激光光源提供光照，且将激光光源对准插头夹持装置及插口；步骤三、利用深度学习算法进行特征识别，分别获得插口中每个插针的中心点(xp1,yp1)和(xp2,yp2)，以及插头夹持装置上每个标定板的中心点(xb1,yb1)和(xb2,yb2)；如图3所示；步骤四、由插针的中心点计算插口中点(xdm,ydm)坐标以及插口偏角θd；并由插头夹持装置上每个标定板的中心点计算插头夹持装置中点以及插头夹持装置偏角θb；步骤五、将步骤四获得的插口中的点坐标由图像坐标系转移到机器人机械臂末端关节坐标系当中；首先，将点转移到像平面坐标系；然后，将插口中点坐标(xdm,ydm)转移到相机末端关节坐标系当中，获得插口中点在机器人末端坐标系的坐标步骤六、在末端坐标系中计算视觉伺服图像特征误差：利用获得的插针特征点和插口偏角θd，以及标定板特征点和插头夹持装置偏角θb，计算视觉伺服中的图像误差，并将该误差点以及误差角度θerr作为视觉伺服特征；步骤七、将视觉伺服特征发送给机器人视觉伺服算法，进而在机器人的主控制程序中控制机器人运动；执行精准的操作。具体实施方式二：与具体实施方式一不同的是，本实施方式的一种适用于视觉伺服插拔作业的标定方法，所述的步骤一中机器人机械臂上还安装有相机具体为，机器人机械臂末端关节上还安装有相机。具体实施方式三：与具体实施方式一或二不同的是，本实施方式的一种适用于视觉伺服插拔作业的标定方法，所述步骤三中利用深度学习算法进行特征识别时，是采用pyTorch搭建的神经网络进行插口位置以及插头夹持装置的位置的识别的。PyTorch属于一种神本文档来自技高网...

【技术保护点】
1.一种适用于视觉伺服插拔作业的标定方法，其特征在于：所述方法通过以下步骤实现：步骤一、标定准备工作：为机器人机械臂末端关节设置插头夹持装置，插头夹持装置的两个对称的夹子上分别设置一标定板，机器人机械臂上还安装有相机，相机对准目标，且相机视野范围内包含插口与插头夹持装置；其中，目标是指插入了插针的插口；步骤二、利用相机采集包含插针、插口和插头夹持装置的图像；其中，采集图像过程中利用激光光源提供光照，且将激光光源对准插头夹持装置及插口；步骤三、利用深度学习算法进行特征识别，分别获得插口中每个插针的中心点(xp1,yp1)和(xp2,yp2)，以及插头夹持装置上每个标定板的中心点(xb1,yb1)和(xb2,yb2)；步骤四、由插针的中心点计算插口中点(xdm,ydm)坐标以及插口偏角θd；并由插头夹持装置上每个标定板的中心点计算插头夹持装置中点

【技术特征摘要】
1.一种适用于视觉伺服插拔作业的标定方法，其特征在于：所述方法通过以下步骤实现：步骤一、标定准备工作：为机器人机械臂末端关节设置插头夹持装置，插头夹持装置的两个对称的夹子上分别设置一标定板，机器人机械臂上还安装有相机，相机对准目标，且相机视野范围内包含插口与插头夹持装置；其中，目标是指插入了插针的插口；步骤二、利用相机采集包含插针、插口和插头夹持装置的图像；其中，采集图像过程中利用激光光源提供光照，且将激光光源对准插头夹持装置及插口；步骤三、利用深度学习算法进行特征识别，分别获得插口中每个插针的中心点(xp1,yp1)和(xp2,yp2)，以及插头夹持装置上每个标定板的中心点(xb1,yb1)和(xb2,yb2)；步骤四、由插针的中心点计算插口中点(xdm,ydm)坐标以及插口偏角θd；并由插头夹持装置上每个标定板的中心点计算插头夹持装置中点以及插头夹持装置偏角θb；步骤五、将步骤四获得的插口中的点坐标由图像坐标系转移到机器人机械臂末端关节坐标系当中；首先，将点转移到像平面坐标系；然后，将插口中点坐标(xdm,ydm)转移到相机末端关节坐标系当中，获得插口中点在机器人末端坐标系的坐标步骤六、在末端坐标系中计算视觉伺服图像特征误差：利用获得的插针特征点和插口偏角θd，以及标定板特征点和插头夹持装置偏角θb，计算视觉伺服中的图像误差，并将该误差点以及误差角度θerr作为视觉伺服特征；步骤七、将视觉伺服特征发送给机器人视觉伺服算法，进而在机器人的主控制程序中控制机器人运动。2.根据权利要求1所述的一种适用于视觉伺服插拔作业的标定方法，其特征在于：所述的步骤一中机器人机械臂上还安装有相机具体为，机器人机械臂末端关节上还安装有相机。3.根据权利要求1或2所述的一种适用于视觉伺服插拔作业的标定方法，其特征在于：所述的步骤三中利用深度学习算法进行特征识别时，是采用pyTorch搭建的神经网络进行插口位置以及插头夹持装置的...

【专利技术属性】
技术研发人员：林伟阳，邓肖珂，邱剑彬，佟明斯，李湛，高会军，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23