一种基于单目相机和三维力传感器的工业机器人抓取方法技术

本发明专利技术公开了一种基于单目相机和三维力传感器的工业机器人抓取方法，包括以下步骤：对单目相机、工业机器人进行标定，对三维力传感器进行初始化处理；单目相机采集物品图像，上位机进行图像处理计算出物品的位置信息，并根据位置信息控制机器人移动到物品上方位置，然后垂直向下运动直至碰触到待抓取物品；三维力传感器感知机器人末端与物品表面的接触力信息，上位机根据接触力信息控制工业机器人停止运动，并计算机器人末端的位姿增量，根据位姿增量实现机器人姿态的调节，直至机器人末端的气动吸盘与待抓取物品的平面贴合，气动吸盘动作完成抓取工作。本发明专利技术可实现散乱、倾斜放置的物品的抓取，降低了相机标定和物体空间位姿估计的复杂性。

【技术实现步骤摘要】

本专利技术属于机器人伺服控制
，更具体地，涉及一种基于单目相机和三维力传感器的工业机器人抓取方法。
技术介绍
随着工业技术的发展，工业机器人在制造业中的应用越来越广泛，如汽车及汽车零部件制造、机械加工、电子电气生产、橡胶及塑料制造、食品加工、木材与家具制造等领域的自动化生产过程中，机器人作业发挥着重要作用，机器人对工件的抓取是制造业的自动化生产中一项常见的任务。目前，视觉引导与定位技术已经成为工业机器人获得作业周围环境信息的主要手段，如CN201210405693.3公开的基于双目视觉的机器人目标识别与抓取系统及方法，其通过视觉、射频、超声等传感器与外部环境进行智能交互，识别并定位目标物体，并通过导航系统自主到达目标物体所在的位置，以控制机械臂完成对目标物体的抓取任务；CN201310223530.8公开的一种基于双目视觉的人机交互式机械手控制系统和控制方法，其采用提取实时图像采集装置双目图像中的色彩特征作为控制机械手的信号源，通过双目立体视觉系统和三维坐标系转换计算得出视野实时图像中红色特征激光点的三维信息，以控制机械手进行人机交互式的跟踪目标的操作。然而，上述现有技术均是以双目视觉进行目标物体定位为主，且机器人多为夹爪式，这种抓取系统对相机精度要求较高，对物品摆放位置的适应能力差，且双目相机的参数标定困难，图像处理算法复杂，此外，在操作中，机器人抓取的过程存在抓取缓慢或不稳定的情况，存在抓取一类工件的困难，且实时性和可靠性不能保证。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于单目相机和三维力传感器的工业机器人抓取方法，其模拟人的视觉和触觉感知系统实现机器人对目标物的抓取工作，采用六自由度关节式工业机器人作为执行单元，使用单目相机进行环境感知、三维力传感器控制机器人调节姿态的方法，有效解决了物体识别设备成本高，对物体摆放要求严格等特殊限定的问题。为实现上述目的，本专利技术提出了一种基于单目相机和三维力传感器的工业机器人抓取方法，包括以下步骤：(1)首先，对用于获取待抓取物品图像信息的单目相机进行内部参数标定，并对用于执行抓取作业的工业机器人进行手眼标定，以获得工业机器人的基坐标系与相机坐标系之间的变换矩阵，然后对装于工业机器人末端的三维力传感器进行初始化处理；(2)接着，所述单目相机垂直向下照射在待抓取物品的表面以采集物品的图像，将采集到的物品图像传输至上位机中以进行图像处理，并计算出物品的位置信息；所述上位机根据物品的位置信息控制工业机器人移动到物品的上方位置，并使工业机器人垂直向下运动直至碰触到待抓取物品；(3)最后，当工业机器人碰触到待抓取物品后，所述三维力传感器感知工业机器人末端与待抓取物品表面的接触力信息，并将该接触力信息传输至上位机中，所述上位机通过接触力信息控制工业机器人停止运动，并通过接触力信息计算出工业机器人末端的位姿增量，根据所述位姿增量实现工业机器人姿态的调节，直至工业机器人末端的气动吸盘与待抓取物品的平面贴合，然后所述气动吸盘动作完成工业机器人抓取工作。作为进一步优选的，所述工业机器人的基坐标系与相机坐标系之间的变换矩阵采用如下方式获得：(1)定义坐标系：用B表示机器人基坐标系，C表示相机坐标系，O表示物体坐标系，bTc表示基坐标系与相机坐标系之间的变换矩阵，cTo表示相机坐标系与物体坐标系的变换矩阵；(2)坐标系变换：B＝inv(cTb)·C；C＝cTo·O；则B＝inv(cTb)·cTo·O；(3)获得变换矩阵bTc：控制机器人从位置1移动到位置2，由于基坐标系B和物体坐标系O位置不变，则有inv(cTb)·cTo1＝inv(cTb)·cTo2，根据所述inv(cTb)·cTo1＝inv(cTb)·cTo2，通过inv(cTb)·(cTo1-cTo2)＝O计算得到inv(cTb)，从而获得基坐标系与相机坐标系之间的变换矩阵bTc。作为进一步优选的，对装于工业机器人末端的三维力传感器进行初始化处理，具体为：获取三维力传感器坐标系x、y、z三个方向上的当前力Fx、Fy、Fz，然后分别对应减去工业机器人末端各部件重力在力传感器坐标系x、y、z三个方向上的分量，由此实现三维力传感器的初始化处理，具体采用如下表达式表示：FxFyFz-cosαcosβcosαsinβsinγ-sinαcosγcosαsinβcosγ+sinαsinγsinαcosβsinαsinβsinγ+cosαcosγsinαsinβcosγ-cosαsinγ-sinβcosβsinγcosβcosγGxGyGz=0]]>其中，Fx、Fy、Fz分别表示三维力传感器测量的力在自身坐标系x、y、z方向的值；γ是基坐标系绕三维力传感器坐标系x轴的旋转角度，β是基坐标系绕三维力传感器坐标系y轴的旋转角度，α是基坐标系绕三维力传感器坐标系z轴的旋转角度；Gx、Gy、Gz分别表示机器人末端三维力传感器、连接板和气动吸盘在基坐标系x、y、z方向的重力。作为进一步优选的，将采集到的物品图像传输至上位机中以进行图像处理并计算出物品的位置信息具体为：上位机读取单目相机的图像信息以提取物品的边缘轮廓，根据边缘轮廓选取处于最上层的物品，分别取最上层物品各边缘轮廓的中值，从而计算获得相机坐标系下目标物体的中心位置。作为进一步优选的，所述上位机根据物品的位置信息控制工业机器人移动到物品的上方位置，并使工业机器人垂直向下运动直至碰触到待抓取物品具体为：上位机获取工业机器人当前位姿，并根据相机坐标系到机器人基坐标系的变换矩阵cTb，将目标物体在相机坐标系中的中心位置变换至基坐标系中，根据工业机器人当前位姿以及中心位置在基坐标系下的位置获得工业机器人移动到目标位置正上方的轨迹。作为进一步优选的，上位机通过接触力信息计算出工业机器人末端的位姿增量，根据位姿增量实现工业机器人姿态的调节，直至工业机器人末端的气动吸盘与待抓取物品的平面贴合，具体为：三维力传感器在自身坐标系下感知机器人与物体接触时x、y、z方向的接触力，通过坐标系变换得到这三个力在基坐标系下的值，然后上位机计算出机器人末端在基坐标系下的旋转角度增量，具体采用下式表示：FxbFybFzb=cosαcosβcosαsinβsinγ-sinαcosγcosαsinβcosγ+sinαsinγsinαcosβsinαsinβsinγ+cosαcosγsinαsinβcosγ-cosαsinγ-sinβcosβsinγcos&beta本文档来自技高网...

【技术保护点】
一种基于单目相机和三维力传感器的工业机器人抓取方法，其特征在于，包括以下步骤：(1)首先，对用于获取待抓取物品图像信息的单目相机进行内部参数标定，并对用于执行抓取作业的工业机器人进行手眼标定，以获得工业机器人的基坐标系与相机坐标系之间的变换矩阵，然后对装于工业机器人末端的三维力传感器进行初始化处理；(2)接着，所述单目相机垂直向下照射在待抓取物品的表面以采集物品的图像，将采集到的物品图像传输至上位机中以进行图像处理，并计算出物品的位置信息；所述上位机根据物品的位置信息控制工业机器人移动到物品的上方位置，并使工业机器人垂直向下运动直至碰触到待抓取物品；(3)最后，当工业机器人碰触到待抓取物品后，所述三维力传感器感知工业机器人末端与待抓取物品表面的接触力信息，并将该接触力信息传输至上位机中，所述上位机通过接触力信息控制工业机器人暂时停止运动，并通过接触力信息计算出工业机器人末端的位姿增量，根据所述位姿增量实现工业机器人姿态的调节，直至工业机器人末端的气动吸盘与待抓取物品的平面贴合，然后所述气动吸盘动作完成工业机器人抓取工作。

【技术特征摘要】
1.一种基于单目相机和三维力传感器的工业机器人抓取方法，其特征在于，包括以下步骤：(1)首先，对用于获取待抓取物品图像信息的单目相机进行内部参数标定，并对用于执行抓取作业的工业机器人进行手眼标定，以获得工业机器人的基坐标系与相机坐标系之间的变换矩阵，然后对装于工业机器人末端的三维力传感器进行初始化处理；(2)接着，所述单目相机垂直向下照射在待抓取物品的表面以采集物品的图像，将采集到的物品图像传输至上位机中以进行图像处理，并计算出物品的位置信息；所述上位机根据物品的位置信息控制工业机器人移动到物品的上方位置，并使工业机器人垂直向下运动直至碰触到待抓取物品；(3)最后，当工业机器人碰触到待抓取物品后，所述三维力传感器感知工业机器人末端与待抓取物品表面的接触力信息，并将该接触力信息传输至上位机中，所述上位机通过接触力信息控制工业机器人暂时停止运动，并通过接触力信息计算出工业机器人末端的位姿增量，根据所述位姿增量实现工业机器人姿态的调节，直至工业机器人末端的气动吸盘与待抓取物品的平面贴合，然后所述气动吸盘动作完成工业机器人抓取工作。2.根据权利要求1所述的基于单目相机和三维力传感器的工业机器人抓取方法，其特征在于，所述工业机器人手眼标定，获得其基坐标系与相机坐标系之间的变换矩阵采用如下方式获得：(1)定义坐标系：用B表示机器人基坐标系，C表示相机坐标系，O表示物体坐标系，bTc表示基坐标系与相机坐标系之间的变换矩阵，cTo表示相机坐标系与物体坐标系的变换矩阵；(2)坐标系变换：B＝inv(cTb)·C；C＝cTo·O；则B＝inv(cTb)·cTo·O；(3)获得变换矩阵bTc：控制机器人从位置1移动到位置2，由于基坐标系B和物体坐标系O位置不变，则有inv(cTb)·cTo1＝inv(cTb)·cTo2，根据所述inv(cTb)·cTo1＝inv(cTb)·cTo2，通过inv(cTb)·(cTo1-cTo2)＝O计算得到inv(cTb)，从而获得基坐标系与相机坐标系之间的变换矩阵bTc。3.根据权利要求1或2所述的基于单目相机和三维力传感器的工业机器人抓取方法，其特征在于，对装于工业机器人末端的三维力传感器进行初始化处理，具体为：获取三维力传感器坐标系x、y、z三个方向上的当前力Fx、Fy、Fz，然后分别对应减去工业机器人末端各部件重力在力传感器坐标系x、y、z三个方向上的分量，由此实现三维力传感器的初始化处理，具体采用如下表达式表示：FxFyFz-cosαcosβcosαsinβsinγ-sinαcosγcosαsinβcosγ+sinαsinγsinαcosβsinαsinβsinγ+cosαcosγsinαsinβcosγ-cosαsinγ-sinβcosβsinγcosβcosγGxGyGz=0]]>其中，Fx、Fy、Fz分别表示三维力传感器...

【专利技术属性】
技术研发人员：陈茜，赵欢，李祥飞，丁汉，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42