一种基于视觉伺服的螺孔定位及锁卸螺丝方法技术

本发明专利技术涉及一种基于视觉伺服的螺孔定位及锁卸螺丝方法，应用一种基于视觉伺服的螺孔定位及锁卸螺丝装置进行定位螺孔及锁卸螺丝，利用所述基于视觉伺服的螺孔定位及锁卸螺丝装置的视觉测量模块获取目标螺孔或螺丝的位置信息和姿态信息，利用所述基于视觉伺服的螺孔定位及锁卸螺丝装置的控制执行模块控制执行螺孔定位与锁卸螺丝。本发明专利技术可很大程度上提高螺丝的定位精度；利用机械臂为移动载体，增大了工作范围，也可以在工人不方便去的环境中进行螺丝的锁卸工作；提出一种由点到面的螺丝或螺孔定位方法。

A method of locating screw holes and locking screws based on visual servoing

The invention relates to a screw hole positioning and lock unload screw method based on visual servoing. It uses a vision servo screw hole positioning and locking unscrew device to locate screw holes and lock unscrew, and uses the visual measurement module of the vision servo screw hole positioning and lock unscrew device to obtain the target screw holes or screws. Position information and attitude information, using the control execution module of the screw hole positioning and locking screw device based on the visual servo control to control the execution of the screw hole positioning and locking screw. The invention can improve the positioning accuracy of the screw to a great extent; using the manipulator as the moving carrier, the working range is increased and the lock and unloading of the screw can be carried out in the environment where the workers are inconvenient, and a screw or screw hole positioning method from the point to surface is proposed.

【技术实现步骤摘要】
一种基于视觉伺服的螺孔定位及锁卸螺丝方法
本专利技术涉及机械组装
，尤其涉及一种基于视觉伺服的螺孔定位及锁卸螺丝的方法。
技术介绍
在机械设备制造过程中，需要对各零部件进行装配，装配的工艺流程直接影响到设备制造的效率，而安装螺丝是最基本的装配工艺。螺丝装配的效率直接影响了生产制造的效率。另外，现在电子产品正在以突飞猛进的速度发展，且需求也越来越多，因此要实现批量化生产。在电子产品的组装线上，同样有很多的螺丝要锁卸，有些工作环境空间狭小，或存在强磁、强电等不适宜工作人员的工作情况，进而影响锁卸效率。公告号为CN102240902B的中国专利文件公开了一种自动拧螺丝机，螺丝定位装置包括相连通的工模和定位槽，工模包括模体和铰接在模体上的夹持元件，夹持元件在竖直方向上实现开合动作。但是，螺丝定位装置的零部件较多、结构复杂，而且由于夹持元件竖向开合，在竖直方向上占用空间较大，需要使螺丝刀预留出较大的插入长度，以防干涉，另外，夹持元件没有对螺钉形成360度的夹持，螺丝可能出现偏斜异位，使得自动拧螺丝机的可靠性不高。申请号为201510352012.5中国专利文件公开了一种虚拟螺丝定位系统及定位方法，该方法包括：拍摄全局照片，计算得出所有螺丝或螺孔的位置信息；微控制单元将待锁定的螺丝或螺孔的位置信息传输给控制器；控制器将相机移动到待锁定的螺丝或螺孔的拍照位置；微控制单元触发相机进行拍照；再次计算得出待锁定的螺丝或螺孔的校正位置信息，并传输给控制器；伺服马达根据第二控制信息控制螺丝机移动到待锁定的螺丝或螺孔所在的位置。该方法采用的是虚拟仪器定位技术，相比于坐标标定技术具有定位精度不高的缺点，且此方法整个流程只定位两次，分别为粗略定位和二次定位，定位次数太少，难以保证定位的精准度。因此，为了解决以上问题，提高生产效率，确有必要提供一种方法来有效实现螺孔定位和锁卸螺丝。
技术实现思路
本专利技术提出了一种基于视觉伺服的螺丝或螺孔定位及锁卸螺丝方法，可以在复杂环境下基于摄像头采集的图片实现螺丝或螺孔定位并利用机械臂单元的末端装上大扭矩拧紧枪对目标工件上的螺丝进行锁卸操作。若一个工件上有很多需要锁卸的螺丝，则只需要定位两个特征比较明显的螺丝，进而可通过相关几何关系推算出其他螺丝的位置，可大大提高螺丝定位的精度和效率。为实现上述目的，本专利技术采用了以下技术方案：一种基于视觉伺服的螺孔定位及锁卸螺丝的方法，应用一种基于视觉伺服的螺孔定位及锁卸螺丝装置进行定位螺孔及锁卸螺丝，所述基于视觉伺服的螺孔定位及锁卸螺丝装置包括视觉测量模块和控制执行模块，所述视觉测量模块和所述控制执行模块之间通过网络进行数据传输与通讯；所述视觉测量模块包括双目摄像头、粗定位摄像头和激光打点器；所述控制执行模块包括机械臂单元和计算机，所述机械臂单元包括大扭矩拧紧枪、机械臂小臂、机械臂大臂、机械臂控制箱、基座和螺丝套筒；所述大扭矩拧紧枪、所述螺丝套筒、所述双目摄像头和所述激光打点器位于所述机械臂单元的末端；其特征在于，包括如下步骤：步骤1：所述基于视觉伺服的螺孔定位及锁卸螺丝装置的初始化，包括设定其各个部件的初始化位置，检测其各个部件的功能是否正常，确认电路、通讯是否正常；步骤2：利用所述粗定位摄像头采集待检修工件上的目标螺丝或螺孔的图像，确认所述目标螺丝或螺孔基于所述粗定位摄像头坐标系下的中心坐标，根据所述粗定位摄像头与所述基座的相对位置，再将基于所述粗定位摄像头的坐标系下的所述目标螺丝或螺孔中心坐标转换到基于所述基座的坐标系下的坐标，并将这些位置数据传输给所述计算机；步骤3：所述计算机根据接收到的所述目标螺丝或螺孔的位置数据，经过综合处理所述位置数据后生成运动控制指令，并将所述运动控制指令传送给所述机械臂控制箱；步骤4：所述机械臂控制箱根据所述运动控制指令，通过驱动伺服电机转动，带动机械臂单元末端的所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器向靠近所述目标螺丝或螺孔的方向运动，计算所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器的当前位置与目标位置之间的差距，判断所述差距是否在阈值范围内，若是，则进入步骤5，若不是，则返回步骤2；步骤5：所述机械臂单元末端的所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器运动到目标位置的阈值范围内时，所述目标螺丝或螺孔将进入所述机械臂单元末端的所述双目摄像头的工作范围，此时利用双目视觉对所述目标螺丝或螺孔进行再次精确定位，确定所述目标螺丝或螺孔的姿态信息；步骤6：根据获取的所述目标螺丝或螺孔的位置信息和姿态信息，进行拧进或卸下螺丝。进一步地，所述步骤2中的确认所述目标螺丝或螺孔的位置信息，采用的是模板匹配法，基于设定好的螺孔模板，计算采集的所述目标螺丝或螺孔的图像与所述螺孔模板中的每个螺丝或螺孔的相似度，以寻找所述目标螺丝或螺孔的位置，拟合出基于所述粗定位摄像头坐标系下的所述目标螺丝或螺孔的中心坐标。进一步地，所述步骤2中的所述目标螺丝或螺孔中心坐标由所述粗定位摄像头坐标系下的变换到所述基座坐标系下的，坐标转换可通过旋转、平移的方式。进一步地，所述步骤4中的计算所述当前位置与所述目标位置之间的差距，将所述差距定义为运动学误差函数值，所述运动学误差函数值还可以被传送至所述计算机，并影响所述运动控制指令的产生。进一步地，所述步骤5中的精确定位，搜寻所述目标螺丝或螺孔采用的是基于区域相关的匹配方法，匹配所述双目摄像头的左右摄像头所拍摄的固定尺寸的图像窗口，基于相似度准则度量两个图像窗口间的相关性。进一步地，当所述相似度准则最大时，此时两个图像的搜索区域中对应的像素点是匹配的。进一步地，基于区域相关的匹配方法中确认区域的方法是，将以所述目标螺丝或螺孔为圆心的局部区域放大，并利用所述激光打点器对所述局部区域打上激光记号点，在所述激光记号点中选取三个特征点，利用所述三个特征点确定一个平面。进一步地，所述步骤6中的拧进螺丝，所述大扭矩拧紧枪对准所述目标螺孔，将放置在所述大扭矩拧紧枪中的螺丝拧进所述目标螺孔。进一步地，所述步骤6中的卸下螺丝，所述螺丝套筒对准所述目标螺丝，将需要拆卸的所述目标螺丝卸下。进一步地，还包括：根据其他螺丝或螺孔和已获取位置信息和姿态信息的所述目标螺丝或螺孔之间的物理偏差关系，计算出其他螺丝或螺孔的位置信息和姿态信息，进而再对其他螺丝或螺孔执行拧进或卸下螺丝。本专利技术提供的技术方案带来的有益效果是：(1)利用两套摄像头对螺丝进行精确定位，可很大程度上提高螺丝的定位精度；(2)利用机械臂为移动载体，增大了工作范围，也可以在工人不方便去的环境中进行螺丝的锁卸工作；(3)提出一种由点到面的螺丝或螺孔定位方法，首先确定一个螺丝或螺孔的具体位置，然后根据其余螺丝或螺孔与确定螺丝或螺孔之间的位置关系。附图说明图1是本专利技术装置的组成示意图；图2是本专利技术装置的结构示意图；图3是本专利技术装置的伺服控制原理图；图4是本专利技术待检测工件的螺孔位置关系图；图5是本专利技术方法的工作流程图。附图中标号：1-大扭矩拧紧枪，2-机械臂小臂，3-机械臂大臂，4-机械臂控制箱，5-计算机，6-基座，7-双目CCD摄像头；8-待锁卸螺丝或螺孔，9-待检修工件，10-粗定位摄像头，11-螺丝套筒，12-激光打点本文档来自技高网...

【技术保护点】
一种基于视觉伺服的螺孔定位及锁卸螺丝的方法，应用一种基于视觉伺服的螺孔定位及锁卸螺丝装置进行定位螺孔及锁卸螺丝，所述基于视觉伺服的螺孔定位及锁卸螺丝装置包括视觉测量模块和控制执行模块，所述视觉测量模块和所述控制执行模块之间通过网络进行数据传输与通讯；所述视觉测量模块包括双目摄像头、粗定位摄像头和激光打点器；所述控制执行模块包括机械臂单元和计算机，所述机械臂单元包括大扭矩拧紧枪、机械臂小臂、机械臂大臂、机械臂控制箱、基座和螺丝套筒；所述大扭矩拧紧枪、所述螺丝套筒、所述双目摄像头和所述激光打点器位于所述机械臂单元的末端；其特征在于，包括如下步骤：步骤1：所述基于视觉伺服的螺孔定位及锁卸螺丝装置的初始化，包括设定其各个部件的初始化位置，检测其各个部件的功能是否正常，确认电路、通讯是否正常；步骤2：利用所述粗定位摄像头采集待检修工件上的目标螺丝或螺孔的图像，确认所述目标螺丝或螺孔基于所述粗定位摄像头坐标系下的中心坐标，根据所述粗定位摄像头与所述基座的相对位置，再将基于所述粗定位摄像头的坐标系下的所述目标螺丝或螺孔中心坐标转换到基于所述基座的坐标系下的坐标，并将这些位置数据传输给所述计算机；步骤3：所述计算机根据接收到的所述目标螺丝或螺孔的位置数据，经过综合处理所述位置数据后生成运动控制指令，并将所述运动控制指令传送给所述机械臂控制箱；步骤4：所述机械臂控制箱根据所述运动控制指令，通过驱动伺服电机转动，带动机械臂单元末端的所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器向靠近所述目标螺丝或螺孔的方向运动，计算所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器的当前位置与目标位置之间的差距，判断所述差距是否在阈值范围内，若是，则进入步骤5，若不是，则返回步骤2；步骤5：所述机械臂单元末端的所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器运动到目标位置的阈值范围内时，所述目标螺丝或螺孔将进入所述机械臂单元末端的所述双目摄像头的工作范围，此时利用双目视觉对所述目标螺丝或螺孔进行再次精确定位，确定所述目标螺丝或螺孔的姿态信息；步骤6：根据获取的所述目标螺丝或螺孔的位置信息和姿态信息，进行拧进或卸下螺丝。...

【技术特征摘要】
1.一种基于视觉伺服的螺孔定位及锁卸螺丝的方法，应用一种基于视觉伺服的螺孔定位及锁卸螺丝装置进行定位螺孔及锁卸螺丝，所述基于视觉伺服的螺孔定位及锁卸螺丝装置包括视觉测量模块和控制执行模块，所述视觉测量模块和所述控制执行模块之间通过网络进行数据传输与通讯；所述视觉测量模块包括双目摄像头、粗定位摄像头和激光打点器；所述控制执行模块包括机械臂单元和计算机，所述机械臂单元包括大扭矩拧紧枪、机械臂小臂、机械臂大臂、机械臂控制箱、基座和螺丝套筒；所述大扭矩拧紧枪、所述螺丝套筒、所述双目摄像头和所述激光打点器位于所述机械臂单元的末端；其特征在于，包括如下步骤：步骤1：所述基于视觉伺服的螺孔定位及锁卸螺丝装置的初始化，包括设定其各个部件的初始化位置，检测其各个部件的功能是否正常，确认电路、通讯是否正常；步骤2：利用所述粗定位摄像头采集待检修工件上的目标螺丝或螺孔的图像，确认所述目标螺丝或螺孔基于所述粗定位摄像头坐标系下的中心坐标，根据所述粗定位摄像头与所述基座的相对位置，再将基于所述粗定位摄像头的坐标系下的所述目标螺丝或螺孔中心坐标转换到基于所述基座的坐标系下的坐标，并将这些位置数据传输给所述计算机；步骤3：所述计算机根据接收到的所述目标螺丝或螺孔的位置数据，经过综合处理所述位置数据后生成运动控制指令，并将所述运动控制指令传送给所述机械臂控制箱；步骤4：所述机械臂控制箱根据所述运动控制指令，通过驱动伺服电机转动，带动机械臂单元末端的所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器向靠近所述目标螺丝或螺孔的方向运动，计算所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器的当前位置与目标位置之间的差距，判断所述差距是否在阈值范围内，若是，则进入步骤5，若不是，则返回步骤2；步骤5：所述机械臂单元末端的所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器运动到目标位置的阈值范围内时，所述目标螺丝或螺孔将进入所述机械臂单元末端的所述双目摄像头的工作范围，此时利用双目视觉对所述目标螺丝或螺孔进行再次精确定位，确定所述目标螺丝或螺孔的姿态信息；步骤6：根据获取的所述目标螺丝或螺孔的位置信息和姿态信息，进行拧进或卸下螺丝。2.根据权利要求1所述的基于视觉伺服的螺孔定位及锁卸螺丝的方法，其特征在于：所述步骤2中的确认所述目...

【专利技术属性】
技术研发人员：袁艳，刘勇，曹卫华，陈鑫，刘振焘，谭畅，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北,42