基于三维视觉的自动装配系统技术方案

基于三维视觉的自动装配系统，包括机架，固定安装在机架上的工业机械手，机械手控制器和三维摄像头；三维摄像头获取工业机械手当前工作时刻的二维图片和深度信息，工业机械手经示教训练后依照示教过程完成自动装配任务，示教过程中由人手握着工件完成工件从原始位姿、装配初始位姿和装配终止位姿的迁移。本发明专利技术具有能够根据一次人工装配示教训练对机械手的运动完成规划，使机械手能独立重复完成人工演示的优点。

Automatic assembly system based on 3D vision

Automatic assembly system based on 3D vision includes a frame fixed on the frame of industrial machinery hand manipulator controller and 3D camera; 3D camera to obtain two-dimensional images and depth information of current industrial manipulator working time, the industrial manipulator shown in accordance with teaching practice lessons to complete the process of automatic assembly task migration teaching in the process by holding the workpiece workpiece position from the original position and the initial position and assembly assembly termination. The invention has the advantages that the invention can complete the motion planning of the manipulator according to the manual assembly teaching and training, so that the manipulator can finish the manual demonstration independently.

【技术实现步骤摘要】

本专利技术涉及一种利用三维视觉控制机械手自动完成零件装配的系统。
技术介绍
一台机器从众多零件变成一个完整的个体，需要经过装配的过程。在过去很长一段时间，零件的装配工作都由装配工人手动完成，随着工业自动化的飞速发展，越来越多的装配工作转为由机器完成，灭火器器头自动组装机、扁平垫圈全自动装配机等一系列专用自动装配机应运而生。这些装配机器虽然能够较好的完成既定的装配工作，但通常结构复杂且只能用于一种装配场合，当装配线调整时就需要更换设备，成本较高。为进一步提升装配设备的通用性，六自由度工业机械手由于其优异的灵活性被广泛应用在自动化装配工作中，但如何简易、高效和准确的控制机械手完成装配工作一直是亟待解决的难题。为解决上述问题，申请日为2015年9月9日，申请号201510570360.x的专利涉及的“一种基于视觉识别的工业机器人示教装置及方法”，该方法通过大视场相机进行运动路径的粗略定位和总体规划，小视场相机对每个粗略定位点进行精确定位，从而实现生产线零件的精确抓取、加工和装配。但该方法需要两个摄像头同时工作，系统复杂，对工作环境要求较高。申请日为2015年7月7日，申请号201510394465.4的专利涉及的“基于Camshift视觉跟踪和D-H建模算法的视觉机械臂控制装置及方法”，该方法利用Camshift视觉跟踪算法和机械臂上的USB相机获取到待抓取和组装工件的精确定位信息，并建立机器人D-H坐标系从而得到多目标的准确位置，最后通过逆动力学计算得到机械臂各舵机关节运动的位移控制参数，实现机械臂对工件的抓取和装配工作。但该方法需要在每次的装配过程中对各目标位置进行重复实时获取和计算，对系统硬件要求较高；需要在上安装相机，提升了改装成本且增加了的负载。
技术实现思路
本专利技术的目的在于提供一种能够根据一次人工装配示教训练对机械手的运动完成规划，使机械手能独立重复完成人工演示的装配工作的基于三维视觉的自动装配系统。基于三维视觉的自动装配系统，包括机架，固定安装在机架上的工业机械手，机械手控制器和三维摄像头；三维摄像头获取工业机械手当前工作时刻的二维图像和深度信息，工业机械手经示教训练后依照示教过程完成自动装配任务，示教过程中,由人手握着工件完成工件从原始位姿、装配初始位姿和装配终止位姿的迁移；示教训练包括：S1、对机械手坐标系和三维摄像头坐标系进行标定，计算三维摄像头坐标系到工业机械手坐标系的转换矩阵；S2、三维摄像头对工作场景拍照，此时使工件处于原始位姿，计算出场景图像的sift特征，然后根据工件的颜色识别出工件所在位置，并根据该位置获取工件的sift的特征，从中选取距离最远的两个特征点A和特征点B，向量作为工件的原始姿态，以A点坐标作为工件的原始位置；特征点A、特征点B和向量处于三维摄像头坐标系下；S3、将工件从原始位姿调整到装配初始位姿，在装配初始位姿下再次计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到装配初始位姿下的sift特征A1和sift特征B1，即为装配初始姿态，以A1点坐标作为工件的装配初始位置，特征点A1、特征点B1和向量处于三维摄像头坐标系下；(由于sift特征具有特征尺度不变性，所以从原始位姿到装配初始位姿即使工件发生了旋转或者光照改变，仍然能够从装配初始位姿中找到匹配的sift特征点A1和sift特征B1)。S4、将工件从装配初始位姿调整到装配终止位姿，在装配终止位姿下再次计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到装配初始位姿下的sift特征A2和sift特征B2，即为装配终止姿态，以A2点坐标作为工件的装配终止位置，特征点A2、特征点B2和向量处于三维摄像头坐标系下。S5、将原始姿态和原始位置A转化为工业机械手夹持处于初始位姿的工件的控制信息，将装配初始姿态和装配初始位置A1转化为工业机械手移动工件到装配初始位姿的控制信息，将装配终止姿态和装配终止位置A2转化为工业机械手移动工件到装配终止位姿的控制信息。每个位姿包含工件的位置坐标和姿态向量。进一步，步骤S5包括：S51.三维摄像头坐标系下各个特征点坐标和向量坐标转化到工业机械手坐标系：将A点和B点、A1点和B1点以及A2点和B2点在三维摄像头坐标系下的坐标分别乘以步骤S1中得到的转换矩阵计算出A点和B点、A1点和B1点、以及A2点和B2点在工业机械手坐标系下的坐标；以A'表示A点在工业机械手坐标系下的坐标，A'为在工业机械手坐标系下工件的原始位置；以B'表示B点在工业机械手坐标系下的坐标，以A1'表示A1点在工业机械手坐标系下的坐标，A1'为在工业机械手坐标系下工件的装配初始位置；以B1'表示B1点在工业机械手坐标系下的坐标，以A2'表示A2点在工业机械手坐标系下的坐标，A2'为在工业机械手坐标系下工件的装配终止位置；以B2'表示B2点在工业机械手坐标系下的坐标；以向量表示在工业机械手坐标系下工件的原始姿态，向量表示在工业机械手坐标系下工件的装配初始姿态，向量表示在工业机械手坐标系下工件的装配终止姿态；S52.机械手控制器根据步骤S51中的位置和姿态信息以及工业机械手的运动学逆解得到工业机械手的各个关节角度协同变化的关系：机械手控制器根据A'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手的末端运动到原始位姿时的工业机械手的各个关节角度，从而控制工业机械手夹持处于初始位姿的工件；机械手控制器根据A1'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手的末端运动到装配初始位姿时的工业机械手的各个关节角度，从而控制工业机械手移动工件到装配初始位姿；机械手控制器根据A2'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手的末端运动到装配终止位姿时的工业机械手的各个关节角度，从而控制工业机械手移动工件到装配终止位姿。进一步，当工业机械手夹持工件从原始位姿到达装配初始位姿的过程中、或从装配初始位姿到达装配终止位姿的过程中有障碍物时，在从原始位姿到达装配初始位姿或从装配初始位姿到达装配终止位姿中插入中转位姿，中转位姿的数量为N个，N为自然数，在中转位姿下计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到中转位姿下的sift特征点Pi和sift特征点Qi(1≤i≤N)，并构成姿态向量以特征点Pi作为当前中转位置，向量作为工件的当前中转姿态；按工作时刻的先后顺序排列工件的各个中转位姿，依次将三维摄像头坐标系下的各个位姿的特征点Pi(1≤j≤N)和特征点Qi转换到工业机械手坐标系下，并根据工业机械手的运动学逆解得到工件到达每一个位姿时工业机械手的各个关节角度的变化关系。本专利技术通过人工手拿工件，使工件从原始位姿、到装配初始位姿、再到装配终止位姿、以及必要的一个或多个中转位姿的转换，三维摄像头拍摄工件的每个姿态和该姿态所处的位置，按照工作时刻排列各个位姿，通过将工件的每个姿态和该姿态所处的位置从三维摄像头坐标系下转为在机械手坐标系下的位姿和位置，将各位姿通过逆解算法得到成工业机械手的各关节运动控制信息。示教完成后，工业机械手按照其各关节运动控制信息运动即可，三维摄像头无需再工作。本专利技术具有以下有益效果：1.操作者通过一次手动装配演本文档来自技高网...

【技术保护点】
基于三维视觉的自动装配系统，包括机架，固定安装在机架上的工业机械手，机械手控制器和三维摄像头；三维摄像头获取工业机械手当前工作时刻的二维图像和深度信息，工业机械手经示教训练后依照示教过程完成自动装配任务，示教过程中,由人手握着工件完成工件从原始位姿、装配初始位姿和装配终止位姿的迁移；示教训练包括：S1、对机械手坐标系和三维摄像头坐标系进行标定，计算三维摄像头坐标系到工业机械手坐标系的转换矩阵；S2、三维摄像头对工作场景拍照，此时使工件处于原始位姿，计算出场景图像的sift特征，然后根据工件的颜色识别出工件所在位置，并根据该位置获取工件的sift的特征，从中选取距离最远的两个特征点A和特征点B，向量作为工件的原始姿态，以A点坐标作为工件的原始位置；特征点A、特征点B和向量处于三维摄像头坐标系下；S3、将工件从原始位姿调整到装配初始位姿，在装配初始位姿下再次计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到装配初始位姿下的sift特征A1和sift特征B1，即为装配初始姿态，以A1点坐标作为工件的装配初始位置，特征点A1、特征点B1和向量处于三维摄像头坐标系下；S4、将工件从装配初始位姿调整到装配终止位姿，在装配终止位姿下再次计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到装配初始位姿下的sift特征A2和sift特征B2，即为装配终止姿态，以A2点坐标作为工件的装配终止位置，特征点A2、特征点B2和向量处于三维摄像头坐标系下；S5、将原始姿态和原始位置A转化为工业机械手夹持处于初始位姿的工件的控制信息，将装配初始姿态和装配初始位置A1转化为工业机械手移动工件到装配初始位姿的控制信息，将装配终止姿态和装配终止位置A2转化为工业机械手移动工件到装配终止位姿的控制信息。...

【技术特征摘要】
1.基于三维视觉的自动装配系统，包括机架，固定安装在机架上的工业机械手，机械手控制器和三维摄像头；三维摄像头获取工业机械手当前工作时刻的二维图像和深度信息，工业机械手经示教训练后依照示教过程完成自动装配任务，示教过程中,由人手握着工件完成工件从原始位姿、装配初始位姿和装配终止位姿的迁移；示教训练包括：S1、对机械手坐标系和三维摄像头坐标系进行标定，计算三维摄像头坐标系到工业机械手坐标系的转换矩阵；S2、三维摄像头对工作场景拍照，此时使工件处于原始位姿，计算出场景图像的sift特征，然后根据工件的颜色识别出工件所在位置，并根据该位置获取工件的sift的特征，从中选取距离最远的两个特征点A和特征点B，向量作为工件的原始姿态，以A点坐标作为工件的原始位置；特征点A、特征点B和向量处于三维摄像头坐标系下；S3、将工件从原始位姿调整到装配初始位姿，在装配初始位姿下再次计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到装配初始位姿下的sift特征A1和sift特征B1，即为装配初始姿态，以A1点坐标作为工件的装配初始位置，特征点A1、特征点B1和向量处于三维摄像头坐标系下；S4、将工件从装配初始位姿调整到装配终止位姿，在装配终止位姿下再次计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到装配初始位姿下的sift特征A2和sift特征B2，即为装配终止姿态，以A2点坐标作为工件的装配终止位置，特征点A2、特征点B2和向量处于三维摄像头坐标系下；S5、将原始姿态和原始位置A转化为工业机械手夹持处于初始位姿的工件的控制信息，将装配初始姿态和装配初始位置A1转化为工业机械手移动工件到装配初始位姿的控制信息，将装配终止姿态和装配终止位置A2转化为工业机械手移动工件到装配终止位姿的控制信息。2.如权利要求1所述的基于三维视觉的自动装配系统，其特征在于：步骤S5包括：S51.三维摄像头坐标系下各个特征点坐标和向量坐标转化到工业机械手坐标系：将A点和B点、A1点和B1点以及A2点和B2点在三维摄像头坐标系下的坐标分别乘以步骤S1中得到的转换矩阵计算出A点和B点、A1点和B1点、以及A2点和B2点在工业机械手坐标系下的坐标；以A'表示A点在工业机械...

【专利技术属性】
技术研发人员：范锦昌，毕千，彭时林，白小龙，魏谦笑，张绍勇，周志敏，
申请(专利权)人：杭州鹰睿科技有限公司，
类型：发明
国别省市：浙江;33