一种工位定位系统及基于深度学习的工件定位方法技术方案

本发明专利技术公开了一种工位定位系统，包括机器人、机器人控制柜、嵌入式工控机、模组、工件姿态调整件、工件和视觉传感器。并且还公开了相应的工件定位方法，包括以下步骤：S1、将工业相机连续采集的工件图像发送到嵌入式工控机，提取工件中心点并制作数据集。对目标检测器进行训练，保存训练权重；S2、工业相机将工件图像发送到嵌入式工控机，利用训练好的目标检测器对工件图像进行中心点定位；S3、将工件中心点的像素坐标值位置转换为工业机器人基坐标系下的三维坐标值，传输到机器人控制柜进行处理，并控制机器人工具末端对准工件。本发明专利技术能不易受到光照强度、工件表面平整性等一系列因素的影响，有较强的鲁棒性，可满足实际操作的精度要求。

【技术实现步骤摘要】
一种工位定位系统及基于深度学习的工件定位方法
本专利技术属于工业机器人应用领域，特别涉及一种工位定位系统及基于深度学习的工件定位方法。
技术介绍
近年来，为了满足各种工业需求，不同类型的机器人应运而生。以机器人代替传统的人工完成工件的装配、抓取、分拣等任务，可提高生产效率、降低劳动强度、保障人身安全。要使机器人顺利完成操作，其中一个关键环节就是对工件进行准确的识别与定位。因此，如何快速准确提取工件的中心点成为值得研究的重要问题。随着机器视觉和图像处理技术的发展，基于形态学处理的工件定位方法因其速度快，能够直观地捕捉边缘、色彩等信息而被广泛应用。如申请公布号为CN110625644A的中国专利技术专利，然而由于光照强度、加工表面平整性等因素的影响，定位过程中中心点容易偏离真实中心点，因而难以满足工业生产应用中高效率、高精度和高质量的要求。随着深度学习技术的发展，目标检测算法以高效的神经网络，可学习到丰富的语义信息和细节信息，具有较强的鲁棒性和适应性，被广泛应用于目标检测与定位。如申请公布号CN110599544A的中国专利技术专利本文档来自技高网...

【技术保护点】
1.一种工件定位系统，其特征在于：包括机器人(1)、机器人控制柜(10)、嵌入式工控机(9)、模组(7)、工件姿态调整件(6)、工件(5)和视觉传感器(2)，/n机器人控制柜(10)通过电缆线与机器人(1)相连，嵌入式工控机(9)和工业机器人(1)、机器人控制柜(10)通过以太网线相连；/n工件姿态调整件(6)固定在模组(7)上；/n工件(5)固定在工件姿态调整件(6)上以随着工件姿态调整件(6)的转动而调整姿态；/n视觉传感器(2)固定在机器人(1)的末端，且视觉传感器(2)包括用于给工件(5)拍照的工业相机(22)。/n

【技术特征摘要】
1.一种工件定位系统，其特征在于：包括机器人(1)、机器人控制柜(10)、嵌入式工控机(9)、模组(7)、工件姿态调整件(6)、工件(5)和视觉传感器(2)，
机器人控制柜(10)通过电缆线与机器人(1)相连，嵌入式工控机(9)和工业机器人(1)、机器人控制柜(10)通过以太网线相连；
工件姿态调整件(6)固定在模组(7)上；
工件(5)固定在工件姿态调整件(6)上以随着工件姿态调整件(6)的转动而调整姿态；
视觉传感器(2)固定在机器人(1)的末端，且视觉传感器(2)包括用于给工件(5)拍照的工业相机(22)。


2.一种采用权利要求1所述的工件定位系统的基于深度学习的工件定位方法，其特征在于：所述方法包括步骤：
S1、视觉传感器的工业相机把连续采集的每一帧工件图像发送到嵌入式工控机，采用形态学处理提取工件中心点并制作数据集，将数据集划分为训练集与测试集，采用训练集对目标检测器进行训练，保存最终的训练权重；
S2、视觉传感器的工业相机将采集的工件图像发送至所述嵌入式工控机，采用步骤S1训练好的目标检测器对图像进行工件定位，得到工件中心点的像素坐标值；
S3、将步骤S2图像中工件中心点的像素坐标值转换成工业机器人基坐标系下的三维坐标值后与当前机器人三维坐标值作差，得到偏差值，并发送给机器人控制柜进行处理，最终输出控制信号控制机器人工具末端对准工件。


3.根据权利要求2所述的一种基于深度学习的工件定位方法，其特征在于：所述步骤S1具体包括：
S11、通过自动拍照系统控制工业相机进行连续采集工件图像；
S12、在采集照片时，使工业相机与工件保持预设的距离；
S13、通过模组控制工件姿态调整件使工件沿着水平方向移动，并通过转动工件姿态调整件来调整工件的姿态；
S14、把视觉传感器中的工业相机采集的每一帧工件图像发送到嵌入式工控机，嵌入式工控机通过调用Halcon软件的库函数分别对每张图像进行形态学处理，得到每张图像中工件中心点的像素坐标值，嵌入式工控机通过调用Halcon软件的库函数求取工件的最小外接矩形，即真实框；通过每张图像的工件中心点的像素坐标值以及真实框的高和宽制得数据集；
S15、将数据集划分为训练集和测试集；
S16、采用训练集对目标检测器进行训练，保存最终的训练权重。


4.根据权利要求2所述的一种基于深度学习的工件定位方法，其特征在于：所述步骤S11具体包括：
S111、通过自动拍照系统设定相机的帧数和相机的心跳时间，实现自动拍照与保存；
S112、设置相机的采样频率f、心跳时间t,一次连续采集n张图像，其中，n＝f·t。


5.根据权利要求2所述的一种基于深度学习的工件定位方法，其特征在于：步骤S14中的数据集制作具体包括以下步骤：
S141、进行阈值分割，设定一个阈值T，通过像素点的灰度值和阈值的对比将背景和目标分开，其公式如下：



其中，T为阈值，G(x,y)为阈值处理前的图像，g(x,y)为阈值处理后的图像；
S142、高斯滤波的概率密度分布函数为正态分布，其公式如下：



其中，σ为标准偏差；
S143、对工件进行边缘提取；对工件不连续的边缘进行连接；根据工件的轮廓生成最小外接水平矩形框，即真实框；
S144、对图像进行随机偏移和旋转；
S145、对图像进行裁剪，使其缩小到特定的尺寸。


6.根据权利要求2所述的一种基于深度学习的工件定位方法，其特征在于：所述步骤S16具体包括：
S161、构建基于特征融合的单步多框检测器的网络结构；
S162、对步骤S161所构建的网络进行训练，并保存训练好的网络模型参数和权重。


7.根据权利要求2所述的一种基于深度学习的工件定位方法，其特征在于，步骤S1...

【专利技术属性】
技术研发人员：李琳，符明恒，张铁，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44