一种高鲁棒性大罐工装卸料孔视觉识别及位姿检测方法技术

本发明专利技术公开了一种高鲁棒性大罐工装卸料孔视觉识别及位姿检测方法，搭建静态双目图像采集系统，对双目相机系统进行畸变校正和极线校正，并使用常规扩充数据集的方法扩充数据集；通过改进的Yolov3网络进行ROI区域提取，完成第一步粗定位；对粗定位阶段得到的检测结果进行边界框裁剪后送入Mask R

【技术实现步骤摘要】
一种高鲁棒性大罐工装卸料孔视觉识别及位姿检测方法


[0001]本专利技术涉及一种视觉识别及位姿检测方法，尤其涉及一种高鲁棒性大罐工装卸料孔视觉识别及位姿检测方法。

技术介绍

[0002]从大罐内将工装取出，传统的方式主要依靠人工完成，但随时自动化技术的发展，开始采用机械手。机械手是一种模拟人手操作的自动机械，它可按程序反复抓取、搬运产品物件或操持工具完成某些特定工序，应用机械手可以代替人工从事单调、重复或繁重的体力劳动，实现生产的机械化和自动化，在人工费用持续上涨的环境下，选择机械手来实现产线自动化，完美代替了人工，同时也大大提升了操作的准确性。实际操作时，机械手的钩子通过卸料孔伸进大罐内将工装勾出，但在复杂工业环境中存在各种不确定性的环境噪声，比如粉尘、烟雾等干扰因素，给目标检测带来较大的困扰，很容易造成卸料孔空间定位不准确。

技术实现思路

[0003]针对上述现有技术中存在的不足之处，本专利技术提供了一种高鲁棒性大罐工装卸料孔视觉识别及位姿检测方法，该方法使用辅助激光点和辅助三角形孔，通过基于深度学习的粗定位+精定位结合的技术路线，帮助机械手精准定位工装卸料孔位置，从料罐装置内部水平勾取出工装，提高了复杂工业环境下检测结果的准确性，稳定性。
[0004]为实现上述技术目的，本专利技术采用的技术方案如下：
[0005]一种高鲁棒性大罐工装卸料孔视觉识别及位姿检测方法，在矩形卸料孔下方增加一个辅助三角形孔；将辅助激光器装在机械手上，激光器和机械的相对位置是固定的，激光点打在工装的圆盘表面；通过计算激光点相对于矩形卸料孔和辅助三角形孔这两孔的质心连线的偏移来调整机械手姿态，确保钩子可以准确进孔将工装勾出；
[0006]同时，采用基于深度学习的粗定位和精定位结合的技术路线提高复杂工业环境下检测结果的准确性，稳定性，鲁棒性；其具体步骤如下：
[0007]S1：搭建双目相机系统，进行双目相机标定，采集图像；
[0008]S2：使用常规扩充数据集的方法扩充数据集；
[0009]S3：将双目相机采集的图片送入改进的Yolov3网络进行训练，进行ROI区域提取，完成第一步粗定位；
[0010]S4：将粗定位提取的矩形卸料孔和辅助三角形孔区域ROI送入Mask R
‑
CNN网络，获取精确分割结果，完成第二步精定位；
[0011]S5：对矩形卸料孔和辅助三角形孔进行质心提取并验证识别成功率；
[0012]S6：进行参数计算，获取高度，偏移角度及x、y方向偏移量。
[0013]作为本专利技术的一种优选方案，步骤S1中，双目相机标定最主要的目的：获取相机内参矩阵A、外参矩阵[R|T]、畸变系数[k1,k2,k3,～,p1,p2,～]，对成像仪上的畸变点位置进
行调节，再通过极限校正使同一物体在左右两幅图像中的大小一样，且在一条水平线上；具体为：
[0014]S
‑
A1：采集棋盘图，双目相机标定时的照片必须是左右相机同时拍摄的，棋盘占照片尽可能多的画面，便于得到更多有关镜头畸变方面的信息，多角度拍摄，照片数量5对以上；
[0015]S
‑
A2：利用Opencv提供的stereoCalibrate函数获取相机内参矩阵A、外参矩阵[R|T]、畸变系数[k1,k2,k3,～,p1,p2,～]；
[0016]S
‑
A3：将Opencv求解出来的外参矩阵[R|T]分解成左右相机各旋转和平移一半的矩阵R1,T1与R2,T2；
[0017]S
‑
A4：通过内参矩阵A将源图像像素坐标系转化成相机坐标系，通过R1和R2进行平行极线校正，通过畸变系数校正图像的相机坐标；
[0018]S
‑
A5：将校正后的相机坐标系再转换成图像像素坐标系，并根据源图像坐标的像素值赋值给新的图像坐标。
[0019]作为本专利技术的一种优选方案，在步骤S3中，因为工业环境下背景复杂，干扰因素多，为防止粗定位阶段检测到矩形卸料孔以外的矩形目标，该阶段加入一个容错机制，基于欧氏距离法判断是否锚中背景中的目标，当预测到的矩形卸料孔边界框和辅助三角形孔边界框的欧式距离大于工装圆盘直径时，判定为识别错误，从而保证可靠的识别。
[0020]作为本专利技术的一种优选方案，在步骤S4中，通过一个掩膜算法继续进行逐像素级别的目标检测；精定位阶段，先对粗定位阶段得到的检测结果进行边界框裁剪，然后送入Mask R
‑
CNN网络中得到逐像素级别的精确检测结果。
[0021]作为本专利技术的一种改进方案，在步骤S5中，精定位结束后，为保证识别率，还需引入双目系统标定中的极线约束。
[0022]作为本专利技术的一种改进方案，步骤S6进行参数计算，获取高度，偏移角度及x、y方向偏移量，具体为：
[0023]S
‑
B1：用激光测距仪测取工装至料罐口的距离；
[0024]S
‑
B2：建立坐标系，测量向量p
r
p
t
和向量(0,
‑
1)之间的夹角，其中，p
r
为矩形卸料孔中心点坐标，p
t
为辅助三角形孔中心坐标；
[0025]S
‑
B3：向量p
r
p
t
的实际长度为Lmm，矩形卸料孔中心点坐标为p
r
(x
r
,y
r
)，辅助三角形孔中心坐标为p
t
(x
t
,y
t
)，激光点坐标为p
l
(x
l
,y
l
)；首先计算出向量p
r
p
t
所在的直线方程为：
[0026]Ax+By+C＝0；
[0027]其中，上式为直线方程的一般形式，首先设向量p
r
p
t
所在直线方程为y＝kx+b(直线方程的斜截式)，k为直线斜率，b为直线截距，将已知的两个中心点坐标：p
r
(x
r
,y
r
)，p
t
(x
t
,y
t
)，带入斜截式直线方程求解出k，b；再将y＝kx+b整理成直线方程的一般形式，即为Ax+By+C＝0，此时，直线斜率表示为直线截距表示为
[0028]S
‑
B4：计算点p
l
到直线的最短距离：
[0029][0030]S
‑
B5：计算向量的长度l：
[0031][0032]S
‑
B6：将像素距离d转变为实际尺寸
[0033][0034]S
‑
B7：计算高度
[0035][0036]本专利技术的技术效果：本专利技术通过搭建静态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高鲁棒性大罐工装卸料孔视觉识别及位姿检测方法，其特征在于，在矩形卸料孔下方增加一个辅助三角形孔；将辅助激光器装在机械手上，激光器和机械的相对位置是固定的，激光点打在工装的圆盘表面；通过计算激光点相对于矩形卸料孔和辅助三角形孔这两孔的质心连线的偏移来调整机械手姿态，确保钩子可以准确进孔将工装勾出；同时，采用基于深度学习的粗定位和精定位结合的技术路线提高复杂工业环境下检测结果的准确性，稳定性，鲁棒性；其具体步骤如下：S1：搭建双目相机系统，进行双目相机标定，采集图像；S2：使用常规扩充数据集的方法扩充数据集；S3：将双目相机采集的图片送入改进的Yolov3网络进行训练，进行ROI区域提取，完成第一步粗定位；S4：将粗定位提取的矩形卸料孔和辅助三角形孔区域ROI送入Mask R
‑
CNN网络，获取精确分割结果，完成第二步精定位；S5：对矩形卸料孔和辅助三角形孔进行质心提取并验证识别成功率；S6：进行参数计算，获取高度，偏移角度及x、y方向偏移量。2.根据权利要求1所述的一种高鲁棒性大罐工装卸料孔视觉识别及位姿检测方法，其特征在于，步骤S1中，双目相机标定最主要的目的：获取相机内参矩阵A、外参矩阵[R|T]、畸变系数[k1,k2,k3,～,p1,p2,～]，对成像仪上的畸变点位置进行调节，再通过极限校正使同一物体在左右两幅图像中的大小一样，且在一条水平线上；具体为：S
‑
A1：采集棋盘图，双目相机标定时的照片必须是左右相机同时拍摄的，棋盘占照片尽可能多的画面，便于得到更多有关镜头畸变方面的信息，多角度拍摄，照片数量5对以上；S
‑
A2：利用Opencv提供的stereoCalibrate函数获取相机内参矩阵A、外参矩阵[R|T]、畸变系数[k1,k2,k3,～,p1,p2,～]；S
‑
A3：将Opencv求解出来的外参矩阵[R|T]分解成左右相机各旋转和平移一半的矩阵R1,T1与R2,T2；S
‑
A4：通过内参矩阵A将源图像像素坐标系转化成相机坐标系，通过R1和R2进行平行极线校正，通过畸变系数校正图像的相机坐标；S
‑
A5：将校正后的相机坐标系再转换成图像像素坐标系，并根据源图像坐标的像素值赋值给新的图像坐标。3.根据权利要求1所述的一种高鲁棒性大罐工装卸料孔视觉识别及位姿检测方法，其特征在于，在步骤S3中，因为工业环境下背景复杂，干扰因素多，为防止粗定位阶段检测到矩形卸料孔以外的矩形目标，该阶段加入一个容错机制，基于欧氏距离法判断是否锚中背景中的目标，当预测到的矩形卸料孔边界框和辅助三角形孔边界框的欧式距离大于工装圆盘直径时，判定为识别错误，从而保证可靠的识别。4.根据权利要求1所述的一种高鲁棒性大...

【专利技术属性】
技术研发人员：欧阳奇，张兴兰，杨伟静，范月欣，林燕花，王舒波，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：