一种基于可见光和红外双目视觉的工业零件测量方法技术

一种基于可见光和红外双目视觉的工业零件测量方法，包括：将待测零件放在参考系正方形桌面上形成待测区域，获该区域的可见光RGB图像和深度信息3D点云图；对待测区域的3D点云图进行平面拟合、空间三维坐标到拟合平面二维坐标的转换、二维平面的角点标定以及可见光图像的透视变换；根据待测区域的3D点云投影到拟合平面法向量方向上的标量值，去除地面点云干扰；对待测零件的3D点云进行聚合，对待测区域的可见光图像进行目标识别，根据聚合结果和识别框的长宽比来判定零件姿态；通过最长线段算法和垂线上寻找像素突变边界的方法分别对平放零件的横、纵向尺寸进行测量；采用PnP方法确定相机位姿，并基于相机成像原理对立放零件的横、纵向尺寸进行测量。纵向尺寸进行测量。纵向尺寸进行测量。

【技术实现步骤摘要】
一种基于可见光和红外双目视觉的工业零件测量方法


[0001]本专利技术属于机器视觉领域，具体涉及一种基于可见光和红外双目视觉的工业零件测量方法。

技术介绍

[0002]工业零件测量在机械加工、汽车电子、航空航天、船舶制造等领域均有广泛应用。传统的人工测量工业零件的方法，例如采用游标卡尺、千分尺、量规等器具手动操作的方法，具有测量效率低、精度差等缺点，不适合工业生产中大批量零件的测量。三坐标测量仪具有测量精度高、效率高的优点，但是需要接触被测对象，这可能会损伤被测对象，尤其是对一些高端精密仪器和易损易碎零件来说，存在较大风险。超声波测量是一种相对比较安全的无接触式测量方法，但是由于声波传播与温湿度状况关系密切，所以其测量精度受环境影响较大。
[0003]近年来，随着计算机技术、图像处理技术和双目相机技术的进步，机器视觉技术得到了飞速发展。机器视觉是指利用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，并进行处理和理解，以代替人眼进行测量和判断。由于其具有非接触性、处理速度快、效率高、结果准确、灵活性强等特点，可应用于大规模工业零件测量中，具有其它测量方式无法比拟的优势，是未来工业零件测量的趋势。

技术实现思路

[0004]本专利技术为了克服传统手工测量、三坐标测量仪测量和超声波测量等方法的不足，提供一种基于可见光和红外双目视觉的工业零件测量方法。
[0005]本专利技术充分利用机器视觉技术和图像处理技术，对待测区域的可见光图像和红外深度图像进行采集、3D点云平面拟合、空间坐标变换、二维平面角点标定和透视变换等处理，去除地面点云干扰并进行待测零件的姿态判定，然后根据平放零件和立放零件各自的特点分别进行尺寸测量。
[0006]本专利技术的基于可见光和红外双目视觉的工业零件测量方法，包括如下步骤：
[0007]S1：将待测零件放在参考系方形桌面上形成待测区域，采用可见光和红外双目相机获取待测区域的可见光RGB图像和深度信息3D点云图像；
[0008]S2：对待测区域的3D点云图进行平面拟合、空间三维坐标到拟合平面二维坐标的转换、二维平面的角点标定以及可见光RGB图像的透视变换；
[0009]S3：将3D点云投影到拟合平面的法向量方向上，根据投影后的标量值，去除地面点云干扰；
[0010]S4：对待测零件的3D点云进行聚合，对待测区域的可见光图像进行目标识别，根据聚合结果和识别框的长宽比来判定零件的姿态；
[0011]S5：采用最长线段算法和垂线上寻找像素突变边界的方法分别对平放零件的横向和纵向尺寸进行自适应测量；
[0012]S6：采用PnP方法确定相机位姿，并基于相机成像原理对立放零件的横向和纵向尺寸进行测量。
[0013]优选地，步骤S1中，所述的待测零件放在1m
×
1m的正方形桌面上形成待测区域进行测量。
[0014]优选地，所述步骤S2具体包括：
[0015]S2.1：对待测区域的3D点云进行平面拟合，得到的拟合平面方程如式(1)所示：
[0016]A+By+Cz+D＝0
ꢀꢀꢀꢀꢀ
(1)
[0017]优选地，采用Ransac平面拟合算法对3D点云进行平面拟合；
[0018]S2.2：按照式(2)的转换关系，将待测区域的3D点云三维坐标转换为拟合平面的二维坐标；
[0019][0020]其中，(x
′
,y
′
,z
′
)是待测区域三维空间中的点坐标，(x,y)是拟合平面二维空间的点坐标，和为深度相机的内部参数，分别表示x和y轴方向上每个像素的物理尺寸；
[0021]S2.3：待测区域3D点云三维坐标转换为拟合平面二维坐标后形成类梯形四边形，对其进行二值化处理后，采用图形分析法或斜向遍历法对其进行角点标定；
[0022]优选地，图形分析法首先利用OpenCV技术求出类梯形四边形的最小外接矩形；然后遍历该外接矩形的边框，找出其纵坐标最小的两个点即为该平面底部的角点，两个角点之间的距离即为待测区域正方形的边长；根据正方形边长相等且四角垂直的特性以及底部两个角点的坐标，推算出桌面顶部两个角点的三维坐标，再根据式(2)将该三维坐标转换为二维坐标，由此可得到二维平面图像中四个角点的二维坐标；
[0023]优选地，斜向遍历法对二值化后的类梯形四边形，从图像的四个角出发，依次从左上方、右上方、左下方和右下方四个方向进行倾角为
‑
135
°
、
‑
45
°
、135
°
和45
°
的斜向遍历，每次遍历得到的第一个白色像素点坐标即为标定的角点坐标；
[0024]S2.4：根据待测区域四个角点的二维坐标和待测桌面正方形的形状特性，对待测区域可见光RGB图像的二维桌面进行透视变换。
[0025]优选地，所述步骤S3具体包括：
[0026]S3.1：按照式(3)将待测区域的3D点云投影到拟合平面A+By+Cz+D＝0的法向量ψ＝(A,B,C)方向上，得到投影后的标量值；
[0027][0028]其中，(P
x
,P
y
,P
z
)为待测区域中某点的3D坐标，K为其投影后的标量值；
[0029]S3.2：待测区域的所有3D点云投影完成后，在法向量方向上得到投影的最低点(K取最小值)和最高点(K取最大值)，去除投影到靠近底部区域对应的点云，即可消除地面点云干扰；
[0030]优选地，靠近底部区域设定为靠近投影最低点1/3的区域；
[0031]S3.3：对去除底部点云之后剩余的3D点云再次进行平面拟合，即可得到不受地面干扰的待测平面点云；
[0032]优选地，对去除底部点云之后剩余的3D点云进行平面拟合时仍采用Ransac平面拟合算法；
[0033]优选地，所述步骤S4具体包括：
[0034]S4.1：按照式(5)将拟合平面之外的零件的三维坐标投影到拟合平面A+By+Cz+D＝0上；
[0035][0036]其中，(X
o
,Y
o
,Z
o
)为拟合平面之外的零件上的某点坐标，(X
p
,Y
p
,Z
p
)为它在拟合平面上对应的投影点坐标；
[0037]S4.2：按照式(2)，将拟合平面之外的零件投影后的三维坐标转换为拟合平面内的二维坐标点，即将零件的3D点云进行聚合；
[0038]S4.3：对待测区域的可见光RGB图像进行目标识别，得到各个零件的识别框；
[0039]优选地，使用YOLO
‑
V5算法对待测区域的可见光RGB图像进行多目标识别，得到各个零件的识别框Bounding Box；
[0040]S4.4：遍历各零件的识别框来确定该零件的姿态，若识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可见光和红外双目视觉的工业零件测量方法，其特征在于，包括如下步骤：S1：将待测零件放在参考系方形桌面上形成待测区域，采用可见光和红外双目相机获取待测区域的可见光RGB图像和深度信息3D点云图像；S2：对待测区域的3D点云图进行平面拟合、空间三维坐标到拟合平面二维坐标的转换、二维平面的角点标定以及可见光RGB图像的透视变换；S3：将待测区域的3D点云投影到拟合平面的法向量方向上，根据投影后的标量值，去除地面点云干扰；S4：对待测零件的3D点云进行聚合，对待测区域的可见光图像进行目标识别，根据聚合结果和识别框的长宽比来判定零件的姿态；S5：采用最长线段算法和垂线上寻找像素突变边界的方法分别对平放零件的横向和纵向尺寸进行自适应测量；S6：采用PnP方法确定相机的位姿，并基于相机成像原理对立放零件的横向和纵向尺寸进行测量。2.如权利要求1所述的基于可见光和红外双目视觉的工业零件测量方法，其特征在于，步骤S2具体包括：S2.1：对待测区域的3D点云进行平面拟合，可得到拟合平面的方程，如式(1)所示：A+By+Cz+D＝0
ꢀꢀꢀꢀꢀꢀꢀ
(1)S2.2：按照式(2)的转换关系，将待测区域的3D点云三维坐标转换为拟合平面的二维坐标；其中，(x
′
,y
′
,z
′
)是待测区域三维空间中的点坐标，(x,y)是拟合平面二维空间的点坐标，和为深度相机的内部参数，分别表示x和y轴方向上每个像素的物理尺寸；S2.3：待测区域3D点云三维坐标转换为拟合平面二维坐标后形成类梯形四边形，对其进行二值化处理后，采用图形分析法或斜向遍历法对其进行角点标定；S2.4：根据待测区域四个角点的二维坐标和待测桌面正方形的形状特性，对待测区域可见光RGB图像的二维桌面进行透视变换。3.如权利要求2所述的基于可见光和红外双目视觉的工业零件测量方法，其特征在于，步骤S2.1中采用Ransac平面拟合算法对3D点云进行平面拟合；步骤S2.3所述的图形分析法首先利用OpenCV技术求出类梯形四边形的最小外接矩形；然后遍历该外接矩形的边框，找出其纵坐标最小的两个点即为该平面底部的角点，两个角点之间的距离即为待测区域正方形的边长；根据正方形边长相等且四角垂直的特性以及底部两个角点的坐标，推算出桌面顶部两个角点的三维坐标，再根据式(2)将该三维坐标转换为二维坐标，由此可得到二维平面图像中四个角点的二维坐标；步骤S2.3所述的斜向遍历法对二值化后的类梯形四边形，从图像的四个角出发，依次从左上方、右上方、左下方和右下方四个方向进行倾角为
‑
135
°
、
‑
45
°
、135
°
和45
°
的斜向遍历，每次遍历得到的第一个白色像素点坐标即为标定的角点坐标。
4.如权利要求1所述的基于可见光和红外双目视觉的工业零件测量方法，其特征在于，所述步骤S3具体包括：S3.1：按照式(3)将待测区域的3D点云投影到拟合平面A+By+Cz+D＝0的法向量ψ＝(A,B,C)方向上，得到投影后的标量值；其中，(P
x
,P
y
,P
z
)为待测区域中某点的3D坐标，K为其投影后的标量值；S3.2：待测区域的所有3D点云投影完成后，在法向量方向上得到投影的最低点(K取最小值)和最高点(K取最大值)，去除投影到靠近底部1/3区域对应的点云，即可消除地面点云干扰；S3.3：对去除底部点云之后剩余的3D点云再次进行Ransac平面拟合，即可得到不受地面干扰的待测平面点云。5.如权利要求1所述的基于可见光和红外双目视觉的工业零件测量方法，其特征在于，所述步骤S4具体包括：S4.1：按照式(5)将拟合平面之外的零件的三维坐标投影到拟合平面A+By+Cz+D＝0上；其中，(X
o
,Y
o
,Z
o
)为拟合平面之外的零件上的某点坐标，(X
p
,Y
p
,Z
p
)为它在拟合平面上对应的投影点坐标；S4.2：按照式(2)，将拟合平面之外的零件投影后的三维坐标转换为拟合平面内的二维坐标点，即将零件的3D点云进行聚合；S4.3：对待测区域的可见光RGB图像进行目标识别，得到各个零件的识别框；S4.4：遍历各零件的识别框来确定该零件的姿态，若识别框的长宽比大于设定的阈值，且识别框底部区域内存在S4.2中的聚合点，则为立放零件，否则为平放零件。6.如权利要求5所述的基于可见光和红外双目视觉的工业零件测量方法，其特征在于，步骤S4.3中使用YOLO
‑
V5算法对待测区域的可见光RGB图像进行目标识别，得到各个零件的识别框Bounding Box；步骤S4.4中识别框的长宽比阈值设定为2，识别框底部区域设定为底部1/3的区域。7.如权利要求1所述的基于可见光和红外双目视觉的工业零件测量方法，其特征在于，所述步骤S5具体包括：S5.1：对可见光RGB图像中的每个零件识别框进行透视变换、剪裁、灰度和二值化处理；S5.2：执行最长线段算法，得到平放零件的横向像素尺寸；S5.3：在横向最长线段垂线方向上寻找像素突变边界，边界间距即为平放零件的纵向像素尺寸；S5.4：通过式(6)的像素尺寸与参考系真实尺寸的映射关系，换算得出平放零件的横向和纵向真实尺寸；
其中，Real
‑
Size
part
和Pixel
‑
Size
part
分别为零件在某个方向上的真实尺寸和像素尺寸，Real
‑
Size
reference
和Pixel
‑
Size
reference
为参考系物体在对应方向上的真实尺寸和像素尺寸。8.如权利要求7所述的基于可见光和红外双目视觉的工业零件测量方法，其特征在于：步骤S5.2中，最长线段算法可采用基于Ransac的方法或基于标准霍夫直线检测的方法；步骤S5.2中，基于Ransac的方法，对平放零件二值化图的每个白色像素点进行迭代，得到像素密度点最大的一条线段，该线段上的像素点数即为平放零件的横向像素尺寸；步骤S5.2中，基于标准霍夫直线检测的方法，根据概率挑选机制以及设置的最小最大长度阈值得到图像中最长直线的方程，进而求得线段的长度；步骤S5.2中，在基于标准霍夫直线检测的方法中，最小阈值为透视变换后二维平面内的零件识别框的较长边长度，最大阈值为该识别框的对角线长度...

【专利技术属性】
技术研发人员：丰泽辉，雷艳静，周彬加，毛淑娟，曹迪，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：