一种共面等大多孔型工件位姿与孔径视觉检测方法技术

本发明专利技术公开了一种共面等大多孔型工件的位姿与孔径大小视觉检测方法。用双目相机对共面等大多孔型工件进行拍摄采集左右图像，进行圆孔的椭圆检测，获得椭圆的轮廓参数，求解工件表面所在平面在图像上的消影线；根据消影线获得真实投影像点；根据真实投影像点，双目视觉重建出圆孔圆心的空间坐标，再对圆心的空间坐标最小二乘拟合得到工件表面所在平面及其姿态，最后利用椭圆方程和工件表面所在平面得到工件表面圆孔的孔径大小。本发明专利技术以较高精度计算出共面等大多孔型工件的空间位姿与表面圆孔孔径大小，避免了人工测量的繁琐与复杂检测设备的造价昂贵与难以维护性。

A visual inspection method for the pose and aperture of coplanar and other multi pass workpiece

【技术实现步骤摘要】
一种共面等大多孔型工件位姿与孔径视觉检测方法
本专利技术属于非接触视觉测量领域的一种工件视觉测量方法，涉及了一种对共面等大多孔型工件位姿与孔径大小进行估计的视觉测量方法。
技术介绍
在机械装配领域，工件表面上有多个等大共面的圆孔是生产上的常见工件。对于装配过程中工件位姿的检测主要有接触式检测与非接触式检测两种方法。接触式检测是工人利用测量工具对工件进行人工检测，但是此种方法效率低，工作强度大。在生产力广泛提高，机械自动化装配的背景下，该方法已经渐渐无法满足需求。非接触式检测是利用红外、激光、超声波等方法实现检测，效率高，可以承受高强度工作，能够参与高危检测任务，检测误差较小，有着较大优势。而且近年来，视觉检测技术发展迅速，作为一种非接触检测技术，视觉检测综合了图像处理、光学成像、计算机软硬件等多方面技术，将被测目标转化为图像信号，通过对图像信号的处理获取被测目标的位姿参数信息，检测误差小，且随着计算机运行速度的不断飞跃，图像处理的速度也更加快速，促进视觉检测技术向实时检测迈进。在考虑检测效率、精度的要求下，视觉检测已经成为工业装配过程中工件表面圆孔位姿与孔径检测广泛应用的方法。复杂的视觉检测系统造价昂贵，维护困难，在一些大型的装配生产线场景下进行大规模部署会带来成本的不可控上升。而双目视觉系统设备简单，安装方便，易于在生产线现场部署，且操作流程简便易行。
技术实现思路
为了解决
技术介绍
中存在的问题，本专利技术提出了一种共面等大多孔型工件的位姿与孔径视觉测量方法，能够有效地通过对图像圆孔圆心投影像点的矫正与恢复，计算出工件表面上各个圆孔的位置以及工件表面所在平面的姿态，进而又能较为准确地估算出各个圆孔的孔径大小。此方法是一种采用较低设备成本同时又能保证测量精度的位姿与孔径测量的视觉检测方法，有极大的应用价值和实用性，所需设备简单，方法简单易行，在实现较高测量精度的前提下降低整套测量系统的复杂性。为了实现上述目的，本专利技术采用的技术方案是包括以下步骤：步骤1)将共面等大多孔型工件置于平行放置的双目相机的公共视野范围内，用双目相机同时对工件进行拍摄采集获得共面等大多孔型工件的左右图像；再对拍摄得到的左右图像分别进行圆孔的椭圆检测，获得左右图像中的各个椭圆的轮廓参数，并根据圆孔在工件表面上的位置分布对左右图像中检测到的椭圆进行组合与匹配；对于左右各自图像，分别根据椭圆的轮廓参数求解工件表面所在平面在图像上的消影线；步骤2)根据各自求得的工件表面所在平面在其图像上的消影线，准确获得每个圆孔的圆心在图像上真实投影像点，恢复由于不对称投影导致的真实投影像点和椭圆中心之间的偏差；根据真实投影像点，根据双目视觉的三角测量原理重建圆孔圆心的精确空间三维坐标，再对各个圆孔的圆心空间三维坐标点集所在的平面进行最小二乘拟合，得到工件表面所在平面，获得该工件表面所在平面的位置与姿态；再利用椭圆方程和工件表面所在平面计算得到工件表面圆孔的孔径大小。所述步骤1)中的共面等大多孔型工件是指该工件的表面上有多个尺寸相同的圆孔，且圆孔的圆心不再同一条直线上，该种类型工件的形状外观示意图见附图1。所述步骤1)，具体为：1.1)对左右相机采集的图像进行椭圆拟合过程，求解得到椭圆的轮廓参数，包括椭圆中心在像素坐标系下的X0坐标、Y0坐标，椭圆半长轴a、半短轴b以及椭圆长轴与像素坐标系x轴之间的夹角θ；所述的像素坐标系是以图像左上角像素点为原点、水平向右定义为X轴正方向、竖直向下定义为Y轴正方向而构建的平面直角坐标系。1.2)然后以下根据圆孔在工件表面上的位置分布情况，对左右图像中拟合椭圆进行组合与匹配，保证左右匹配到的椭圆是工件表面上同一空间圆孔在各自左右图像上的投影成像。根据椭圆的轮廓参数进行椭圆方程拟合，选取任意两个椭圆的椭圆方程求取两个椭圆之间的公切线方程，共获得四条公切线，其中两个为外公切线方程，两个为内公切线方程，如附图2所示，标号1，2表示外公切线位置，标号3，4表示内公切线位置；再根据以下两个椭圆中心与公切线的相对位置关系进行判断获得外公切线：(3)若两个椭圆中心分别处于公切线的异侧，则此公切线为内公切线；(4)若两个椭圆中心分别处于公切线的同侧，则此公切线为外公切线；对于得到的两条外公切线，依靠直线方程求解这两条外公切线的交点坐标；若两条外公切线完全平行时，则工件表面上的圆孔在图像上被投影为圆，意味着不存在消影点，以拟合出的圆心坐标作为圆孔圆心投影点，圆孔在图像上被投影为圆，不存在不对称投影导致地真实投影像点和椭圆中心之间的偏差，直接进行步骤2.1.2)；若两条外公切线相交时，求解相交的交点坐标作为一个消影点，对图像上每两个椭圆之间进行两两组合计算，得到所有消影点，对该图像上的消影点集合进行直线最小二乘拟合计算得到工件表面所在平面在图像上的消影线，进行步骤2.1.1)。消影线是3维欧式空间中的平行平面于无穷远处的交线在图像上的成像，而消影线是由无数个消影点汇聚而成的。消影点是3维欧式空间中的平行直线于无穷远处的交点在图像上的成像，在透视投影变换下相切关系保持不变，在图像上求解得到两个椭圆的外公切线，在真实的3维欧式空间中依然保持平行，切点不变。这样，图像上两椭圆的这两条外公切线的交点即为对应3维欧式空间中的无穷远点在图像上的成像，所求直线交点即为一个消影点。所述步骤2)中，对左右图像中各个椭圆的处理方法相同，具体方法为：2.1)位姿处理：2.1.1)按照以下公式求解获得圆孔的圆心在图像上的真实投影像点：O＝ω-1lvanish其中，lvanish为圆孔所在平面在图像上的消影线，O为真实投影像点，ω-1为椭圆参数矩阵的逆矩阵，椭圆参数矩阵ω表示如下：2.1.2)由于左右相机的两个光心和空间中的三维点构成了一个空间三角形的几何关系，根据真实投影像点用双目视觉三角测量原理计算得到真实投影像点在相机空间的三维坐标作为圆孔圆心的三维坐标，得到相机空间中各个圆孔的圆心集合，采用最小二乘方法拟合圆心集合获得一个最佳拟合平面并作为各个共面圆孔所在的平面，从而得到了工件表面所在平面的姿态；2.2)孔径大小处理2.2.1)根据圆孔圆心的空间坐标和圆孔所在平面的姿态，计算得出该圆孔所在平面的平面方程，该平面方程的基坐标系是以相机光心为坐标中心的相机坐标系；2.2.2)将椭圆从像素坐标系下转换到图像坐标系下，其中，为椭圆轮廓上的点在像素坐标系下的齐次表示(u,v,1)，u,v分别表示像素坐标系下的横纵坐标，ω为对应椭圆的像素坐标系下的椭圆参数矩阵；图像坐标系是以图像中心为原点、水平向右定义为X轴正方向、竖直向下定义为Y轴正方向而构建的平面直角坐标系，得到椭圆在图像坐标系下表示为下式：XTEX＝0其中，X为椭圆轮廓上的点在图像坐标系下的齐次表示(x,y,1)，E为新参数矩阵，新参数矩阵E表示如下：其中，表示在图像X方向上一个本文档来自技高网...

【技术保护点】
1.一种共面等大多孔型工件的位姿与孔径大小视觉检测方法，其特征在于包括以下步骤：/n步骤1)将共面等大多孔型工件置于平行放置的双目相机的公共视野范围内，用双目相机同时对工件进行拍摄采集获得共面等大多孔型工件的左右图像；再对拍摄得到的左右图像分别进行圆孔的椭圆检测，获得左右图像中的各个椭圆的轮廓参数，对于左右各自图像，分别根据椭圆的轮廓参数求解工件表面所在平面在图像上的消影线；/n步骤2)根据各自求得的工件表面所在平面在其图像上的消影线，准确获得每个圆孔的圆心在图像上真实投影像点；根据真实投影像点，根据双目视觉重建圆孔圆心的空间三维坐标，再对各个圆孔的圆心空间三维坐标点集所在的平面进行最小二乘拟合，得到工件表面所在平面，获得该工件表面所在平面的位置与姿态；再利用椭圆方程和工件表面所在平面计算得到工件表面圆孔的孔径大小。/n

【技术特征摘要】
1.一种共面等大多孔型工件的位姿与孔径大小视觉检测方法，其特征在于包括以下步骤：
步骤1)将共面等大多孔型工件置于平行放置的双目相机的公共视野范围内，用双目相机同时对工件进行拍摄采集获得共面等大多孔型工件的左右图像；再对拍摄得到的左右图像分别进行圆孔的椭圆检测，获得左右图像中的各个椭圆的轮廓参数，对于左右各自图像，分别根据椭圆的轮廓参数求解工件表面所在平面在图像上的消影线；
步骤2)根据各自求得的工件表面所在平面在其图像上的消影线，准确获得每个圆孔的圆心在图像上真实投影像点；根据真实投影像点，根据双目视觉重建圆孔圆心的空间三维坐标，再对各个圆孔的圆心空间三维坐标点集所在的平面进行最小二乘拟合，得到工件表面所在平面，获得该工件表面所在平面的位置与姿态；再利用椭圆方程和工件表面所在平面计算得到工件表面圆孔的孔径大小。


2.根据权利要求1所述的一种共面等大多孔型工件的位姿与孔径大小视觉检测方法，其特征在于：所述步骤1)中的共面等大多孔型工件是指该工件的表面上有多个尺寸相同的圆孔，且圆孔的圆心不再同一条直线上。


3.根据权利要求1所述的一种共面等大多孔型工件的位姿与孔径大小视觉检测方法，其特征在于：所述步骤1)，具体为：
1.1)对左右相机采集的图像进行椭圆拟合过程，求解得到椭圆的轮廓参数，包括椭圆中心在像素坐标系下的X0坐标、Y0坐标，椭圆半长轴a、半短轴b以及椭圆长轴与像素坐标系x轴之间的夹角θ；
1.2)根据椭圆的轮廓参数进行椭圆方程拟合，选取任意两个椭圆的椭圆方程求取两个椭圆之间的公切线方程，共获得四条公切线，再根据以下两个椭圆中心与公切线的相对位置关系进行判断获得外公切线：
(1)若两个椭圆中心分别处于公切线的异侧，则此公切线为内公切线；
(2)若两个椭圆中心分别处于公切线的同侧，则此公切线为外公切线；
对于得到的两条外公切线，依靠直线方程求解这两条外公切线的交点坐标；
若两条外公切线完全平行时，则工件表面上的圆孔在图像上被投影为圆，意味着不存在消影点，以拟合出的圆心坐标作为圆孔圆心投影点；
若两条外公切线相交时，求解相交的交点坐标作为一个消影点，对图像上每两个椭圆之间进行两两组合计算，得到所有消影点，对该图像上的消影点集合进行直线最小二乘拟合计算得到工件表面所在平面在图像上的消影线。


4.根据权利要求1所述的一种共面等大多孔型工件的位姿与孔径大小视觉检测方法，其特征在于：所述步骤2)中，对左右图像中各个椭圆的处理方法相同，具体方法为：
2.1)位姿处理：
2.1....

【专利技术属性】
技术研发人员：段桂芳，李哲，刘振宇，谭健荣，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33