快速高精度的复杂曲面制孔点法矢量测量方法技术

本发明专利技术快速高精度的复杂曲面制孔点法矢量测量方法属于计算机视觉测量技术领域，涉及一种快速高精度的复杂曲面制孔点法矢量测量方法。该方法采用基于双目视觉结合动态投影点的方法进行法矢量测量。首先进行动态投影点的布局优化，采用canny边缘检测算子提取投影点边缘位置，采用椭圆拟合算法快速提取投影点的中心坐标，对应提取的采集图像的投影点坐标进行三维重建，最后基于二次曲面拟合算法准确拟合制孔点邻域内的零部件表面三维形面信息，求解得到制孔点位置法矢量。该方法采用动态投影点的投影方式，增加了可测量的空间点数量，根据需要调整测点位置和数量，以适应不同表面需求，满足复杂曲面制孔点法矢量的快速高精度测量的要求。

【技术实现步骤摘要】

本专利技术属于计算机视觉测量
，涉及一种快速高精度的复杂曲面制孔点法矢量测量方法。
技术介绍
飞机零构件的装配作为飞机制造过程中的核心环节，直接决定飞机制造的发展水平，其装配研究是国际研究的热点。据统计，装配占飞机制造工作量50％～70％，50％的疲劳裂纹发生在装配连接处，因此高可靠、低损伤装配孔是确保飞机结构安全、长服役寿命的前提和基础。在飞机装配领域，为了确保铆接及螺栓连接孔的法向精度，在自动钻铆工序中，需要实时测量零件曲面上制孔点处的法矢量。孔的法向精度是孔质量的一个重要指标，一般通过孔的轴线与制孔面在制孔点处的法线(法矢量)夹角来衡量，而实际加工过程中使用钻头按制孔点处的法矢量方向进行加工，可以获得较高的法向精度。如果铆接孔的法向精度过差，将造成孔质量缺陷，会严重增大装配内应力，这会严重削弱结构件连接强度。所以提高孔的法向精度很有意义。在自动钻铆领域，通过测量制孔点周围区域多个离散点的三维坐标，拟合制孔点处的局部曲面方程，进而求解法矢量是基本的测法矢量思想。然而，由于曲面尺寸大且结构复杂、待加工孔的数量多且小等特点，在保证孔的法向精度的同时，还要实现边测量边制孔的要求，因此法矢量的高精度和快速测量是最大难点。现有的法矢量测量方法主要有传统的接触式位移传感器(如三坐标测量仪)测四点求法矢量、电涡流传感器测三点求法矢量、激光测距传感器测四点求法矢量、单目视觉测交叉光条求法矢量等方法。基于传统的接触式位移传感器的测量方法是通过接触曲面制孔点周围的表面提取空间信息，测量速度慢，设备损耗严重，精度保持性差；基于电涡流传感器和激光测距传感器的测量方法实现了非接触快速测量曲面离散点坐标，但是由于一台传感器一次只能测量一个点，受传感器结构数量限制，可测的空间点数量少、分布间距大，无法精确反映制孔点处的型面信息；单目视觉测交叉光条的方法是测量经过制孔点的两个直线方向的离散点信息，拟合曲面上两条经过制孔点的曲线方程，进而求解法矢量的过程，其测量速度较快，精度较高，获取点的数量很多，但是这些点无法反映制孔点周围各方向的信息，导致测量不同曲面的制孔点法矢量的精度保持性差。应高明等人发表的期刊《飞机壁板自动钻铆法向量测量方法研究》[J].机床与液压,2010,23:001-008，提出了一种利用四个激光测距传感器测法矢量的方法，四个传感器以制孔点为中心按指定正方形分布，平行投射到待测曲面上，通过测量制孔点周围四个离散点到传感器的距离，结合传感器的分布间距，可以获得四个离散点相对制孔点的空间坐标关系，采用调平算法调整制孔点处的法矢量与机床主轴平行，该方法精度较高、速度快；姚振强等人专利技术的专利号为CN201110099364.6的“用于大曲率半径曲面法向矢量快速检测方法”采用两个相互垂直平面与工件曲面相交，得到曲面点的两条坐标曲线，然后分别检测两条坐标曲线上以曲面点为中心的微小曲线切向矢量，从而得到曲面数据点的法向矢量，该方法将传统的曲面法向检测三维问题转化为两次二维曲线检测，便于实现，可以达到曲面加工实时检测的需求，提高了曲面加工的质量和效率。
技术实现思路
本专利技术要解决的技术难题是针对大型航空零件复杂表面多制孔点法矢量测量精度不高、效率较低的问题，专利技术了一种基于双目视觉结合动态投影点的法矢量测量方法。该方法针对复杂零部件表面制孔点，在法矢量测量过程中，需要在制孔点较小邻域内布置尽可能多的环形阵列投影标志点，并控制投影点的动态频率和持续时间与摄像机采集帧频进行匹配，以确保摄像机能够采集到完整的动态投影点图像，并对一个测量周期内采集到动态投影点图像进行提取和三维重建，从而获得制孔点周围所有测量标志点的离散三维坐标，最终通过二次曲面拟合的方式获得准确的制孔点领域型面信息，从而获得精确的制孔点法矢量方向。该方法通过布置动态投影点的方式获得更多的测量标志点，从而大大提高曲面拟合的精度，得到的法矢量测量精度高。本专利技术采用的技术方案是一种快速高精度的复杂曲面制孔点法矢量测量方法，其特征是，该方法采用基于双目视觉结合动态投影点的方法进行法矢量测量；首先进行动态投影点的布局优化，并基于摄像机采集帧频设计相匹配的投影点动态频率；进而针对摄像机采集的每帧动态投影点图像，采用canny边缘检测算子提取投影点边缘位置，并根据边缘位置信息采用椭圆拟合算法快速提取投影点的中心坐标，对应提取的左右摄像机采集图像的投影点坐标进行三维重建，获得投影点位置的被测零部件表面三维信息；最后基于二次曲面拟合算法准确拟合制孔点邻域内的零部件表面三维形面信息，从而求解得到制孔点位置法矢量；方法具体步骤如下：第一步搭建基于双目立体视觉的法矢量测量系统该系统由安装在支架上且标定过的左右摄像机、动态点投影仪、被测物组成；第二步面向法矢量测量的动态投影点布局和设计先进行动态投影点的空间布局，本方法采用的动态投影圆点为一系列环形阵列点，环形阵列点以一条直线上的内环和外环圆周上投影点的两个投影点为基础投影点阵，对内外环进行n等分得到环形阵列，由于二次曲面拟合限制，应满足n≥7；其阵列中心布置于待测制孔点上，从而构成内环形阵列点和外环形阵列点，其内环半径为R1，外环半径为R2，且内环和外环圆周上投影点直径分别为d和D；为了保证内外环投影点在视觉图像中不发生干涉，不影响其精确提取，应满足其中，Δ是内外环投影点的轮廓间距阈值；综合上述限制条件，对动态投影点的布局进行设计；然后进行投影点的动态性能设计；根据摄像机的采集参数设计投影点的频率特性；已知摄像机的采集帧频是fc，即单次采集的周期是Tc，曝光时间是Texp，满足：为了确保动态投影点具有足够的亮度，摄像机在单次曝光时间内投影点应保持持续亮显状态，由于无法实现同步触发，投影点的持续时间TF应满足：TF≥Texp+Tc(3)为了限制整个采集过程的持续时间Tm，提高单位制孔点的采集效率，应使Tm尽可能小，令投影点动态投影频率为fD，应满足：其中，N是自然数集合，TS是摄像机采集闲置时间；根据式(3)、(4)可确定fD和TF的取值，进一步确定动态投影点组数n的大小；第三步动态投影点边缘提取采用canny算子进行边缘检测，作用于具有灰度梯度的图像上，提取图像中的边缘信息；采用高斯滤波，使图象平滑；假设A为原始图像，B为高斯滤波后的图像，那么他们每个像素点灰度值之间的数学关系表示为：本步骤表明对于A中任一像素点，搜索其周围5×5范围的像素信息，按式(5)中5×5矩阵给定的权值进行加权计算，将加权和除以159，所得的值即为滤波后该像素点的灰度值；计算梯度横纵方向的幅值；利用边缘检测横向算子Gx和纵向算子Gy获取滤波后图像的横纵向梯度Cx和Cy，然后利用式(8)获取边缘检测后的图像C；提取梯度幅值各方向的最大值；将前面得到的边界信息图像C中的模糊区域去除，留下清晰的边界，即仅保留每个像素点上各方向梯度中的最大值；用双阈值算法限定强弱边界；设定灰度值的上下边界，并认为灰度值大于上边界的像素点是强边界；上下边界之间的是弱边界，需要进一步处理；小于下边界的是非边界；利用滞后的边界跟踪；保留与属于强边界的像素点相邻的弱边界，滤除其他弱边界；经过上述步骤，获得左右摄像机图像中第i组内环上投影标志点的k个边缘点物理坐标为(ulij1,vlij1本文档来自技高网...

【技术保护点】
一种快速高精度的复杂曲面制孔点法矢量测量方法，其特征是，该方法采用基于双目视觉结合动态投影点的方法进行法矢量测量；首先进行动态投影点的布局优化，并基于摄像机采集帧频设计相匹配的投影点动态频率；进而针对摄像机采集的每帧动态投影点图像，采用canny边缘检测算子提取投影点边缘位置，并根据边缘位置信息采用椭圆拟合算法快速提取投影点的中心坐标，对应提取的左右摄像机采集图像的投影点坐标进行三维重建，获得投影点位置的被测零部件表面三维信息；最后基于二次曲面拟合算法准确拟合制孔点邻域内的零部件表面三维形面信息，从而求解得到制孔点位置法矢量；方法具体步骤如下：第一步搭建基于双目立体视觉的法矢量测量系统该系统由安装在支架上且标定过的左右摄像机、动态点投影仪、被测物组成；第二步面向法矢量测量的动态投影点布局和设计先进行动态投影点的空间布局，本方法采用的动态投影圆点为一系列环形阵列点，环形阵列点以一条直线上的内环和外环圆周上投影点的两个投影点为基础投影点阵，对内外环进行n等分得到环形阵列，由于二次曲面拟合限制，应满足n≥7；其阵列中心布置于待测制孔点上，从而构成内环形阵列点和外环形阵列点，其内环半径为R1，外环半径为R2，且内环和外环圆周上投影点直径分别为d和D；为了保证内外环投影点在视觉图像中不发生干涉，不影响其精确提取，应满足R2-R1≥D+d2+Δ---(1)]]>其中，Δ是内外环投影点的轮廓间距阈值；综合上述限制条件，对动态投影点的布局进行设计；然后进行投影点的动态性能设计；根据摄像机的采集参数设计投影点的频率特性；已知摄像机的采集帧频是fc，即单次采集的周期是Tc，曝光时间是Texp，满足：TexpTc≤12fc=1Tc---(2)]]>为了确保动态投影点具有足够的亮度，摄像机在单次曝光时间内投影点应保持持续亮显状态，由于无法实现同步触发，投影点的持续时间TF应满足：TF≥Texp+Tc  (3)为了限制整个采集过程的持续时间Tm，提高单位制孔点的采集效率，应使Tm尽可能小，令投影点动态投影频率为fD，应满足：fcfD∈NfD<0.5fcTF<2TcnfD+TS=Tm---(4)]]>其中，N是自然数集合，TS是摄像机采集闲置时间；根据式(3)、(4)可确定fD和TF的取值，进一步确定动态投影点组数n的大小；第三步动态投影点边缘提取采用canny算子进行边缘检测，作用于具有灰度梯度的图像上，提取图像中的边缘信息；采用高斯滤波，使图象平滑；假设A为原始图像，B为高斯滤波后的图像，那么他们每个像素点灰度值之间的数学关系表示为：B=1159245424912945121512549129424542A---(5)]]>本步骤表明对于A中任一像素点，搜索其周围5×5范围的像素信息，按式(5)中5×5矩阵给定的权值进行加权计算，将加权和除以159，所得的值即为滤波后该像素点的灰度值；计算梯度横纵方向的幅值；利用边缘检测横向算子Gx和纵向算子Gy获取滤波后图像的横纵向梯度Cx和Cy，然后利用式(8)获取边缘检测后的图像C；Gx=-101-202-101---(6)]]>Gy=121000-1-2-1---(7)]]>C=Cx2+Cy2=(GxB)2+(GyB)2---(8)]]>提取梯度幅值各方向的最大值；将前面得到的边界信息图像C中的模糊区域去除，留下清晰的边界，即仅保留每个像素点上各方向梯度中的最大值；用双阈值算法限定强弱边界；设定灰度值的上下边界，并认为灰度值大于上边界的像素点是强边界；上下边界之间的是弱边界，需要进一步处理；小于下边界的是非边界；利用滞后的边界跟踪；保留与属于强边界的像素点相邻的弱边界，滤除其他弱边界；经过上述步骤，获得左右摄像机图像中第i组内环上投影标志点的k个边缘点物理坐标为(ulij1,vlij1)和(urij1,vrij1)，外环上投影标志点边缘物理坐标为(ulij2,vlij2)和(ulij2,vlij2)，其中i＝1,2,...,n，j＝1,2,...,k；第四步基于椭圆拟合提取投影点中心根据已对得到的投影点在图像中的边界坐标，采用最小二乘法进行椭圆拟合，进而获得投影点在图像中的中心坐标；设定椭圆拟合的目标函数为：S＝c1u2+c2v2+c3u+c4v+c5＝0  (9)其中，c1、c2、c3、c4、c5是待求解系数，(u,v)是用于求解的中心点行、列坐标值；线性方程组的最小二乘问题可以写成如下形式：G=ui12vi12ui1vi11ui22vi22ui2vi21...uik2vik2uikvik1x‾=ci1ci2ci3ci4ci5TGTGx‾=0---(10)]]>求解上述方程组即可获得最优参数ci1，ci2...

【技术特征摘要】
1.一种快速高精度的复杂曲面制孔点法矢量测量方法，其特征是，该方法采用基于双目视觉结合动态投影点的方法进行法矢量测量；首先进行动态投影点的布局优化，并基于摄像机采集帧频设计相匹配的投影点动态频率；进而针对摄像机采集的每帧动态投影点图像，采用canny边缘检测算子提取投影点边缘位置，并根据边缘位置信息采用椭圆拟合算法快速提取投影点的中心坐标，对应提取的左右摄像机采集图像的投影点坐标进行三维重建，获得投影点位置的被测零部件表面三维信息；最后基于二次曲面拟合算法准确拟合制孔点邻域内的零部件表面三维形面信息，从而求解得到制孔点位置法矢量；方法具体步骤如下：第一步搭建基于双目立体视觉的法矢量测量系统该系统由安装在支架上且标定过的左右摄像机、动态点投影仪、被测物组成；第二步面向法矢量测量的动态投影点布局和设计先进行动态投影点的空间布局，本方法采用的动态投影圆点为一系列环形阵列点，环形阵列点以一条直线上的内环和外环圆周上投影点的两个投影点为基础投影点阵，对内外环进行n等分得到环形阵列，由于二次曲面拟合限制，应满足n≥7；其阵列中心布置于待测制孔点上，从而构成内环形阵列点和外环形阵列点，其内环半径为R1，外环半径为R2，且内环和外环圆周上投影点直径分别为d和D；为了保证内外环投影点在视觉图像中不发生干涉，不影响其精确提取，应满足R2-R1≥D+d2+Δ---(1)]]>其中，Δ是内外环投影点的轮廓间距阈值；综合上述限制条件，对动态投影点的布局进行设计；然后进行投影点的动态性能设计；根据摄像机的采集参数设计投影点的频率特性；已知摄像机的采集帧频是fc，即单次采集的周期是Tc，曝光时间是Texp，满足：TexpTc≤12fc=1Tc---(2)]]>为了确保动态投影点具有足够的亮度，摄像机在单次曝光时间内投影点应保持持续亮显状态，由于无法实现同步触发，投影点的持续时间TF应满足：TF≥Texp+Tc(3)为了限制整个采集过程的持续时间Tm，提高单位制孔点的采集效率，应使Tm尽可能小，令投影点动态投影频率为fD，应满足：fcfD∈NfD<0.5fcTF<2TcnfD+TS=Tm---(4)]]>其中，N是自然数集合，TS是摄像机采集闲置时间；根据式(3)、(4)可确定fD和TF的取值，进一步确定动态投影点组数n的大小；第三步动态投影点边缘提取采用canny算子进行边缘检测，作用于具有灰度梯度的图像上，提取图像中的边缘信息；采用高斯滤波，使图象平滑；假设A为原始图像，B为高斯滤波后的图像，那么他们每个像素点灰度值之间的数学关系表示为：B=1159245424912945121512549129424542A---(5)]]>本步骤表明对于A中任一像素点，搜索其周围5×5范围的像素信息，按式(5)中5×5矩阵给定的权值进行加权计算，将加权和除以159，所得的值即为滤波后该像素点的灰度值；计算梯度横纵方向的幅值；利用边缘检测横向算子Gx和纵向算子Gy获取滤波后图像的横纵向梯度Cx和Cy，然后利用式(8)获取边缘检测后的图像C；Gx=-101-202-101---(6)]]>Gy=121000-1-2-1---(7)]]>C=Cx2+Cy2=(GxB)2+(GyB)2---(8)]]>提取梯度幅值各方向的最大值；将前面得到的边界信息图像C中的模糊区域去除，留下清晰的边界，即仅保留每个像素点上各方向梯度中的最大值；用双阈值算法限定强弱边界；设定灰度值的上下边界，并认为灰度值大于上边界的像素点是强边界；上下边界之间的是弱边界，需要进一...

【专利技术属性】
技术研发人员：刘巍，叶帆，张洋，兰志广，赵海洋，张致远，贾振元，马建伟，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21