一种基于双目视觉的自由曲面法矢量测量方法技术

本发明专利技术一种基于双目视觉的自由曲面法矢量测量方法属于计算机视觉测量领域，涉及一种基于双目视觉的曲面法矢量测量方法。测量方法中，由激光投影装置向自由曲面投影的投影图案由两条正交直线与位于两条线上的四个圆形光斑构成；两直线交于一点，四个圆形光斑大小相等且均布在同一圆周上。利用双目视觉系统采集投影图案的图像，通过基于距离的阈值判定条件，估计曲面一点小邻域范围的曲率大小，以选取不同的法矢量测量方案。该测量方法考虑了待测点邻域的曲率大小，测量柔性比较高，适应性强，可实现自由曲面任一点法矢量的在线高效率测量。且其方法简单，算法易于实现。

【技术实现步骤摘要】
一种基于双目视觉的自由曲面法矢量测量方法
本专利技术属于计算机视觉测量领域，涉及一种基于双目视觉的曲面法矢量测量方法。
技术介绍
曲面零部件如涡轮叶片、喇叭、曲面腔体、列车蒙皮等正日益成为各应用领域产品不可缺少的重要构成部分。对于这些零件，曲面法矢成为重要的测量参数。蒙皮作为飞机典型复合材料曲面零件具有壁薄、形状复杂、随机变形大、材料性质各向异性、尺寸范围大等特点。蒙皮柔性钻铆工艺对钻铆垂直度有很高要求，而飞机蒙皮铆接件钻孔时，由加工预制件铺放、热压固化以及零件自身重力所引起的变形和定位、协调、夹紧时各种误差的积累使得实际待铆点处法矢量与三维数字模型中理论法矢量产生偏差。若铆接点处法向精度超出范围，会使孔加工质量下降、连接形式为强迫连接、连接处产生应力集中以及蒙皮表面不光滑，进而影响铆接质量和飞机气动外形，并最终导致飞机使役性能下降。因此，如何实现飞机蒙皮表面任意一点法矢量的在线高精度、高效率测量成为亟需解决的重要难题。李原、余剑锋专利技术的专利号为CN201120358775的“一种测量自由曲面任意点处法向矢量的装置”专利技术一种利用球形触头在曲面上画出相交的曲线，利用曲线的切矢求取法向量的测量方法。此种方法为接触式测量，对于随机变形曲面其法矢量求取精度比较低。姚振强、胡永祥专利技术的专利号为CN102248450A的“用于大曲率半径曲面法向矢量快速检测方法”专利技术了利用光学测量技术实现两假想正交平面与曲面交线的获取,利用这两条交线在待测点的法矢量的叉乘积求取曲面一点的法向量,但该方法没有考虑曲面一点处的曲率大小,而单一的利用一种方法求取法矢量,效率低、柔性差。
技术实现思路
本专利技术要解决的技术难题是克服现有技术的缺陷，专利技术一种基于双目视觉的自由曲面法矢量测量方法，采用由双目视觉系统以及投影图案组成的测量系统进行自由曲面任一点法矢量的测量。通过比较所设阈值与待测点到拟合平面的距离大小，选取不同测量方案完成法矢量的高精度快速测量。该测量方法考虑的待测点邻域的曲率的大小，柔性比较高，可实现曲面任一点法矢量的在线高精度与高效率测量。本专利技术所采取的技术方案是一种基于双目视觉的自由曲面法矢量测量方法，其特征是：测量方法中,由激光投影装置向自由曲面投影的投影图案由两条正交直线L1、L2与位于两条线上的四个圆形光斑G构成；两直线交点为P，四个圆形光斑大小相等且均布在同一圆周上；利用双目视觉系统采集投影图案的图像；通过基于距离的阈值判定条件，估计曲面一点小邻域范围的曲率大小，以选取不同的法矢量测量方案：当d≤ε时，选用拟合平面的法向量逼近曲面待测点法矢量；当d＞ε时，则利用拟合后的两条空间曲线在待测点处切矢量的叉乘积求取待测点处的法矢量；测量方法的具体步骤如下:(1)基于阈值灰度重心法的光斑中心提取本专利技术采用Canny算子结合灰度重心法对光斑中心进行高精度提取，灰度图像I(i,j)中目标S的灰度重心为:式中，(Xk,Yk)为第k个光斑中心点的图像坐标；W(i,j)为所设定的权值；考虑实际背景和目标之间的灰度信息状况，本专利技术采用阈值灰度重心法，其权值W(i,j)定义为：其中，T为区分目标和背景的阈值；灰度重心取W(i,j)＝I(i,j)；(2)光斑中心点的匹配和重建在完成光斑中心点的提取后对左右摄像机采集的图像上的光斑中心点进行匹配与重建；匹配方法如下：首先采用Hartley提出的改进八点归一化算法计算左右摄像机的基本矩阵F，然后通过左右摄像机所采集的二维数字图像之间极线约束关系进行光斑中心点的初匹配，假设左图像光斑中心点xi'与右图像光斑中心点xi'’相匹配，即两光斑中心点满足极限约束条件，极限约束方程可表示如下：其中，xi’为左摄像机采集的图像光斑中心点的像面坐标；xi'’为与xi’相匹配由右摄像机所采集图像光斑中心点的像面坐标；F为左右摄像机之间的基本矩阵；在此基础上对左右图像中所有满足极限约束条件的光斑中心点进行三维重建以得到光斑中心点在世界坐标系下的三维坐标值，重建公式如下：其中，xi'＝(Xi',Yi')，Xi'，Yi'分别为左摄像机采集的图像光斑中心点xi’在像面坐标系下的横、纵坐标；xi’’＝(Xi’’,Yi’’)，Xi’’，Yi’’分别为右摄像机采集的图像光斑中心点xi‘'在像面坐标系下的横、纵坐标；(xi,yi,zi)为由两匹配光斑中心点xi’、xi‘'重建出来的空间标记点的三维坐标；f1、f2分别为左右摄像机的焦距；为连接左右摄像机关系的旋转矩阵，[txtytz]是右摄像机相对于左摄像机的平移矩阵；(3)曲率判定1)最小二乘法拟合空间平面以重建出的四个光斑中心点在世界坐标系的三维坐标值为基础，利用最小二乘法拟合空间平面，步骤如下：平面方程的一般表达式为：其中(A,B,C)为平面的法向向量；D为原点到平面的距离；记则z＝a0x+a1y+a2；选用最小二乘法利用n个点(n≥3):(xi,yi,zi),i＝0,1…,n-1拟合上述平面，则使：最小；其中S为点到直线的距离的平方和；要使S取得最小值，应满足：K＝0,1,2；即：将四个重建光斑中心的空间三维坐标(xi,yi,zi),i＝0,1,2,3带入上述方程组求得a0,a1,a2；即拟合平面的方程为：z＝a0x+a1y+a2；空间拟合平面的法向量为:2)求待测点P′到拟合平面的距离空间一点到平面的距离公式可表示为：其中,S平面为空间拟合平面的方程；d为待测点到平面的距离；P′＝(x′,y′,z′)为待测点在世界坐标系下的坐标；Q＝(xq,yq,zq)为拟合平面上的任意一点；ε为所设阈值；当d≤ε时，认为待测点P′小邻域曲面范围内曲率变化不大；当d＞ε时则认为待测点P′小邻域曲面范围内曲率变化较大；(4)法矢量求解基于距离阈值约束的法矢量测量方案选择准则，情况一：若位于曲面上的待测点P′到空间拟合平面的距离满足d≤ε，则认为待测点P′小邻域曲面范围内曲率变化不大，此时认为平面的法向量就是曲面上待测点的法矢量，即情况二：若曲面上待测点P′到空间拟合平面的距离d＞ε，则认为待测点P′小邻域曲面范围内曲率变化较大，其近似曲面可能是球面、抛物面、马鞍面等其它二次曲面，此时选用投影到曲面上的两条空间曲线进行法矢量的求解；其步骤如下：1)激光条纹中心线点的提取、匹配与重建本专利技术采用基于方向模板的激光条纹中心线检测方法，分别在水平、垂直、左倾斜45°、右倾斜45°方向上布置大小固定方向可变的模板，分别记为K0、K1、K2、K3，用这四个模板对二维数字图像每一行分别进行处理；以对i行处理为例，对于K0模板有：其中M为模板所对应的行数；N为模板对应的列数；K0[s][t]≥0；表示点的灰度值；相应的对于模板K1、K2、K3有Hg1、Hg2、Hg3；求取Hg＝max(Hg0,Hg1,Hg2,Hg3)，则有第i行激光条纹的中心点的位置在点g处；用该方法对二维数字图像进行逐行逐像素检测可完成激光条纹中心线的提取；在完成激光条纹中心线提取的基础上，采用步骤(2)中光斑中心点匹配和重建相同的方法进行激光条纹中心点的匹配和重建，得到激光条纹中心线点在世界坐标系下的三维坐标值；2)三次B样条曲线拟合两空间曲线本专利技术采用三次B样条曲线拟合两空间激光条纹曲线，B样条曲线分段函数表达式为：其中Pi(本文档来自技高网...

【技术保护点】
一种基于双目视觉的自由曲面法矢量测量方法，其特征是：测量方法中，由激光投影装置向自由曲面投影的投影图案由两条正交直线L1、L2和位于两条线上的四个圆形光斑G构成；两直线交点为P，四个圆形光斑大小相等且均布在同一圆周上；利用双目视觉系统采集投影图案的图像；通过基于距离的阈值判定条件，估计曲面一点小邻域范围的曲率大小，以选取不同的法矢量测量方案：当d≤ε时，选用拟合平面的法向量逼近曲面待测点法矢量；当d＞ε时，则利用拟合后的两条空间曲线在待测点处切矢量的叉乘积求取待测点处的法矢量；测量方法的具体步骤如下:（1）基于阈值灰度重心法的光斑中心提取本专利技术采用Canny算子结合灰度重心法对光斑中心进行高精度提取，灰度图像I(i,j)中目标S的灰度重心为:Xk=Σ(i,j)∈Si×W(i,j)Σ(i,j)∈SW(i,j)Yk=Σ(i,j)∈Sj×W(i,j)Σ(i,j)∈W(i,j)---(1)]]>式中，(Xk,Yk)为第k个光斑中心点的图像坐标；W(i,j)为所设定的权值；考虑实际背景和目标之间的灰度信息状况，本专利技术采用阈值灰度重心法，其权值W(i,j)定义为：W(i,j)=I(i,j)0(I(i,j)>T)(I(i,j)≤T)---(2)]]>其中，T为区分目标和背景的阈值；灰度重心取W(i,j)＝I(i,j)；（2）光斑中心点的匹配和重建在完成光斑中心点的提取后,对左右摄像机采集的图像上的光斑中心点进行匹配与重建；匹配方法如下：首先采用Hartley提出的改进八点归一化算法计算左右摄像机的基本矩阵F，然后通过左右两高速摄像机所采集的二维数字图像之间极线约束关系进行光斑中心点的初匹配，假设左图像光斑中心点xi'与右图像光斑中心点xi''相匹配，即两光斑中心点满足极限约束条件，极限约束方程可表示如下：xi′TFxi′′=0---(3)]]>其中，xi'为左摄像机采集的图像光斑中心点的像面坐标；xi''为与xi'相匹配由右摄像机所采集图像光斑中心点的像面坐标；F为两摄像机之间的基本矩阵；在此基础上对左右图像中所有满足极限约束条件的光斑中心点进行三维重建以得到光斑中心点在世界坐标系下的三维坐标值，重建公式如下：xi=zXi′f1yi=zYi′f1zi=f1(f2ty-Yi′′tz)Y1(r7Xi′+r8Yi′+r9f1)-f2(r4Xi′+r5Yi′+r6f1)---(4)]]>其中，xi'＝(Xi',Yi')，Xi'，Yi'分别为左摄像机采集的图像光斑中心点xi'在像面坐标系下的横、纵坐标；xi''＝(Xi'',Yi'')，Xi''，Yi''分别为右摄像机采集的图像光斑中心点xi‘'在像面坐标系下的横、纵坐标；(xi,yi,zi)为由两匹配光斑中心点xi'、xi‘'重建出来的空间标记点的三维坐标；f1、f2分别为左右摄像机的焦距；为连接左右摄像机关系的旋转矩阵，[txtytz]是右摄像机相对于左摄像机的平移矩阵；（3）曲率判定1)最小二乘法拟合空间平面以重建出的四个光斑中心点在世界坐标系的三维坐标值为基础，利用最小二乘法拟合空间平面，步骤如下：平面方程的一般表达式为：Ax+By+Cz+D=0,(C≠0)z=-ACx-BCy-DC---(5)]]>其中(A,B,C)为平面的法向向量；D为原点到平面的距离；记a0=-AD,a1=-BD,a2=-CD;]]>则za0x+a1y+a2；选用最小二乘法利用n个点(n≥3):(xi,yi,zi),i＝0,1…，,n‑1拟合上述平面，则使：S=Σi=0n-1(a0x+a1y+a2-z)2]]>最小;其中S为点到直线的距离的平方和；要使S取得最小值，应满足：K＝0,1,2；即：Σ2(a0xi+a1yi+a2-zi)xi=0Σ2(a1xi+a1yi+a2-zi)yi=0Σ2(a1xi+a1yi+a2-zi)=0---(6)]]>将四个重建光斑中心的空间三维坐标(xi,yi,zi),i＝0,1,2,3带入上述方程组求得a0,a1,a2；即拟合平面的方程为：z＝a0x+a1y+a2；空间拟合平面的法向量为:2)求待测点P′到拟合平面的距离空间一点到平面的距离公式可表示为：其中,S平面为空间拟合平面的方程；d为待测点到平面的距离；P′＝(x′,y′,z′)为待测点在世界坐标系下的坐标；Q＝(xq,yq,zq)为拟合平面上的任意一点；ε为所设阈值；当d≤ε时，认为待测点P′小邻域曲...

【技术特征摘要】
1.一种基于双目视觉的自由曲面法矢量测量方法，其特征是：测量方法中，由激光投影装置向自由曲面投影的投影图案由两条正交直线L1、L2和位于两条线上的四个圆形光斑构成；两直线交点为P，四个圆形光斑大小相等且均布在同一圆周上；利用双目视觉系统采集投影图案的图像；通过基于距离的阈值判定条件，估计曲面一点小邻域范围的曲率大小，以选取不同的法矢量测量方案：当d≤ε时，选用拟合平面的法向量逼近曲面待测点法矢量；当d＞ε时，则利用拟合后的两条空间曲线在待测点处切矢量的叉乘积求取待测点处的法矢量；测量方法的具体步骤如下:(1)基于阈值灰度重心法的光斑中心提取采用Canny算子结合灰度重心法对光斑中心进行高精度提取，灰度图像I(i,j)中目标S的灰度重心为:式中，(Xk,Yk)为第k个光斑中心点的图像坐标；W(i,j)为所设定的权值；考虑实际背景和目标之间的灰度信息状况，采用阈值灰度重心法，其权值W(i,j)定义为：其中，T为区分目标和背景的阈值；灰度重心取W(i,j)＝I(i,j)；(2)光斑中心点的匹配和重建在完成光斑中心点的提取后,对左右摄像机采集的图像上的光斑中心点进行匹配与重建；匹配方法如下：首先采用Hartley提出的改进八点归一化算法计算左右摄像机的基本矩阵F，然后通过左右摄像机所采集的二维数字图像之间极线约束关系进行光斑中心点的初匹配，假设左图像光斑中心点xi'与右图像光斑中心点xi′′相匹配，即两光斑中心点满足极限约束条件，极限约束方程可表示如下：其中，xi'为左摄像机采集的图像光斑中心点的像面坐标；xi′′为与xi'相匹配由右摄像机所采集图像光斑中心点的像面坐标；F为左右摄像机之间的基本矩阵；在此基础上对左右图像中所有满足极限约束条件的光斑中心点进行三维重建以得到光斑中心点在世界坐标系下的三维坐标值，重建公式如下：其中，xi'＝(Xi',Yi')，Xi'，Yi'分别为左摄像机采集的图像光斑中心点xi′在像面坐标系下的横、纵坐标；xi′′＝(Xi′′,Yi′′)，Xi′′，Yi′′分别为右摄像机采集的图像光斑中心点xi′′在像面坐标系下的横、纵坐标；(xi,yi,zi)为由两匹配光斑中心点xi'、xi′′重建出来的空间标记点的三维坐标；f1、f2分别为左右摄像机的焦距；为连接左右摄像机关系的旋转矩阵，[txtytz]是右摄像机相对于左摄像机的平移矩阵；(3)曲率判定1)最小二乘法拟合空间平面以重建出的四个光斑中心点在世界坐标系的三维坐标值为基础，利用最小二乘法拟合空间平面，步骤如下：平面方程的一般表达式为：其中(A,B,C)为平面的法向向量；D为原点到平面的距离；记则z＝a0x+a1y+a2；选用最小二乘法利用n个点(n≥3):(xi,yi,zi),i＝0,1…,n-1拟合上述平面，则使：最小；其中S为点到直线的距离的平方和；要...

【专利技术属性】
技术研发人员：刘巍，李肖，马鑫，贾振元，尚志亮，张洋，李晓东，高航，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21