一种面向航空复杂零件的面结构光自动化三维检测方法技术

技术编号:35590978 阅读:20 留言:0更新日期:2022-11-16 15:08
本发明专利技术公开了一种面向航空复杂零件的面结构光自动化三维检测方法,首先针对航空零件理论模型分析处理,生成拍摄视点并筛选得出最优视点集。接着按机械臂的运动代价等为参数计算出最优路径。扫描仪按照视点路径拍摄,采用最先进的双目面结构光多频外差法以及改进的相位立体匹配算法获取点云。通过改进的标志点粘贴与组合拼接方法进行点云粗配准;和优化的ICP精配准融合多视角点云,并通过点云精简、点云去噪平滑、点云法失调整、补空洞等算法生成高质量点云并完成三维模型重建。最终利用算法实现获取模型与理论模型进行比对得出误差分析。本发明专利技术实验验证有效提高了航空复杂零件数字化三维测量的精度和自动化程度。字化三维测量的精度和自动化程度。字化三维测量的精度和自动化程度。

【技术实现步骤摘要】
一种面向航空复杂零件的面结构光自动化三维检测方法


[0001]本专利技术涉及逆向工程中基于面结构光的三维重建技术与三维精度检测领域,具体为一种面向航空零件的面结构光自动化三维检测方法。

技术介绍

[0002]飞机制造业中,航空关键零件形状复杂,成形精度难以控制,其生产的精度与效率对于飞机制造的质量至关重要。当前,航空零件质量检测多采用人工检测,存在效率低下,精度不稳定等问题。随着数字化测量技术的发展,面结构光扫描仪因其高精度和高效率被广泛应用于飞机产品的精确制造和精密装配。传统扫描仪需要人工经验确定拍摄位置,效率低下。而同时扫描仪扫描重建过程中对于无关背景的重建影响了重建的效率与质量。故对于航空复杂零件的面结构光自动化三维检测中需要解决这些技术问题。

技术实现思路

[0003]专利技术目的:本专利技术目的在于针对现有技术的不足和缺陷,提出一种面向航空复杂零件的面结构光自动化三维检测方法。以解决人工经验确定拍摄位置效率低、扫描仪重建模型质量差的技术问题。
[0004]技术方案:
[0005]为解决上述问题,本专利技术可采用以下技术方案。
[0006]一种面向航空复杂零件的面结构光自动化三维检测方法,包括以下步骤:
[0007](1)获得航空复杂零件的零件理论数据模型;
[0008](2)以测量空间为约束对零件理论数据模型进行分区;
[0009](3)对各分区完成的零件理论数据模型进行初始视点生成,以各分区中心为球心,拍摄距离为半径建立球坐标系;在此球坐标系所生成的球表面分别按径向与横向到球心的矢量角偏差一个角度,生成若干布满球面的视点;
[0010](4)对每个视点进行评价,以该视点拍摄情况下所拍摄最多的特征数、最少的遮挡率筛选出每个面的最优视点,得到每个分区的最优的前若干视点;
[0011](5)筛选完毕后统计所有的最优视点,对于机械臂进行最优路径规划,计算出经过各最优视点的最优路径;将所有生成的最优视点的集合通过蚁群算法计算得出最优的机械臂路径点顺序,再加上机械臂预设起始点与终点,即构成本次零件扫描的最优路径;
[0012](6)对双目相机进行标定,采用张氏棋盘格标定法得出双目相机的内外参数,综合上述内外参数校正完图像之后直接用于计算图像像素坐标转换至世界坐标的重投影矩阵Q;
[0013](7)提供真实的航空复杂零件及固定该航空复杂零件的工装并在工装上设置用以供双目相机识别零件种类的非编码标志点;
[0014](8)机械臂开始启动,按所获路径顺序遍历每个视点,通过工业投影机投射生成的24幅三频八步相移图案到航空复杂零件表面,并用工业相机进行随动拍摄后数据传入计算
机;
[0015](9)计算三维点云:利用拍摄的24幅三频八步相移图案进行多频外差解相算法;计算出连续的经过调制的航空复杂零件左右两幅连续相位图后,对相位图进行自动化阈值分割,区分出相位图中的航空复杂零件与背景;
[0016](9)对左右两个相机图像中零件像素信息对应匹配,匹配完成后图像坐标对应点相减即可得到左右相机视差图矩阵D;重投影矩阵Q与上述步骤得到的视差图矩阵D计算出当前视角所拍摄的零件的世界坐标系下的三维点云,输出当前视角点云数据;
[0017](10)通过识别粘贴的标志点来计算多视角点云拼接所需的变换矩阵;将获取的变换矩阵应用于前后两个视角所获点云,即将两幅点云统一在相同坐标系下并完成公共区域拼接,使用上述获得矩阵即完成初步点云粗拼接;
[0018](11)通过ICP配准算法进行点云精配准,遍历完所有计算出的视点,计算出点云并完成点云自动拼接,获取初步完整的点云数据;
[0019](12)通过点云处理算法对获取的粗糙点云进行优化得到精确点云数据;
[0020](13)将得到的精确点云数据进行三角化重构,得到stl三角网格模型并转化为step模型;
[0021](14)获得的step模型与零件理论数据模型进行比对,比对出零件制造的误差数据。
[0022]进一步的,步骤(5)中,筛选完毕后统计所有的最优视点集{p1,p2...p
i
},对于机械臂携带扫描仪进行最优路径规划,计算出经过各最优视点且效率最高,无干涉的路径,路径权值为机械臂运动代价;计算遍历点集的最优路径简化为带权有向图的旅行商TSP问题,而路径的权值设为机械臂的运动代价;在笛卡尔空间中,设定机械臂在当前视点下的运动姿态到下一个视点姿态所需要变换的各轴角度为运动代价,下公式为运动代价计算参数:
[0023][0024]其中η为两个视角变换时机械臂的代价,α为代价系数,θ

i
与θ”i
为1~6轴前后两个视角下各轴的角度;
[0025]将所有生成的最优视点集{p1,p2...p
i
}通过上述算法计算得出最优的机械臂路径点顺序{p
m
,p
m+1
...p
m+i
},其中m~m+i为生成的最优视点集按路径规划算法所得的新的遍历点的顺序,再加上机械臂预设起始点与终点,即构成本次零件扫描的最优路径{p
start
,p
m
,p
m+1

p
m+i
,p
end
},p
start
为最优路径起始点,p
end
为最优路径终点,为后续三维重建做数据基础。
[0026]进一步的,所述扫描仪包括两个工业相机及一个工业投影机,将两个工业相机放在一水平固定架上放置,相机光心位置在同一直线,拍摄方向为汇交式相交约30度;两相机中间安置工业投影机;相机位置与投影机位置满足一定的关系:在两个相机所拍摄的画面公共视野中完整容纳投影机所投射矩形区域。
[0027]进一步的,步骤(6)中,内外参数中的内参数包括左右相机图像坐标系转换至以左相机光心为原点的世界坐标系系数dx,dy,左右相机径向畸变系数 k1,k2,k3,切向畸变系数p1,p2。外参包括两个相机图像面转换至双目平行模型的转换矩阵R,T。
[0028]进一步的,步骤(9)中,计算出连续的经过调制的航空复杂零件左右两幅连续相位
图Φ(x,y)
left
,Φ(x,y)
right
后,由于三维重建过程中存在背景区、阴影区等无效测量区域的重复相位计算和误匹配等问题,因此从条纹调制度出发研究了有效测量区域的分割,对相位图进行自动化阈值分割,区分零件与背景。该算法步骤:使用Otsu算法引入调制度阈值计算中。在不同光线与环境背景下,通过Otsu 算法确定最佳阈值,去除离散噪声的同时自动化分割出待测零件区域与无关背景区域。首先调制度函数如下:
[0029][0030]式中,i,j为图像坐标,B(i,j)为所求像素点的调制度值,N为所采用的相移步数,本专利技术中采用8步,I
n
(i,j)为所采集的2本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种面向航空复杂零件的面结构光自动化三维检测方法,其特征在于,包括以下步骤:(1)获得航空复杂零件的零件理论数据模型;(2)以测量空间为约束对零件理论数据模型进行分区;(3)对各分区完成的零件理论数据模型进行初始视点生成,以各分区中心为球心,拍摄距离为半径建立球坐标系;在此球坐标系所生成的球表面分别按径向与横向到球心的矢量角偏差一个角度,生成若干布满球面的视点;(4)对每个视点进行评价,以该视点拍摄情况下所拍摄最多的特征数、最少的遮挡率筛选出每个面的最优视点,得到每个分区的最优的前若干视点;(5)筛选完毕后统计所有的最优视点,对于机械臂进行最优路径规划,计算出经过各最优视点的最优路径;将所有生成的最优视点的集合通过蚁群算法计算得出最优的机械臂路径点顺序,再加上机械臂预设起始点与终点,即构成本次零件扫描的最优路径;(6)对双目相机进行标定,采用张氏棋盘格标定法得出双目相机的内外参数,综合上述内外参数校正完图像之后直接用于计算图像像素坐标转换至世界坐标的重投影矩阵Q;(7)提供真实的航空复杂零件及固定该航空复杂零件的工装并在工装上设置用以供双目相机识别零件种类的非编码标志点;(8)机械臂开始启动,按所获路径顺序遍历每个视点,通过工业投影机投射生成的24幅三频八步相移图案到航空复杂零件表面,并用工业相机进行随动拍摄后数据传入计算机;(9)计算三维点云:利用拍摄的24幅三频八步相移图案进行多频外差解相算法;计算出连续的经过调制的航空复杂零件左右两幅连续相位图后,对相位图进行自动化阈值分割,区分出相位图中的航空复杂零件与背景;(9)对左右两个相机图像中零件像素信息对应匹配,匹配完成后图像坐标对应点相减即可得到左右相机视差图矩阵D;重投影矩阵Q与上述步骤得到的视差图矩阵D计算出当前视角所拍摄的零件的世界坐标系下的三维点云,输出当前视角点云数据;(10)通过识别粘贴的标志点来计算多视角点云拼接所需的变换矩阵;将获取的变换矩阵应用于前后两个视角所获点云,即将两幅点云统一在相同坐标系下并完成公共区域拼接,使用上述获得矩阵即完成初步点云粗拼接;(11)通过ICP配准算法进行点云精配准,遍历完所有计算出的视点,计算出点云并完成点云自动拼接,获取初步完整的点云数据;(12)通过点云处理算法对获取的粗糙点云进行优化得到精确点云数据;(13)将得到的精确点云数据进行三角化重构,得到stl三角网格模型并转化为step模型;(14)获得的step模型与零件理论数据模型进行比对,比对出零件制造的误差数据。2.根据权利要求1所述的面向航空复杂零件的面结构光自动化三维检测方法,其特征在于:步骤(5)中,筛选完毕后统计所有的最优视点集{p1,p2…
p
i
},对于机械臂携带扫描仪进行最优路径规划,计算出经过各最优视点且效率最高,无干涉的路径,路径权值为机械臂运动代价;计算遍历点集的最优路径简化为带权有向图的旅行商TSP问题,而路径的权值设为机械臂的运动代价;在笛卡尔空间中,设定机械臂在当前视点下的运动姿态到下一个视点姿态所需要变换的各轴角度为运动代价,下公式为运动代价计算参数:
其中η为两个视角变换时机械臂的代价,α为代价系数,θ

i
与θ”i
为1~6轴前后两个视角下各轴的角度;将所有生成的最优视点集{p1,p2…
p
i
}通过上述算法计算得出最优的机械臂路径点顺序{p
m
,p
m+1

p
m+i
},其中m~m+i为生成的最优视点集按路径规划算法所得的新的遍历点的顺序,再加上机械臂预设起始点与终点,即构成本次零件扫描的最优路径{p
start
,p
m
,p
m+1

p
m+i
,p
end
},p
start
为最优路径起始点,p
end
为最优路径终点,为后续三维重建做数据基础。3.根据权利要求2所述的面向航空复杂零件的面结构光自动化三维检测方法,其特征在于:所述扫描仪包括两个工业相机及一个工业投影机,将两个工业相机放在一水平固定架上放置,相机光心位置在同一直线,拍摄方向为汇交式相交约30度;两相机中间安置工业投影机;相机位置与投影机位置满足一定的关系:在两个相机所拍摄的画面公共视野中完整容纳投影机所投射矩形区域。4.根据权利要求3所述的面向航空复杂零件的面结构光自动化三维检测方法,其特征在于:步骤(6)中,内外参数中的内参数包括左右相机图像坐标系转换至以左相机光心为原点的世界坐标系系数dx,dy,左右相机径向畸变系数k1,k2,k3,切向畸变系数p1,p2;外参包括两个相机图像面转换至双目平行模型的转换矩阵R,T。5.根据权利要求4所述的面向航空复杂零件的面结构光自动化三维检测方法,其特征在于:步骤(9)中,计算出连续的经过调制的航空复杂零件左右两幅连续相位图Φ(x,y)
left
,Φ(x,y)
right
后,由于三维重建过程中存在背景区、阴影区等无效测量区域的重复相位计算和误匹配等问题,因此从条纹调制度出发研究了有效测量区域的分割,对相位图进行自动化阈值分割,区分零件与背景;该算法步骤:使用Otsu算法引入调制度阈值计算中;在不同光线与环境背景下,通过Otsu算法确定最佳阈值,去除离散噪声的同时自动化分割出待测零件区域与无关背景区域;首先调制度函数如下:式中,i,j为图像坐标,B(i,j)为所求像素点的调制度值,N为所采用的相移步数,本发明中采用8步,I
n
(i,j)为所采集的24幅图像中对应坐标的像素值;计算出这24幅图像的一幅调制度图像后,设定一个阈值并用图像学算法分割零件与无关背景;其中,引入otsu算法计算调制度分割阈值,利用该阈值与调制度图B(i,j)分割零件所在图像区域与背景无关区域,得出经过处理掉无关区域的零件连续相位矩阵图Φ(x,y)
left

,Φ(x,y)
right

【专利技术属性】
技术研发人员:沈建新刘文良吴昊戴家隆
申请(专利权)人:南京航空航天大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1