一种基于图像分割的飞机蒙皮间隙与阶差测量方法技术

本发明专利技术公开一种基于图像分割的飞机蒙皮间隙与阶差测量方法，包括步骤：采集待测区域的图像；将采集的图像输入到训练完成的缝隙分割神经网络中，获取缝隙像素区域；将缝隙像素区域中的缝隙像素点映射到对应的点云模型中；对缝隙的点云数据点进行曲线拟合；将拟合曲线分为若干分段，分别计算各分段端点的法平面；提取点云模型中距该法平面一定距离内的所有点云数据点，组成点集；将点集投影到对应的法平面上，得到二维坐标系下的点云集合，并将该点云集合拟合出的两条直线作为蒙皮缝隙两边平面在对应分段端点处的投影，进而获取蒙皮缝隙在该分段端点处的阶差高度和缝隙宽度。本发明专利技术方法能够实时精确地提取待测飞机蒙皮的缝隙宽度与阶差高度。隙宽度与阶差高度。隙宽度与阶差高度。

【技术实现步骤摘要】
一种基于图像分割的飞机蒙皮间隙与阶差测量方法


[0001]本专利技术属于飞机蒙皮对缝测量领域，具体涉及一种基于图像分割的飞机蒙皮间隙与阶差测量方法。

技术介绍

[0002]在飞机的整机装配过程中，飞机蒙皮的外形测量工作通常包含大量对缝结构的测量。飞机蒙皮对缝测量精度要求较高，其质量保证不仅保障了飞机气动外形及密闭性，对新一代战机隐身性能也起着重要的作用。在对缝测量任务繁重的情况下，高效准确地提取对缝结构的间隙阶差值在飞机的整机测量中起着重要的作用。目前航空制造产业中的数字化对缝测量技术已经得到了极大的发展，一般都是采用非接触式的数字化测量仪器采集数据，开发相应的算法，组建测量系统。激光测量技术因其速度快、精度高、效率高、适应性强等优点广泛应用于对缝测量之中。国内南京航空航天大学，北京航空航天大学提出过基于结构光或激光的点云对缝间隙与阶差测量方法，但都只针对的是直线缝隙，对飞机蒙皮存在的曲线缝隙还不能检测间隙和阶差。
[0003]在逆向工程中通过测量仪器得到的产品外观表面的点数据集合称之为点云，通常使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。
[0004]图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于神经网络的分割方法等。其中基于神经网络的图像分割算法表现良好。
[0005]传统的对整机蒙皮的缝隙间隙和阶差检测依靠手工测量或人工视觉检查的方法，这样不仅检测过程慢，耗费大量的人力，而且检测精度低，这就影响了飞机的整机装配质量。随着计算机视觉测量的发展，各高校提出了基于飞机蒙皮扫描点云的对缝测量方案，但都只针对于直线形状的缝隙，对曲线形状的缝隙不能进行良好地测量，或者测量精度低，不能满足实际要求。

技术实现思路

[0006]本专利技术针对现有技术中的不足，提供一种基于图像分割的飞机蒙皮间隙与阶差测量方法，由于分割的缝隙像素可组成直线或曲线形状的，因此可以进行飞机蒙皮曲线缝隙测量。
[0007]为实现上述目的，本专利技术采用以下技术方案：
[0008]一种基于图像分割的飞机蒙皮间隙与阶差测量方法，包括以下步骤：
[0009]S1、将红外激光发射器与红外相机以一定角度架设，红外激光发射器将具有结构特征的光线投射到待测区域上，由红外相机采集待测区域的图像；
[0010]S2、将待测区域的图像输入到训练完成的缝隙分割神经网络中，获取待测区域中
的缝隙像素区域；
[0011]S3、将缝隙像素区域中的缝隙像素点映射到对应的点云模型中，得到缝隙的点云数据点；
[0012]S4、对缝隙的点云数据点进行曲线拟合，得到拟合曲线；
[0013]S5、将拟合曲线分为具有一定弧长的若干分段，分别计算各分段端点的法平面；
[0014]S6、对于每个分段端点的法平面，提取点云模型中距该法平面一定距离内的所有点云数据点，组成点集；
[0015]S7、将点集投影到对应的法平面上，得到二维坐标系下的点云集合，并将该点云集合拟合出的两条直线作为蒙皮缝隙两边平面在对应分段端点处的投影，利用拟合出的两条直线的方程获取蒙皮缝隙在对应分段端点处的阶差高度和缝隙宽度。
[0016]进一步地，步骤S2中所述缝隙分割神经网络采用FCN网络，其输入是灰度化处理后的图像，输出为缝隙像素区域图；为保证缝隙像素区域的连续性，对FCN网络的输出进行形态学开处理，将处理结果作为最终的缝隙像素区域。
[0017]进一步地，步骤S3中，若缝隙像素点的图像坐标为[u,v,d]，u为横坐标，v为纵坐标，d为深度，则其在点云模型中对应的点云数据点的坐标为[x,y,z]，且
[0018]x＝(u
‑
c
x
)
·
z/f
x
[0019]y＝(v
‑
c
y
)
·
z/f
y
[0020]z＝d/s
[0021]其中，(f
x
,f
y
)为红外相机的焦点坐标，(c
x
,c
y
)为红外相机的光圈中心，s为深度图的缩放因子。
[0022]进一步地，步骤S4中采用B样条曲线对缝隙的点云数据点进行曲线拟合，具体为：
[0023]S401、先随机初始化一条均匀的三次B样条曲线，其曲线方程P(t)表示为：
[0024][0025]其中，P
i
是样条曲线的控制点，F
i,k
(t)则是K阶B样条基函数；
[0026]S402、以样条曲线上的一点O为原点，以点O处的切向量与法向量为坐标轴构建坐标系，定义缝隙点云数据点到样条曲线的距离公式为：
[0027][0028]其中，d为缝隙点云数据点X
k
到样条曲线上对应垂足点P
+
(t
k
)的距离，ρ为垂足点处的曲率，T
k
和N
k
分别为垂足点P
+
(t
k
)处的单位切向量与单位法向量；
[0029]S403、固定样条曲线控制点的两端点与尖点，调整其它控制点的位置，最小化目标函数f
SD
＝∑
k
e
SD,k
；
[0030]S404、重复S403，直到目标函数值小于误差阈值或迭代次数超过固定数值，将迭代优化后的三次B样条曲线作为最终的拟合曲线。
[0031]进一步地，步骤S5中，对于端点(x(t
i
),y(t
i
),z(t
i
))，其法平面方程为：
[0032]a(x
‑
x(t
i
))+b(y
‑
y(t
i
))+c(z
‑
z(t
i
))＝0
[0033]其中(a,b,c)为拟合曲线在该端点的切向量。
[0034]进一步地，步骤S7中，采用RANSAC拟合的方法将点云集合拟合为两条直线l1:和l2:直线l1与l2的距离即为阶差高度，v
k
为向量(x1‑
x2,y1‑
y2,z1‑
z2,)，n
l
为拟合直线的方向向量(a
′
,b
′
,c
′
)。
[0035]进一步地，步骤S7中，分别计算点集中每个点到对应的拟合直线的距离，取距离最大的两个点作为计算缝隙宽度的关键点，连接关键点得到向量v
g
，则缝隙本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像分割的飞机蒙皮间隙与阶差测量方法，其特征在于，包括以下步骤：S1、将红外激光发射器与红外相机以一定角度架设，红外激光发射器将具有结构特征的光线投射到待测区域上，由红外相机采集待测区域的图像；S2、将待测区域的图像输入到训练完成的缝隙分割神经网络中，获取待测区域中的缝隙像素区域；S3、将缝隙像素区域中的缝隙像素点映射到对应的点云模型中，得到缝隙的点云数据点；S4、对缝隙的点云数据点进行曲线拟合，得到拟合曲线；S5、将拟合曲线分为具有一定弧长的若干分段，分别计算各分段端点的法平面；S6、对于每个分段端点的法平面，提取点云模型中距该法平面一定距离内的所有点云数据点，组成点集；S7、将点集投影到对应的法平面上，得到二维坐标系下的点云集合，并将该点云集合拟合出的两条直线作为蒙皮缝隙两边平面在对应分段端点处的投影，利用拟合出的两条直线的方程获取蒙皮缝隙在对应分段端点处的阶差高度和缝隙宽度。2.如权利要求1所述的一种基于图像分割的飞机蒙皮间隙与阶差测量方法，其特征在于，步骤S2中所述缝隙分割神经网络采用FCN网络，其输入是灰度化处理后的图像，输出为缝隙像素区域图；为保证缝隙像素区域的连续性，对FCN网络的输出进行形态学开处理，将处理结果作为最终的缝隙像素区域。3.如权利要求1所述的一种基于图像分割的飞机蒙皮间隙与阶差测量方法，其特征在于，步骤S3中，若缝隙像素点的图像坐标为[u，v，d]，u为横坐标，v为纵坐标，d为深度，则其在点云模型中对应的点云数据点的坐标为[x，y，z]，且x＝(u
‑
c
x
)
·
z/f
x
y＝(v
‑
c
y
)
·
z/f
y
z＝d/s其中，(f
x
，f
y
)为红外相机的焦点坐标，(c
x
，c
y
)为红外相机的光圈中心，s为深度图的缩放因子。4.如权利要求1所述的一种基于图像分割的飞机蒙皮间隙与阶差测量方法，其特征在于，步骤S4中采用B样条曲线对缝隙的点云数据点进行曲线拟合，具体为：S401、先随机初始化一条均匀的三次B样条曲线，其曲线方程P(t)表示为：其中，P
i
是样条曲线的控制点，F
i...

【专利技术属性】
技术研发人员：汪俊，肖坤，梁泽明，李子宽，黄寅飞，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：