一种基于数字孪生的飞机蒙皮装配质量检测方法技术

本发明专利技术公开了一种基于数字孪生的飞机蒙皮装配质量检测方法，该方法包括信息采集阶段、图像检测阶段、信息追溯阶段、参数修正阶段，具体步骤为：相机位置及参数调整，保证采集的被检测部位图像清晰、位置准确；使用工业相机对被检测部位进行图像采集；使用残差网络ResNet

【技术实现步骤摘要】
一种基于数字孪生的飞机蒙皮装配质量检测方法


[0001]本专利技术涉及装配质量检测领域，更具体的说是涉及一种基于数字孪生的飞机蒙皮装配质量检测方法。

技术介绍

[0002]飞机机翼是飞机的重要组成部分，蒙皮形成机翼表面，其功用为维持机翼外形和直接承受气动载荷。飞机装配过程中蒙皮装配是重要步骤，蒙皮的装配质量在很大程度上决定机翼的最终质量。目前国内飞机装配过程中蒙皮与其他结构件通常使用铆接，主要依靠工人手动装配。蒙皮装配质量检测中表面质量检测主要依靠工人经验使用肉眼检测，检测效率低，微小裂纹和凹陷难以检出，严重影响检测结果，质量信息难以追溯，容易造成误差累积，无法满足高效率、高质量的飞机装配要求。因此，提出一种高效的飞机蒙皮装配质量检测方法至关重要。
[0003]现阶段的专利公开以及文献资料显示：1)专利(CN110155369A)一种飞机蒙皮表面裂纹检查方法，通过对目标点附近的小区域图像进行相似度计算和全局图像拼接获得整体图像，并在其中提取裂纹进行检测。该方法使用拼接图象进行质量检测，计算相似度时的误差会影响裂纹识别的准确性，从而对检测结果造成影响；2)专利(CN111340754A)一种基于飞机蒙皮表面缺陷检测和分类的方法，使用不同位置的相机拍摄图像，将所拍图像进行信息融合和特征提取，应用卷积神经网络发掘缺陷，使用支持向量机进行分类，实现缺陷类型的识别与分类。该方法使用传统卷积神经网络进行模型训练，不仅需要大量样本，而且训练效率低，深层特征难以提取到，影响最终检测结果的准确性；3)专利(CN102928435A)基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置，通过提取已知损伤类别的飞机蒙皮图像及超声波回波信号的纹理特征及超声波回波特征，将提取到的特征应用于分类器的训练，使用训练后的分类器对输入的图像和信号进行分类判断，从而识别蒙皮损伤。该装置同时使用图像和超声波回波信号对蒙皮质量进行识别，在质量判断和分类后，无法从中找出影响蒙皮质量的参数并指导后续装配工作，不能提升蒙皮的装配质量。
[0004]综上，现有的研究成果和方法虽然在一定程度上可以实现飞机蒙皮的装配质量检测，但由于存在较多缺陷难以保证检测准确率，因此，以上检测方法难以满足高效率高质量的飞机装配要求。
[0005]数字孪生技术与机器视觉、深度学习算法的结合为进一步提高飞机蒙皮装配质量检测效率和准确率提供了一种可能，是实现飞机高效装配的有效手段。基于数字孪生的飞机蒙皮装配质量检测方法可以对蒙皮表面图像进行识别与分析，并应用深度学习算法实现对蒙皮装配表面质量的检测，实时给出质量检测结果，针对不合格的铆接部位分析铆接参数与检测结果的关系，针对缺陷种类、产生原因给出铆接参数修正方案，构建虚拟车间对新参数进行仿真，将判断合格的参数应用到现实车间的装配返修，为飞机蒙皮装配质量检测提供了一种行之有效的技术途经。

技术实现思路

[0006]本专利技术的目的就在于为了解决上述问题而提供的一种基于数字孪生的飞机蒙皮装配质量检测方法，在检测车间对工业相机参数及照明强度进行调整，并采集待检测部位图像，使用残差网络ResNet
‑
50对图像进行识别、分类，将识别结果录入对应的RFID芯片中，使每个检测部位的铆接参数与检测结果对应，分析铆接参数与检测结果的关系，并对质量不合格部位进行信息追溯，根据信息追溯结果重新确定铆接参数，构建虚拟车间并使用新参数进行虚拟仿真确定其可行性，针对仿真结果指导现实车间的参数修正，并应用于后续蒙皮装配，该方法提高了蒙皮装配质量检测效率，提升了蒙皮装配质量。
[0007]本专利技术通过以下技术方案来实现上述目的：
[0008]一种基于数字孪生的飞机蒙皮装配质量检测方法，其技术构架分为四个部分，即信息采集阶段、图像检测阶段、信息追溯阶段、参数修正阶段，包括以下步骤：
[0009](1)在检测车间工人对照明强度、相机位置、相机焦距进行调整；
[0010](2)采集被检测部位图像，使用高精度工业相机采集蒙皮表面图像，重点采集装配过程中的铆接部位；
[0011](3)对采集到的图像进行图像分割，分割后的图像作为检测算法的输入；
[0012](4)使用残差网络ResNet
‑
50对图像进行识别、分类，得到检测结果；
[0013](5)将检测结果录入对应的RFID芯片中，使每个检测部位的铆接参数与检测结果对应；
[0014](6)分析铆接参数与检测结果的关系，并对质量不合格部位进行信息追溯；
[0015](7)根据信息追溯结果重新确定铆接参数，构建虚拟车间并使用新参数进行虚拟仿真确定其可行性，用于现实车间表面缺陷返修和指导后续装配工作。
[0016]作为本专利技术的进一步改进，步骤(1)中调整车间照明强度、相机焦距，使相机光心对准铆钉中心点，保证采集到清晰、高质量的表面图像，确保图像信息的准确性和有效性。
[0017]作为本专利技术的进一步改进，步骤(2)中使用高精度工业相机保证采集到完整的表面信息，由于蒙皮装配主要采用铆接且质量缺陷一般出现在铆接周围，因此重点采集铆接部位图像，采集的特征主要包括铆接点位处的裂纹、划痕、凹陷、毛刺。
[0018]作为本专利技术的进一步改进，步骤(3)图像分割使用线剪裁算法将采集到的表面图像按照铆接部位准确分割，使分割后的图像大小一致，将其应用于后续残差网络的输入。
[0019]作为本专利技术的进一步改进，步骤(4)利用残差网络ResNet
‑
50对经过分割后的图像进行识别分类，分类包括合格、存在划痕、存在裂纹、存在轻微凹陷、存在严重凹陷、存在毛刺。
[0020]作为本专利技术的进一步改进，步骤(5)将分类结果使用工业发卡器输入到对应的RFID芯片中，使蒙皮装配参数及检测结果等信息受到全程监控，应用这些信息可及时、有效的发现生产过程中的漏洞，上述信息将通过RFID一体机及手持机上传到车间管理系统中，工程师可随时获取相关信息并指导装配过程。
[0021]作为本专利技术的进一步改进，步骤(6)分析装配过程中的铆接参数与检测质量的关系，重点分析铆接拉力、气泵气压及铆接行程对蒙皮装配质量的影响，针对具体表面缺陷具体分析，追溯装配过程中影响装配质量的参数。
[0022]作为本专利技术的进一步改进，步骤(7)根据追溯到的铆接参数信息及铆接参数与检
测结果的关系，确定新的铆接参数和铆接方案，构建虚拟车间并将新的铆接参数输入到装配虚拟仿真中，具体观察蒙皮的应力、应变等相关指标是否合格，将合格的新参数应用于现实车间表面缺陷的返修并指导后续装配工作。
[0023]与现有技术相比，本专利技术的有益效果如下：
[0024]本专利技术利用飞机蒙皮的表面图像对飞机蒙皮装配质量进行检测，通过对采集到的待检测部位图像进行分割，得到深度学习算法的输入图像，使用残差网络ResNet
‑
50，进行蒙皮装配质量识别、分类，再使用RFID技术将检测结果与铆接过程参数对应上传至车间管理系统，方便工本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数字孪生的飞机蒙皮装配质量检测方法，其特征在于：基于数字孪生的飞机蒙皮装配质量检测方法共有四个阶段，即信息采集阶段、图像检测阶段、信息追溯阶段、参数修正阶段，包含以下具体步骤：(1)在检测车间工人对照明强度、相机位置、相机焦距进行调整；(2)采集被检测部位图像，使用高精度工业相机采集蒙皮表面图像，重点采集装配过程中的铆接部位；(3)对采集到的图像进行图像分割，分割后的图像作为检测算法的输入；(4)使用残差网络ResNet
‑
50对图像进行识别、分类，得到蒙皮装配质量检测结果；(5)将检测结果录入对应的RFID芯片中，使每个检测部位的铆接参数与检测结果对应；(6)分析铆接参数与检测结果的关系，并对质量不合格部位进行信息追溯；(7)根据信息追溯结果重新确定铆接参数，构造虚拟车间并使用新参数进行虚拟仿真判断其可行性，将判断为可行的新参数用于现实车间缺陷返修和指导后续装配工作。2.根据权利要求1所述的一种基于数字孪生的飞机蒙皮装配质量检测方法，其特征在于：步骤(1)中调整照明强度、相机位置、相机焦距，根据检测车间光照情况选择灯光照明强度，根据被检测部位位置改变相机位置，使相机光心对准铆钉中心点，并调节相机焦距。3.根据权利要求1所述的一种基于数字孪生的飞机蒙皮装配质量检测方法，其特征在于：步骤(2)中使用高精度工业相机进行图像采集，主...

【专利技术属性】
技术研发人员：郝博，闫俊伟，王明阳，郭嵩，王婵娟，徐新岩，谷继明，
申请(专利权)人：东北大学，
类型：发明
国别省市：