一种基于图像分析的手持式飞机结构件表面裂纹检测系统及其检测方法技术方案

本发明专利技术涉及光学检测技术领域，具体是一种基于图像分析的手持式飞机结构件表面裂纹检测系统及其检测方法，包括：手持检测设备、计算平台、手持显示设备，其具体步骤如下：收集图片样本建立数据集；建立卷积神经网络模型；训练模型；模型转化；系统启动；图像采集；图像预处理；裂纹识别；检测结果输出；输出结果判定；裂纹识别算法迭代训练；完成裂纹识别算法迭代训练后，通过计算平台和手持检测设备解决飞机使用或修理时重要承力结构件和蒙皮检查时目视检测耗时久、视觉疲劳类造成的漏检和误判问题，以及无损检测检测成本高、范围小无法对蒙皮类目标大范围进行实时检测问题。皮类目标大范围进行实时检测问题。皮类目标大范围进行实时检测问题。

【技术实现步骤摘要】
一种基于图像分析的手持式飞机结构件表面裂纹检测系统及其检测方法


[0001]本专利技术涉及光学检测
，具体是一种基于图像分析的手持式飞机结构件表面裂纹检测系统及其检测方法。

技术介绍

[0002]飞机使用或修理时，对飞机机体结构重要承力结构件和蒙皮表面裂纹检查有严格的要求，若飞机重要承力结构件和蒙皮存在裂纹故障，漏检漏修会影响飞机功能的实现，严重时甚至影响飞机飞行安全。飞机一般间隔一定年限或飞行小时就会进行大修，大修时必须对飞机的重要承力结构件和蒙皮进行裂纹故障检查。目前飞机修理时，对于飞机重要承力结构件和蒙皮裂纹故障主要采取无损检测着色探伤、涡流探伤等和目视检测两种方式进行检测。目视检测需要精湛的技艺和丰富的经验，一般由工作经验10年以上能够发现微小裂纹的工作人员使用放大镜、反光镜、防爆灯等进行检查，检查没有标准的规范，主要凭借工作人员个人修理经验。目视检测耗时久、劳动强度高，长时间检测极易视觉疲劳，从而造成漏检和误判。无损检测着色探伤、涡流探伤等检测周期长，检测成本高，检测范围小，无法进行对蒙皮等目标大范围进行实时检测。
[0003]如中国专利号为201910470012.3的一种飞机蒙皮表面裂纹检查方法中，由三脚架、转台、摄像机和计算机构建飞机蒙皮表面裂纹检查系统，三脚架架设在位于飞机一侧的地面上；转台固定在三脚架的上端；摄像机安装在转台的表面，并且镜头面对飞机上待检测的蒙皮区域；计算机同时与摄像机和转台的控制器电连接。在计算机上的成像设置窗口中设置摄像机的参数；然后在转台控制窗口中设置摄像机的扫描区域、转台的竖直和水平速度，规划扫描路径，在扫描区域内生成多个目标点；拍摄每一个目标点附近的小区域高分辨率图像并存储到计算机中，对小区域高分辨率图像进行全局图像拼接，通过的裂纹检测设置窗口中输入裂纹提取参数，从拼接图像中提取出裂纹并计算出裂纹的尺寸和位置。该检查方法可部分替代当前阶段的机外人工目视检查，减少机务人员劳动强度，同时裂纹检查标准化，可减少人为因素造成的漏检、误检。但该装置固定在地面上，摄像机要求基本垂直于扫描区域操作实现繁琐，大面积区域检测时需要多次移位，同时该方法通过图像分辨率进行裂纹提出，拍摄距离4m
‑
8m，根据目前主流摄像机镜头像素，可检处裂纹的最大宽度、最小长度应不小于1mm，不满足飞机机体结构重要承力结构件裂纹检测需求。

技术实现思路

[0004]为了解决上述问题，本专利技术提出一种基于图像分析的手持式飞机结构件表面裂纹检测系统及其检测方法。
[0005]一种基于图像分析的手持式飞机结构件表面裂纹检测系统，包括：
[0006]手持检测设备，面对飞机上待检测的重要承力结构件和蒙皮表面区域供工作人员观看检测状态；
[0007]计算平台，用于显示手持检测设备上的检测数据；
[0008]手持显示设备，用于狭小半封闭区域检测而无法使用手持检测设备时，实时显示检测状态和检测结果。
[0009]所述的手持检测设备包括用于采集飞机上待检测的重要承力结构件和蒙皮表面区域的图像采集系统、用于工作人员检测时观看检测状态和显示检测结果的检测设备显示屏、对采集的图像进行处理的图像处理系统、供工作人员抓握检测持检测设备的设备手持端、用于识别裂纹的裂纹识别模块。
[0010]所述的检测设备手持端内部放置两节18650B电池。
[0011]所述的计算平台包括供工作时查看工作状态的计算平台显示屏、用于图像采集系统采集图像的储存、裂纹识别模块及裂纹识别算法训练系统的计算平台主机。
[0012]所述的计算平台通过无线或有线方式连接手持检测设备或手持显示设备，实时传输检测数据。
[0013]一种基于图像分析的手持式飞机结构件表面裂纹检测系统的检测方法，其具体步骤如下：
[0014]1‑
1、收集飞机结构件表面图片样本，建立包含裂纹及不含裂纹的图像分类数据集：
[0015]a、收集飞机结构件表面图片样本；
[0016]b、样本图像标注：首先用标准工具框出裂纹图像缺陷位置，生成对应的XML标注文件数据，不含裂纹的图像不进行缺陷标注；然后对XML数据进行归一化处理，使图像的大小尺寸相同，保证样本数据的统一性；最后将生成的样本数据与图像进行链接处理，使样本数据和样本图像一一对应；
[0017]c、将生成的样本图像标注分为两部分：随机抽取80％样本图像用于建立1
‑
2中卷积神经网络的训练集，剩余的20％为1
‑
2中卷积神经网络的验证集；
[0018]1‑
2、建立用于飞机结构件表面裂纹识别的卷积神经网络模型：
[0019]a、所述卷积神经网络模型是基于GooLeNet模型调整，模型采用卷积网络来提取特征，使用全连接层来得到预测层，网络结构包含24个卷积层和2个全连接器；
[0020]b、对于卷基层，使用1
×
1卷积来做Channle Reduction，然后紧跟3
×
3卷积，对于卷积层和全连接层采用Leaky ReLULeaky rectified linear activation激活函数，最后一层采用线性激活函数；
[0021]Leaky ReLU激活函数为：
[0022]其中a
i
是(1,+∞)区间内的固定参数；
[0023]线性激活函数为：f(x)＝max0，x
[0024]1‑
3、训练卷积神经网络模型：
[0025]a、首先在ImageNet用于视觉对象识别软件研究的大型可视化数据库上进行预训练，其预训练的分类模型采用前20个卷积层；然后添加一个average
‑
pooling层和全连接层；
[0026]b、预训练得到的20层卷基层之上加上随机初始化的4个卷基层和2个全连接层；将
网络输入从224
×
224增加到448
×
448；
[0027]c、算法将目标检测看成回归问题，采用均方差损失函数，同等对待大小不同的边界框，将网络的边界框的宽与高预测改为对其平方根的预测,损失函数计算如下：
[0028][0029]式中，第一项是边界框中心坐标的误差项，第二项是边界框的高与宽的误差项，第三项是包含目标边界框的置信度误差项，第四项是不包含目标边界框的置信度误差项，最后一项是包含目标的单元格的分类误差项；
[0030]d、算法中对于定位误差，即边界框坐标预测误差，采用加大的权重λ
coord
＝5；对于区分不包含目标的边界框与含有目标的边界框的置信度，采用较小的权重λ
coord
＝0.5；其余权重权重值均设置为1；
[0031]e、训练中学习率：前75个epoch设置为10
‑2；再30个epoch设置为10
‑3，最后30个epoch设置为10
‑4；其中，1个epoch指使用训练集中的全部样本训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像分析的手持式飞机结构件表面裂纹检测系统，其特征在于：包括：手持检测设备(1)，面对飞机上待检测的重要承力结构件和蒙皮表面区域供工作人员观看检测状态；计算平台(2)，用于显示手持检测设备(1)上的检测数据；手持显示设备(3)，用于狭小半封闭区域检测而无法使用手持检测设备(1)时，实时显示检测状态和检测结果。2.根据权利要求1所述的一种基于图像分析的手持式飞机结构件表面裂纹检测系统，其特征在于：所述的手持检测设备(1)包括用于采集飞机上待检测的重要承力结构件和蒙皮表面区域的图像采集系统(101)、用于工作人员检测时观看检测状态和显示检测结果的检测设备显示屏(102)、对采集的图像进行处理的图像处理系统(103)、供工作人员抓握检测持检测设备(1)的设备手持端(104)、用于识别裂纹的裂纹识别模块(105)。3.根据权利要求2所述的一种基于图像分析的手持式飞机结构件表面裂纹检测系统，其特征在于：所述的检测设备手持端(104)内部放置两节18650B电池。4.根据权利要求2所述的一种基于图像分析的手持式飞机结构件表面裂纹检测系统，其特征在于：所述的计算平台(2)包括供工作时查看工作状态的计算平台显示屏(201)、用于图像采集系统(101)采集图像的储存、裂纹识别模块(105)及裂纹识别算法训练系统的计算平台主机(202)。5.根据权利要求1所述的一种基于图像分析的手持式飞机结构件表面裂纹检测系统，其特征在于：所述的计算平台(2)通过无线或有线方式连接手持检测设备(1)或手持显示设备(3)，实时传输检测数据。6.利用权利要求1至5中任一项所述的一种基于图像分析的手持式飞机结构件表面裂纹检测系统的检测方法，其特征在于：其具体步骤如下：1
‑
1、收集飞机结构件表面图片样本，建立包含裂纹及不含裂纹的图像分类数据集：a、收集飞机结构件表面图片样本；b、样本图像标注：首先用标准工具框出裂纹图像缺陷位置，生成对应的XML标注文件数据，不含裂纹的图像不进行缺陷标注；然后对XML数据进行归一化处理，使图像的大小尺寸相同，保证样本数据的统一性；最后将生成的样本数据与图像进行链接处理，使样本数据和样本图像一一对应；c、将生成的样本图像标注分为两部分：随机抽取80％样本图像用于建立1
‑
2中卷积神经网络的训练集，剩余的20％为1
‑
2中卷积神经网络的验证集；1
‑
2、建立用于飞机结构件表面裂纹识别的卷积神经网络模型：a、所述卷积神经网络模型是基于GooLeNet模型调整，模型采用卷积网络来提取特征，使用全连接层来得到预测层，网络结构包含24个卷积层和2个全连接器；b、对于卷基层，使用1
×
1卷积来做Channle Reduction，然后紧跟3
×
3卷积，对于卷积层和全连接层采用Leaky ReLU即Leaky rectified linear activation激活函数，最后一层采用线性激活函数；Leaky ReLU激活函数为：
其中a
i
是(1,+∞)区间内的固定参数；线性激活函数为：f(x)＝max(0，x)1
‑
3、训练卷积神经网络模型：a、首先在ImageNet即用于视觉对象识别软件研究的大型可视化数据库上进行预训练，其预训练的分类模型采用前20个卷积层；然后添加一个average
‑
pooling层和全连接层；b、预训练得到的20层卷基层之上加上随机初始化的4个卷基层和2个全连接层；将网络输入从224
×
224增加到448
×
448；c、算法将目标检测看成回归问题，采用均方差损失函数，同等对待大小不同的边界框，将网络的边界框的宽与高预测改为对其平方根的预测,损失函数计算如下：式中，第一项是边界框中心坐标的误差项，第二项是边界框的高与宽的误差项，第三项是包含目标边界框的置信度误差项，第四项是不包含目标边界框的置信度误差项，最后一项是包含目标的单元格的分类误差项；d、算法中对于定位误差，即边界框坐标预测误差，采用加大的权重λ
coord
＝5；对于区分不包含目标的边界框与含有目标的边界框的置信度，采用较小的权重λ
coord
＝0.5；其余权重权重值均设置为1；e、训练中学习率：前75个epoch设置为10
‑2；再30个epoch设置为10
‑3，最后30个epoch设置为10
‑4；其中，1个epoch指使用训练集中的全部样本训练一次；f、利用步骤S1
‑
1中建立的训练集，训练步骤S1
‑
2构建的卷积神经网络模型；在步骤S1
‑
2构建的卷积神经网络模型的训练中，采用步骤S1
‑
2中建立的验证集对训练获得卷积神经网络模型穿插进行...

【专利技术属性】
技术研发人员：李松如，杨强，章健，吕志召，张平，戴冠帮，黄任昌，吴云，韩黔飞，
申请(专利权)人：国营芜湖机械厂，
类型：发明
国别省市：