【技术实现步骤摘要】
本专利技术涉及飞机蒙皮检测与测量，尤其涉及一种基于nam-dssd模型的飞机蒙皮缺陷检测方法。
技术介绍
1、飞机蒙皮具有保护、气动外形塑造、降低阻力、提高安全性能以及提供耐腐蚀性和气密性能的作用，其可靠性和可维护性是确定其生存概率和生命周期成本的两个关键因素。在飞机运行过程中，飞机升降过程中的压力变化导致蒙皮周期性膨胀收缩，影响飞机的铆钉周围材料形成细小的裂纹、孔洞或划痕等缺陷，对飞行安全和飞机的性能产生严重影响。
2、因此，飞机蒙皮生产过程以及服役期间，采取必要的工业措施以及运行控制手段等对飞机蒙皮的缺陷进行检测极为重要。飞机蒙皮的缺陷检测方法分为三个阶段：首先对图像进行预处理，其次对图像数据集进行加强，如mosaic数据增强法，gan数据增强法等，最后基于深度学习算法进行训练，对飞机蒙皮缺陷种类进行识别和分类，如fast-r cnn算法、ssd算法、dssd算法等。然而，在缺陷检测算法中如何平衡检测速度和检测精度方面的研究相对较少。fast-r cnn算法对于目标检测效果较好，但由于每个目标分类计算量较大，检测速度较慢；ssd算法有着较快的检测速度，但对于小目标的检测效果较差。dssd虽然有着良好的检测率和速度，但无法抑制一些无用的特征信息。如何找到最适合飞机蒙皮缺陷检测的算法，在学术领域依然值得深入研究。
技术实现思路
1、针对现有技术的不足，本专利技术提供了一种基于nam-dssd模型的飞机蒙皮缺陷检测方法，解决了传统方法对于小目标的检测效果较差的问题，该方法
2、为解决上述技术问题，本专利技术提供了如下技术方案：一种基于nam-dssd模型的飞机蒙皮缺陷检测方法，包括以下步骤：
3、s1、通过工业cmos相机对飞机蒙皮图像进行拍摄采样，获得高分辨率图像集hr，将其进行降采样处理，得到相应的低分辨率图像集lr；
4、s2、对低分辨率图像集 lr进行预处理，得到中分辨率图像集mr，提取其梯度特征并分块得到第一层低分辨率图像集lr样本y1；
5、s3、分别提取高分辨率图像集hr的高频特征hy1和中分辨率图像集mr的边缘纹理细节特征my1，并将my1和hy1进行分块操作，得到的成对特征块转换为高分辨率图像向量x和低分辨率图像向量y；
6、s4、利用并行字典超分辨率重建算法对工业cmos相机采集的飞机蒙皮高分辨率图像集hr进行重建，最终得到恢复更多图像细节的高分辨率图像集hr；
7、s5、将hr基于mosaic数据增强法合成多张图像，得到飞机蒙皮增强后的数据集；
8、s6、将飞机蒙皮增强后的数据集输入改进的nam-dssd模型进行网络训练，通过在该网络每个反卷积前加入nam注意力机制，并结合多尺度特征图和卷积解码器，对飞机蒙皮的缺陷种类进行识别和分类。
9、进一步地，所述步骤s2具体包括：使用双线性插值方法对低分辨率图像集lr进行放大处理，有效地保留图像的语义信息，使其尺寸与原始高分辨率图像集hr的图像相同，从而得到中分辨率图像集mr，提取其梯度特征并分块得到第一层低分辨率图像集lr样本y1。
10、进一步地，所述步骤s3具体过程包括以下步骤：
11、s31、将高分辨率图像集hr和中分辨率图像集mr的图像转换为灰阶图，分别将其亮度分量为hy和my；
12、s32、将hy减my作为高分辨率图像集hr图像的高频信息hy1，并通过梯度算子对my进行滤波，捕捉到图像中的边缘和纹理细节信息，将提取的特征记为my1；
13、s33、按照相同的分块尺寸和重叠数，将hy1和my1进行分块操作；并将得到的成对特征块转换为高分辨率图像向量x和低分辨率图像向量y。
14、进一步地，所述步骤s4具体过程包括以下步骤：
15、s41、通过ｋ-奇异值分解k-svd算法求解低分辨率字典dl以及稀疏系数α，并引入kl散度损失，其公式如下表示为：
16、；
17、其中，y为低分辨率图像向量，为稀疏表示和重建误差的权衡因子，dkl表示kl散度，pm编码系数m的分布，pdesired为期望分布；
18、s42、高分辨率字典dh采用cholesky乔列斯基平方根法分解的方式进行拟合：
19、；
20、其中，x为高分辨率图像向量，u为单位上三角矩阵；
21、s43、将拟合的结果用最小二乘法将误差最小化：
22、；
23、其中，x1为低分辨率图像集 lr重建出的高频信息的集合，x2为训练第二层字典的高分辨率hr样本集，ε为误差阈值；
24、s44、将my1和hy1通过引入kl散度损失损失函数的k-svd算法求解出第一层低分辨率字典dl1和稀疏系数α，并采用cholesky乔列斯基平方根法分解的方式进行拟合求出第一层高分辨率字典dh1，然后通过最小二乘法减少误差，求解出第一层字典d1；
25、s45、采用正交匹配追踪算法计算出lr在第一层字典d1上的稀疏系数α1，采用按列更新的方法求解第一层低分辨率图像集lr样本y1与第一层字典d1之间的残差，通过迭代重复该过程直至残差小于ε2，重建得到第一层高分辨率图像xr1；重复上述步骤，得到第二层字典d2以及第二层高分辨率图像xr2；
26、s46、将xr1和xr2的图像块重新拼接整合，进行逆分块；在逆分块过程中，对于重叠区域的像素，采用对应重叠像素的平均值作为重叠像素的取值；并将逆分块后的xr1和xr2相加，得到重建的高频图像信息hr1；然后，将hr1与低分辨率图像的色彩分量进行结合，最终得到恢复更多图像细节的高分辨率图像集hr。
27、进一步地，所述步骤s5具体过程包括以下步骤：
28、s51、首先在重建生成的恢复更多图像细节的高分辨率图像集hr随机挑选四张图像，在其中一张图像中随机挑选一个初始目标框并记录其边界框坐标以及对应的类别标签；
29、s52、其次从另外三张图像中随机选择三个目标框，调整原始目标框的坐标，将四张图片通过图像处理库放置在大图像中进行拼接，将四张图像拼接成一张图片，使其适应大图像的坐标空间，并记录大图像的目标框和类别标签；
30、s53、最后对大图像进行随即平移、缩放数据增强操作，增强数据多样性并重复上述操作，扩充数据集，得到飞机蒙皮增强后的数据集。
31、进一步地，所述步骤s6具体过程包括以下步骤：
32、s61、首先，将残差-101替换ssd的基础网络vgg16，其具有更深的卷积层，提高了算法的准确性；
33、s62、其次，在原ssd上的每一个卷积层上进行批归一化处理，并用反卷积层代替双线性插值上采样，将高层语义信息与底层语义信息本文档来自技高网...
【技术保护点】
1.一种基于NAM-DSSD模型的飞机蒙皮缺陷检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于NAM-DSSD模型的飞机蒙皮缺陷检测方法，其特征在于：所述步骤S2具体包括：使用双线性插值方法对低分辨率图像集LR进行放大处理，有效地保留图像的语义信息，使其尺寸与原始高分辨率图像集HR的图像相同，从而得到中分辨率图像集MR，提取其梯度特征并分块得到第一层低分辨率图像集LR样本Y1。
3.根据权利要求1所述的一种基于NAM-DSSD模型的飞机蒙皮缺陷检测方法，其特征在于：所述步骤S3具体过程包括以下步骤：
4.根据权利要求1所述的一种基于NAM-DSSD模型的飞机蒙皮缺陷检测方法，其特征在于：所述步骤S4具体过程包括以下步骤：
5.根据权利要求1所述的一种基于NAM-DSSD模型的飞机蒙皮缺陷检测方法，其特征在于：所述步骤S5具体过程包括以下步骤：
6.根据权利要求1所述的一种基于NAM-DSSD模型的飞机蒙皮缺陷检测方法，其特征在于：所述步骤S6具体过程包括以下步骤：
【技术特征摘要】
1.一种基于nam-dssd模型的飞机蒙皮缺陷检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于nam-dssd模型的飞机蒙皮缺陷检测方法，其特征在于：所述步骤s2具体包括：使用双线性插值方法对低分辨率图像集lr进行放大处理，有效地保留图像的语义信息，使其尺寸与原始高分辨率图像集hr的图像相同，从而得到中分辨率图像集mr，提取其梯度特征并分块得到第一层低分辨率图像集lr样本y1。
3.根据权利要求1所述的一种基于nam-dssd模型...
【专利技术属性】
技术研发人员：易程，汪俊，刘程子，吴巧云，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。