一种基于轻量级神经网络的无人机影像缺陷检测与定位方法技术

本发明专利技术公开了一种基于轻量级神经网络的无人机影像缺陷检测与定位方法，选取图片构建图像分类数据集，对问题和位置进行标注；构建轻量化网络模型，将数据分为三部分处理，多支路输出问题种类数据、置信度、坐标信息（x,y,w,h）；对输出数据进行非极大抑制后的最终结果进行解码，得到图片类型、可靠率以及在原图上的位置坐标。本方法构建一种可嵌入移动设备的轻量级神经网络，使用3

【技术实现步骤摘要】
一种基于轻量级神经网络的无人机影像缺陷检测与定位方法


[0001]本专利技术涉及无人机影像缺陷检测与定位，具体涉及一种基于轻量级神经网络的无人机影像缺陷检测与定位方法。

技术介绍

[0002]近年来，搭载摄像头的无人机已经应用在很多领域，如农业、建筑、环境监测、安全监控等。无人机的摄像头可以用来拍摄高清视频和照片，实现无人机的远程监控和数据采集。但是，无人机摄像头拍摄照片的质量会被许多因素所影响，导致出现各种不同的缺陷和瑕疵，如过曝、过暗、噪点过多、抖动模糊等。人工处理这些照片非常耗时耗力，需要自动化的方法来对无人机摄像头拍摄的照片进行缺陷检测和定位。
[0003]目前，已经有部分基于深度学习的图像处理技术被应用于无人机摄像头照片的自动缺陷检测和定位，特别是近两年更多结构复杂且设计精巧的神经网络应运而生，图像处理模型的性能有了很大的提升。然而上述神经网络模型庞大、参数较多，计算量大，对于无人机这种终端移动设备，占用大量内存，影响性能，难以被应用。
[0004]因此，基于轻量级网络的无人机影像缺陷检测与定位方法模型具有实用价值，能够在保证性能的前提下尽量地减少内存消耗，为其他更复杂的任务节省宝贵的存储资源，从而使无人机整个系统实现更有效的运转。

技术实现思路

[0005]专利技术目的：针对上述现有技术，提出一种基于轻量级神经网络的影像缺陷检测与定位方法，能够几乎不损失精度，大幅降低计算量与网络层参数，使得整个网络更加轻量化，更容易实现移动端的部署。
[0006]技术方案：一种基于轻量级神经网络的无人机影响缺陷检测与定位方法，包括：
[0007]步骤1：分别选取图片作为训练集和测试集，建立一个包含丰富问题场景的图像分类数据集，对所述图像分类数据集进行手工标注，分别标注问题状态，同时标注问题所处位置的坐标(x,y)以及其范围大小(w,h)；
[0008]步骤2：建立轻量级深度学习神经网络模型，进行特征图融合并且多支路输出；用所述训练集对网络进行训练，训练过程通过交叉熵损失函数计算损失值并更新模型参数，不断优化模型性能，训练完成使用所述测试集测试；
[0009]步骤3：对输出结果进行筛选、解码，得到图片类型T、可靠率C以及在原图上的位置坐标(x,y,w,h)。
[0010]进一步，所述步骤2包括：所述轻量级神经网络模型的主干主要由一层深度卷积与一层逐点卷积组合，每一层卷积之后都紧跟着ReLU激活函数；
[0011]所述轻量级神经网络模型结构由若干个3
×
3卷积层和1
×
1卷积层构成，第一层是传统卷积，卷积核的shape为3
×
3/1，通道数为3，个数36，其输入尺寸为3
×
320
×
320，输出尺寸为36
×
160
×
160；
[0012]第二层由卷积核3
×3×
32，s=1和1
×1×
36
×
72，s=1的逐点卷积构成，第二层的最终输出为72
×
160
×
160；
[0013]第三层卷积核3
×3×
72dw，1
×1×
72
×
144pw，输入尺寸为72
×
160
×
160，输出尺寸为144
×
80
×
80；
[0014]第四层卷积核3
×3×
144dw，1
×1×
144
×
288pw，输入尺寸为144
×
80
×
80，输出尺寸为288
×
40
×
40；
[0015]第五层卷积核3
×3×
288dw，1
×1×
288
×
576pw，输入尺寸为288
×
40
×
40，输出尺寸为576
×
20
×
20；
[0016]第六层卷积核3
×3×
576dw，1
×1×
512
×
1152pw，输入尺寸为576
×
20
×
20，输出尺寸为1152
×
10
×
10。
[0017]进一步，所述步骤2还包括：特征图融合和多支路输出，数据分为三个部分，第一个部分将输入经过3
×
3和1
×
1卷积进行处理，得到10
×
10
×
9的输出特征；第二个部分采用上采样技术将第一个输出特征扩大2倍，然后与主网络结构的第四层进行拼接，再经过卷积处理得到20
×
20
×
9的输出特征；第三个部分也采用上采样扩大2倍的方式，将第二个输出特征与主网络结构的第五层进行拼接，再通过卷积处理得到40
×
40
×
9的输出特征；最终输出10
×
10
×
9,20
×
20
×
9,40
×
40
×
9三部分数据，分别为问题种类数据、置信度、坐标信息（x,y,w,h），当目标处于问题状态时，数据位置为1。
[0018]进一步，所述步骤3包括如下具体步骤：
[0019]步骤3.1：利用非极大抑制对三部分数据进行筛选，对于一个给定的区域内的所有检测结果，按照它们的置信度从高到低排序，并逐个进行非极大抑制，得到最终检测结果；
[0020]步骤3.2：对所述最终检测结果进行解码：
[0021][0022][0023]其中arg max表示取最大值的下标，max表示取最大值，a
i
是指对应类型数据位的值，c是置信度的数值；
[0024]x=floor(x_pred
×
W
÷
10/20/40)；
[0025]y=floor(y_pred
×ꢀ
H
÷
10/20/40)；
[0026]w=floor(w_pred
×
W
÷
10/20/40)
‑
x；
[0027]h=floor(h_pred
×
H
÷
10/20/40)
‑
y；
[0028]其中，x_pred和y_pred分别表示神经网络输出的坐标位，w_pred和h_pred分别表示神经网络输出的宽和高位，floor表示向下取整，W、H表示输入的原图的尺寸W
×
H。
[0029]有益效果：本方法通过构建一种可嵌入移动设备的轻量级本文档来自技高网...

【技术保护点】

【技术特征摘要】
0001.一种基于轻量级神经网络的无人机影像缺陷检测与定位方法，其特征在于，包括：步骤1：分别选取图片作为训练集和测试集，建立一个包含丰富问题场景的图像分类数据集，对所述图像分类数据集进行手工标注，分别标注问题状态，同时标注问题所处位置的坐标(x,y)以及其范围大小(w,h)；步骤2：建立轻量级深度学习神经网络模型，进行特征图融合并且多支路输出；用所述训练集对网络进行训练，训练过程通过交叉熵损失函数计算损失值并更新模型参数，不断优化模型性能，训练完成使用所述测试集测试；步骤3：对输出结果进行筛选、解码，得到图片类型T、可靠率C以及在原图上的位置坐标(x,y,w,h)。0002.根据权利要求1所述的一种基于轻量级神经网络的无人机影像缺陷检测与定位方法，其特征在于，所述步骤2包括：所述轻量级神经网络模型的主干主要由一层深度卷积与一层逐点卷积组合，每一层卷积之后都紧跟着ReLU激活函数；所述轻量级神经网络模型结构由若干个3x3卷积层和1x1卷积层构成，第一层是传统卷积，卷积核的shape为3
×
3/1，通道数为3，个数36，其输入尺寸为3
×
320
×
320，输出尺寸为36
×
160
×
160；第二层由卷积核3
×3×
32，s=1和1
×1×
36
×
72，s=1的逐点卷积构成，第二层的最终输出为72
×
160
×
160；第三层卷积核3
×3×
72dw，1
×1×
72
×
144pw，输入尺寸为72
×
160
×
160，输出尺寸为144
×
80
×
80；第四层卷积核3
×3×
144dw，1
×1×
144
×
288pw，输入尺寸为144
×
80
×
80，输出尺寸为288
×
40
×
40；第五层卷积核3
×3×
288dw，1
×1×
288
×
576pw，输入尺寸为288
×
40
×
40，输...

【专利技术属性】
技术研发人员：吉珂宇，王彬，周康，李卓临，张永生，熊傲然，聂玮成，
申请(专利权)人：江苏稻源科技集团有限公司，
类型：发明
国别省市：