基于卷积神经网络的机场跑道FOD检测方法技术

本发明专利技术提出了一种基于卷积神经网络(CNN)的FOD检测方法。该方法主要基于Faster R‑CNN算法框架为输入图像生成目标候选区域同时采用DenseNet代替传统的VGG16‑Net进行特征提取，可以大大减少网络参数和充分利用目标特征，有利于小尺寸FOD的检测。本文还改进了RPN层中分类的损失函数，使用Focal Loss来优化正负样本的权重，使得训练结果聚焦在样本中难以分类的小尺寸FOD目标上。实验表明，该方法具有良好实时的检测效果、高检测准确率和良好的抗干扰性。机场跑道FOD图像数据集主要包括四种类型的物体(小钢珠、金属螺母、大螺丝和小螺丝)。与经典的Faster R‑CNN相比，本方法实现了93.93％的FOD目标检测精确率，提高了14.91％，而检测速度也提高了一倍多。

FOD Detection Method for Airport Runway Based on Convolutional Neural Network

【技术实现步骤摘要】
基于卷积神经网络的机场跑道FOD检测方法
本专利技术涉及图像处理与目标识别的
，具体是一种基于卷积神经网络(ConvolutionalNeuralNetworks，CNN)的机场跑道异物(ForeignObjectDebris，FOD)检测方法。
技术介绍
机场FOD有可能会对飞机造成损坏，例如分散的飞机零件、金属工具、混凝土块、行李组件、野生动物和植物等。机场跑道主要是飞机的活动区域，人类活动参与较少。因此，大多数FOD都是从飞机部件上掉落的，主要是金属材质，包括散落在跑道上的大小螺丝、小螺母和钢珠等。由于在航空器轮胎高速滚动时发动机会产生强大的吸力，尤其是在起飞和着陆阶段，飞机自身对于FOD的反应力是相对脆弱的，这将会对机身结构造成严重的损坏。被吸入飞机发动机的金属小物体可能导致涡轮叶片破损，并且碎屑可能会积聚在机械装置上，进而影响飞机的正常运行操作。为避免FOD对飞机造成严重的损害，实时准确地进行FOD检测是确保飞行安全的有效方法。目前国际上较为成熟的机场跑道FOD检测系统有英国QinetiQ公司的Tarsier系统、美国TrexEnterprises公司的FODFinder系统、以色列Xsight公司的FODetect系统及新加坡StratechSystems公司的iFerret系统等。这些系统主要通过雷达监控、视频图像处理和数字信号处理等技术实现监控级的FOD检测，对于检测3cm以上的FOD目标具有显著效果；但对于3cm以下的FOD目标来说，这些系统的检测性能相对降低。因此，对小尺寸FOD检测是目前的技术难题。同时，在检测FOD时会存在异物具有不同的飞行危险等级的情况，特别是危险等级较高且难以检测的通常会出现在跑道上的小尺寸金属目标，如5～10mm小钢珠。实时获取FOD危险等级的能力对于检测后的FOD清除工作具有很大的益处。本专利技术方法主要是针对机场沥青跑道上经常出现的大螺丝、小螺丝、小螺帽和小钢珠等四类目标进行的检测实验，其中，沥青路面上直径为5mm的小钢珠作为本专利技术方法对小尺寸FOD检测的重点。以往的FOD检测工作主要是采用传统的图像识别方法，如图像灰度直方图分析、傅立叶变换分析、边缘分析、差分检测和小波变换等。这些传统的图像识别方法对机场跑道大尺寸FOD能获得较好的检测效果，但对小尺寸FOD的检测性能会大大降低。近年来，计算机视觉领域的小尺寸目标检测取得了较大的进展，可实时地进行图像的语义分割和目标检测。例如，更快速的区域卷积神经网络(FasterR-CNN)通常用于目标物体检测(RenS,HeK,GirshickR,etal.FasterR-CNN:TowardsReal-timeObjectDetectionwithRegionProposalNetworks[C].AdvancesinNeuralInformationProcessingSystems,2015:91-99)，而MaskR-CNN(HeK,GkioxariG,DollárP,etal.MaskR-CNN[C].IEEEInternationalConferenceonComputerVision,2017:2980-2988.)则主要应用于语义分割。因此，本专利技术的主要目的是通过整合该领域最先进的检测方法，实现机场跑道小尺寸FOD的高精度和高效率检测。
技术实现思路
本专利技术为解决上述现有技术的不足，提供了一种基于CNN的机场跑道FOD检测方法。随着网络层的更新和性能的提高，该方法可以在网络梯度急剧变化的情况下减少网络参数并改善网络深度。基于CNN的机场跑道FOD检测方法，包括训练阶段和检测阶段两部分。所述训练阶段包括以下六个步骤：第一步，获取机场跑道FOD图像；第二步，对机场跑道FOD图像进行预处理操作，包括图像增强等操作；第三步，对预处理后的机场跑道FOD图像进行感兴趣区域提取，分割出局部关注FOD的感兴趣区域样本；第四步，将获得的机场跑道FOD图像以及感兴趣区域组合作为训练数据，对应的四类目标的标注样本作为训练集；第五步，将训练数据输入到基于包含DenseNet-169的特征提取网络和FocalLoss损失函数的FasterR-CNN算法中去训练网络参数，先采用卷积层逐层训练提取特征，再使用反馈的方法整体微调；第六步，将第五步训练好的网络参数保存，作为检测模型。所述检测阶段包括以下步骤：第一步，获取机场跑道FOD图像；第二步，对FOD图像进行预处理操作，包括图像增强等操作；第三步，将预处理后的FOD图像输入训练好的检测模型，得到目标检测结果。所述训练阶段的第五步中CNN架构具体是：通过在传统人工神经网络方法基础上增加一个卷积过程，CNN能够实现算法性能的提升。经典的反向传播神经网络通常包含三个层次，分别为输入层、隐含层和输出层。在神经网络的设计中，输入层和输出层的节点数根据所需要完成的任务，通常是固定的，而中间的隐含层节点数则由人为设置。CNN同样由模拟人类神经元的单元组成，神经元相互连接通过对自身权重和偏差的迭代进行学习，再通过不同的激活函数进行输出。然而传统人工神经网络的输入通常为一个向量，对于图像来说，很难获取图像的全局信息，而CNN具有局部感知和权值共享特性，在图像识别中有着重要作用。CNN涉及到的操作不仅包括与传统人工神经网络类似的反向传播算法，还包括其独有的卷积操作、池化操作及Softmax算法。相比传统人工神经网络，CNN对于提取小目标的细节特征更为敏感。每个卷积神经元都有三个维度：高度、宽度及通道深度。每个神经元即为一个卷积核，感知前一层输出的映射图上的一块小区域，不会直接感知到映射图的全部区域。用于感知前一层的一个卷积核会在映射图上进行滑动，即每个卷积神经元的一个深度单元会共享一个权值，视作提取了一种特征，通过这种方式，能够引入多种卷积核，充分提取大量潜在的语义特征以保证网络精度。而提取特征后，若用于分类，其计算量依然较大，因此还要通过下采样的方式，将图像划分为同样大小的区域，对每个区域进行聚合统计以减少连接数量，这种方式即称为池化。而在卷积层输出特征映射图后，会进行几次全连接，最后，根据网络的用途，最终层会采用不同大小全连接的Softmax回归层形式，产生一列向量，通常代表判定为不同类别的可信度得分。DenseNet-169与区域生成网络(RegionProposalNetwork，RPN)相结合，可以实现有效的目标检测。本专利技术使用三种尺度和三种纵横比，在每个滑动位置产生九个锚点。这意味着每个特征映射像素可以生成与RPN中的输入映射相对应的九个候选区域。对这九个候选区域进行分类和回归可以有效地提高区域中待检测目标的检测准确率。同时与一般图像分类任务相比，机场跑道FOD图像通常包含一些小尺寸目标独有的细节，难以使用传统的图像处理方法提取合适、有价值的细节特征。提取网络在机场跑道FOD图像中具有更多的前景目标类别，直接使用FasterR-CNN对小尺寸FOD图像的分类具有良好的效果，从而便于更好地进行FOD检测和分类。但是更抽象的对象位置和语义信息特征无法很好地提取与识别，很难对小目标实现理想的检测。本专利技术为了实现基于FasterR-CNN这一突出的小目标检测主流算法对于FOD检测准确本文档来自技高网...

【技术保护点】
1.基于卷积神经网络的机场跑道FOD检测方法，其特征是，包括训练阶段和检测阶段；所述训练阶段，包括以下步骤：第一步，获取机场跑道FOD图像；第二步，对机场跑道FOD图像进行预处理操作，包括图像增强操作；第三步，对预处理后的机场跑道FOD图像进行感兴趣区域提取，分割出局部关注FOD的感兴趣区域样本；第四步，将获取得到的机场跑道FOD图像以及局部关注FOD的感兴趣区域样本组合作为训练数据，与对应的四类目标的标注样本数据，组成训练集；第五步，将带标签的训练数据输入到基于DenseNet‑169的特征提取网络和Focal Loss的Faster R‑CNN算法中去训练网络参数，先采用卷积层逐层训练提取特征，再使用反馈的方法整体微调；第六步，将第五步训练好的网络参数保存，作为检测模型；所述检测阶段包括以下步骤：第一步，获取待检测的机场跑道FOD图像的；第二步，对原始数据进行预处理操作，包括图像增强等操作；第三步，将预处理后清晰的机场跑道FOD图像输入到训练好的检测模型，得到目标检测结果。

【技术特征摘要】
1.基于卷积神经网络的机场跑道FOD检测方法，其特征是，包括训练阶段和检测阶段；所述训练阶段，包括以下步骤：第一步，获取机场跑道FOD图像；第二步，对机场跑道FOD图像进行预处理操作，包括图像增强操作；第三步，对预处理后的机场跑道FOD图像进行感兴趣区域提取，分割出局部关注FOD的感兴趣区域样本；第四步，将获取得到的机场跑道FOD图像以及局部关注FOD的感兴趣区域样本组合作为训练数据，与对应的四类目标的标注样本数据，组成训练集；第五步，将带标签的训练数据输入到基于DenseNet-169的特征提取网络和FocalLoss的FasterR-CNN算法中去训练网络参数，先采用卷积层逐层训练提取特征，再使用反馈的方法整体微调；第六步，将第五步训练好的网络参数保存，作为检测模型；所述检测阶段包括以下步骤：第一步，获取待检测的机场跑道FOD图像的；第二步...

【专利技术属性】
技术研发人员：李元祥，刘运凯，刘嘉玮，周拥军，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31