基于深度卷积神经网络的机场滑行道的缺陷检测方法技术

本发明专利技术涉及计算机视觉网络领域，目的是提供基于深度卷积神经网络的机场滑行道的缺陷检测方法，本发明专利技术用户端为电脑PC端，人工通过无线通信模块向巡检机器人发送启动命令，进行实时的机场滑行道的图像采集，本采集设备可以采集以巡检机器人为中心，0.3米为半径的周围地面的图像，通过将图像传回用户端，输入进缺陷识别模型，得出预警的信号，尽早的发现隐患，本发明专利技术结构合理，设计巧妙，适合推广。

【技术实现步骤摘要】
基于深度卷积神经网络的机场滑行道的缺陷检测方法
本专利技术涉及计算机视觉领域，具体涉及基于深度卷积神经网络的机场滑行道的缺陷检测方法。
技术介绍
滑行道是连接跑道和停机坪的纽带，是大型机场航空器场面运行的关键资源，随着场面航空器数量的不断增加,机场滑行道区域涌现各种缺陷，影响机场交通，如果机场工作人员去检测，存在一定危险。CN201811571505.8，一种机场沥青混凝土道面变形模拟的参数分析方法，该专利技术属于机场建筑
，公开了一种机场沥青混凝土道面变形模拟的参数分析方法，采用有限元分析方法、道面板的CA数字模式构建；性态类似区域匹配准则，对典型破坏模式的机场沥青混凝土道面变形参数进行预测；获得机场道面变形破坏的规律。本专利技术取代部分昂贵试验，揭示机场道面变形破坏的规律和过程；通过有限元分析对两种典型破坏模式的预测进行检验分析。可以提高机场道面使用质量，为道面养护和维修提供必要的参考，为机场安全、顺畅、快捷运行提供保证，提高航空运输能力，促进经济的快速发展；延长机场跑道使用寿命，节省大量维修、养护费用。因此,需要一种能够识别机场跑道的检测方法，能够快速的检测出跑道的缺陷，基于神经网络算法对于跑道上显示的裂缝、低洼、不平整的地方都能进行识别，机器人能够实现自动巡检。
技术实现思路
本专利技术目的在于提供基于深度卷积神经网络的机场滑行道的缺陷检测方法，通过自动巡检机器人对机场滑行道凹陷或者裂缝等缺陷进行采录和分析，得出缺陷预警信号，本专利技术结构合理，设计巧妙，适合推广；<br>本专利技术所采用的技术方案是：基于深度卷积神经网络的机场滑行道的缺陷检测方法，包括以下步骤：步骤1：启动巡检机器人在机场滑行道上运行，通过巡检机器人上的采集设备获取所述巡检机器人附近的滑行道的实时图像；步骤2：巡检机器人上的处理器处理和无线通信模块将实时图像传送回终端，所述终端中存有训练好的缺陷识别模型；步骤3：将所述实时图像作为输入发送至所述缺陷识别模型中，所述缺陷识别模型输出驱动缺陷预警模块响应，所述巡检机器人还包括有GPS模块，通过所述GPS模块获取所述巡检机器人的位置信息并通过所述缺陷预警模块显示。优选的，所述步骤2中，所述缺陷识别模型选用Tiny-yolov3目标检测模型。优选的，所述Tiny-yolov3目标检测模型使用二元交叉熵损失函数进行类别预测，通过获取机场滑行道上的图像作为训练集，计算公式为，式中，N是训练集的总数量；yi取值为0或1，yi取值为1表示第i张输入的图片包含缺陷的图像，yi取值为0则表示第i张输入的图片不包含缺陷的图像；pi值为对第i张输入的滑行道图片是否包含缺陷的图像的预测的概率，pi值在0至1之间。优选的，所述Tiny-yolov3目标检测模型采用Tiny-darknet网络作为特征提取网络，所述Tiny-darknet网络包括7层卷积池化层对滑行道图像进行特征提取。优选的，所述步骤1中，所述巡检机器人还包括有驱动模块和行进装置，所述处理器接收用户端发送的启动指令，通过启动驱动模块带动所述行进装置工作。优选的，所述Tiny-yolov3目标检测模型的训练包括以下步骤，步骤11：对多张机场滑行道的图像进行卷积神经网络训练，获得Tiny-yolov3目标检测模型，执行步骤22；步骤22：以巡检机器人的初始位置为原点建立环境栅格地图，执行步骤33；步骤33：获取多张实时的滑行道图像，执行步骤44；步骤44：识别多张实时的滑行道图像中是否存在缺陷，若是，执行步骤55，若不是，执行步骤66；步骤55：通过GPS模块获得巡检机器人的位置数据及其边框，继续行进，执行步骤66；步骤66：移动至下一栅格内，执行步骤33。优选的，所述步骤44还包括以下步骤，步骤441:设置IOU阈值及置信度阈值，执行步骤442；步骤442：对输入的滑行道图像进行尺寸的调整，执行步骤443；步骤443：输入至Tiny-yolov3目标检测模型进行特征提取，执行步骤444；步骤444：通过类似FPN网络对滑行道凹陷或滑行道裂纹进行多尺度融合预测，将特征图划分为多个网格；使用K-means聚类方法对训练集的边界框做聚类，得到合适的anchorbox，并在每个网格上产生3个anchorbox数来生成预测的目标边界框，通过二元交叉熵损失函数来预测类别。优选的，所述巡检机器人的采集设备选用2M像素UVC协议高清USB摄像头。与现有技术相比，本专利技术的有益效果为：1.无需人工到现场就能实现滑行道的缺陷巡检，降低了工作人员的隐患；2.提高巡检效率，摄像头自动采集，Tiny-yolov3目标检测模型自动识别判断。附图说明图1为基于深度卷积神经网络的机场滑行道的缺陷检测方法的示意图；图2为本专利技术的实施例中机场跑道裂缝缺陷的示意图；图3为本专利技术的实施例中Tiny-yolov3目标检测模型的训练示意图。具体实施方式下面结合本专利技术的附图1～3，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施。图1为本专利技术基于深度卷积神经网络的机场滑行道的缺陷检测方法的结构图；基于深度卷积神经网络的机场滑行道的缺陷检测方法，包括以下步骤：步骤1：启动巡检机器人在机场滑行道上行进，通过巡检机器人上的采集设备获取所述巡检机器人附近的滑行道的实时图像；步骤2：巡检机器人上的处理器处理和无线通信模块将实时图像传送回终端，所述终端中存有训练好的缺陷识别模型；步骤3：将所述实时图像作为输入发送至所述缺陷识别模型中，所述缺陷识别模型输出驱动缺陷预警模块响应，所述巡检机器人还包括有GPS模块，通过所述GPS模块获取所述巡检机器人的位置信息并通过所述缺陷预警模块显示。值得说明的是，所述步骤2中，所述缺陷识别模型选用Tiny-yolov3目标检测模型。值得说明的是，所述Tiny-yolov3目标检测模型使用二元交叉熵损失函数进行类别预测，通过获取机场滑行道上的图像作为训练集，计算公式为，其中，N是训练集的总数量；yi取值为0或1，yi取值为1表示第i张输入的图片包含缺陷的图像，yi取值为0则表示第i张输入的图片不包含缺陷的图像；pi值为对第i张输入的图片是否包含缺陷的图像的预测的概率，pi值在0至1之间。值得说明的是，所述Tiny-yolov3目标检测模型采用Tiny-darknet网络作为特征提取网络，Tiny-darknet网络采用7层卷积池化层对机场滑行道图像进行特征提取。值得说明的是，所述步骤1中，所述巡检机器人还包括有驱动模块和行进装置，所述处理器接收用户端发送的启动指令，通过启动驱动模块带动所述行进装置工作。<本文档来自技高网...

【技术保护点】
1.基于深度卷积神经网络的机场滑行道的缺陷检测方法，其特征在于，包括以下步骤：/n步骤1：启动巡检机器人在机场滑行道上运行，通过巡检机器人上的采集设备获取所述巡检机器人附近的滑行道的实时图像；/n步骤2：巡检机器人上的处理器处理和无线通信模块将实时图像传送回终端，所述终端中存有训练好的缺陷识别模型；/n步骤3：将所述实时图像作为输入发送至所述缺陷识别模型中，所述缺陷识别模型输出驱动缺陷预警模块响应，所述巡检机器人还包括有GPS模块，通过所述GPS模块获取所述巡检机器人的位置信息并通过所述缺陷预警模块显示。/n

【技术特征摘要】
1.基于深度卷积神经网络的机场滑行道的缺陷检测方法，其特征在于，包括以下步骤：
步骤1：启动巡检机器人在机场滑行道上运行，通过巡检机器人上的采集设备获取所述巡检机器人附近的滑行道的实时图像；
步骤2：巡检机器人上的处理器处理和无线通信模块将实时图像传送回终端，所述终端中存有训练好的缺陷识别模型；
步骤3：将所述实时图像作为输入发送至所述缺陷识别模型中，所述缺陷识别模型输出驱动缺陷预警模块响应，所述巡检机器人还包括有GPS模块，通过所述GPS模块获取所述巡检机器人的位置信息并通过所述缺陷预警模块显示。


2.根据权利要求1所述的基于深度卷积神经网络的机场滑行道的缺陷检测方法，其特征在于,所述步骤2中，所述缺陷识别模型选用Tiny-yolov3目标检测模型。


3.根据权利要求2所述的基于深度卷积神经网络的机场滑行道的缺陷检测方法，其特征在于，所述Tiny-yolov3目标检测模型通过二元交叉熵损失函数进行类别预测，通过获取机场滑行道上的图像作为训练集，计算公式为，



式中，N是训练集的总数量；yi取值为0或1，yi取值为1表示第i张输入的图片包含缺陷的图像，yi取值为0则表示第i张输入的图片不包含缺陷的图像；pi值为对第i张输入的滑行道图片是否包含缺陷的图像的预测的概率，pi值在0至1之间。


4.根据权利要求3所述的基于深度卷积神经网络的机场滑行道的缺陷检测方法，所述Tiny-yolov3目标检测模型采用Tiny-darknet网络作为特征提取网络，所述Tiny-darknet网络采用7层卷积池化层对滑行道图像进行特征提取。


5.根据权利要求1所述的基于深度卷积神经网络的机场滑行道的缺陷检测方法，其特征在于，所述步骤1中，所述巡检机器人还包括有驱动模块和行进装置，所述处理器接收用户端发送的启动指令，通过...

【专利技术属性】
技术研发人员：刘桂华，向伟，
申请(专利权)人：西南科技大学，绵阳科瑞特机器人有限公司，
类型：发明
国别省市：四川;51