一种基于深度学习的机场廊桥移动作业规范检测方法技术

本发明专利技术公开了一种基于深度学习的机场廊桥移动作业规范检测方法，具体步骤如下：S1：从现场摄像头获取视频流；S2：对连续图像先进行飞机目标检测；S3：如果飞机已经停靠了，再进行廊桥检测；如果廊桥还未停靠到飞机，就对廊桥进行追踪；如果廊桥在移动作业，通过目标检测和轨迹追踪判断操作人员是否在廊桥底下；本发明专利技术通过目标检测和轨迹追踪判断操作人员是否在廊桥底下；通过采用基于深度学习的机场廊桥移动作业规范检测方法，利用庞大丰富的数据，通过深度学习完成模型的训练，从而使得算法的健壮性更高，泛化能力更强，自适应学习不同角度和背景下的图片特征，以更准确地追踪到每个目标的运动轨迹。目标的运动轨迹。目标的运动轨迹。

【技术实现步骤摘要】
一种基于深度学习的机场廊桥移动作业规范检测方法


[0001]本专利技术涉及一种机器视觉领域的监控报警
，具体涉及一种基于深度学习的机场廊桥移动作业规范检测方法，

技术介绍

[0002]民航运输业作为连接城市之间市场与生产要素的纽带，随着中国经济的发展和产业结构的转型升级，其在城市交通基础设施的地位不断提升，发展异常迅速。随着机场客运量日益增长，对机场设施的作业规范性提出了更高的要求。但是对于停机坪的廊桥移动作业规范性的检测，还是依赖于传统的人眼监控方式，需要花费极高的人力成本和时间成本。
[0003]在停机坪场景中，飞机停靠到预置位置后，操作人员需要操作廊桥从登机门延伸至飞机机舱门，方便乘客进出机舱。为了实现廊桥作业的规范性检测，我们需要判断移动作业状态下的廊桥底下是否存在廊桥移动操作人员(因为飞机停靠到停机坪后，廊桥的移动需要有操作人员在廊桥底下操作电源接通飞机，监察周围异常情况，最后完成对接，所以如果无操作员的情况下，廊桥发生移动是不符合安全规范)，并且需要判断操作人员的穿戴是否符合规范。由于廊桥存在两种工作状态(静止状态，移动作业状态)，所以我们不仅需要对廊桥进行目标检测，还需要通过轨迹追踪技术，判断廊桥的移动状态，监测廊桥移动区域内是否存在车辆和其他人员入侵的情况，而且停机坪的环境分为白天、黑夜、雨天、晴天，对廊桥和操作人员在不同环境下进行目标检测和轨迹跟踪是一个难题。
[0004]CN202010283725.1一种机场停机坪作业人员作业规范及数量的自动识别方法中提到了一种基于深度学习技术，对现场人员作业规范的检测方法。
[0005]该方法有如下几个问题：(1)该方法只对现场作业人员和是否穿反光背心作检测，缺少对作业人员的目标跟踪，无法判断作业人员的运动轨迹(2)没有建立停机坪的廊桥轨迹追踪模型，缺少对廊桥移动作业的规范性的判断(3)采用MobileNet
‑
SSD模型，MobileNet模型是Google针对手机等嵌入式设备提出的一种轻量级的深层神经网络，SSD是一种one
‑
stage目标检测方法，其主要思路是利用CNN提取特征后，均匀地在图片的不同位置进行密集抽样，抽样时可以采用不同尺度和长宽比，物体分类与预测框的回归同时进行，但是均匀的密集采样的一个重要缺点是训练比较困难，这主要是因为正样本与负样本(背景)极其不均衡，导致模型在复杂天气背景下的鲁棒性不高，模型准确度稍低。
[0006]在传统的检测方式中，主要是通过现场摄像头传回实时的视频，使用人眼去判断廊桥在移动作业的规范性，需要花费极高的人力成本和时间成本。
[0007]在实际应用中，场景天气复杂多变，而且需要对飞机、停机坪的廊桥以及操作人员在进行目标检测的同时，还需要对目标进行轨迹追踪，检测过程困难。

技术实现思路

[0008]本专利技术所要解决的技术问题是提供了一种基于深度学习的机场廊桥移动作业规范检测方法；通过采用基于深度学习的机场廊桥移动作业规范检测方法，利用庞大丰富的
数据，通过深度学习完成模型的训练，从而使得算法的健壮性更高，泛化能力更强，自适应学习不同角度和背景下的图片特征，以更准确地追踪到每个目标的运动轨迹，更容易应用于廊桥移动作业场景的规范性检测。
[0009]本专利技术基于深度学习的机场廊桥移动作业规范检测方法是通过以下技术方案来实现的：具体步骤如下：
[0010]S1：从现场摄像头获取视频流；
[0011]S2：对连续图像先进行飞机目标检测，判断停机坪位置是否有飞机停靠；
[0012]S3：如果飞机已经停靠了，再进行廊桥检测，判断廊桥目前的状态是已经停靠到飞机，还是未停靠到飞机；
[0013]S4：如果廊桥还未停靠到飞机，就对廊桥进行追踪，获取廊桥的运动轨迹，判断廊桥是否在移动作业；
[0014]S5：如果廊桥在移动作业，通过目标检测和轨迹追踪判断操作人员是否在廊桥底下(因为飞机停靠到停机坪后，廊桥的移动需要有操作人员在廊桥底下操作电源接通飞机，监察周围异常情况，最后完成对接，所以如果无操作员操纵下，廊桥发生移动是不符合安全规范)；
[0015]S6：如果不存在操作人员作业，发出告警，提示目前作业不规范；
[0016]S7：如果检测出操作人员轨迹，还需要对操作人员进行反光衣检测判断；
[0017]S8：如果操作人员穿戴不符合规范，提示告警；如果符合规范，则无需处理；
[0018]S9：如果在廊桥的移动范围内检测出车辆和其他工作人员，提示入侵告警。
[0019]作为优选的技术方案，S5中的轨迹追踪包括检测器和追踪器两个部分，
[0020]轨迹追踪方法包括：
[0021]SS1`输入的图像通过目标检测器，获取目标的检查框信息和目标特征信息，然后利用检测目标特征与目标预测轨迹进行级联匹配和IOU匹配，得到已经匹配的轨迹、未匹配的检测目标、未匹配轨迹，最后把已经匹配的轨迹更新到图像中；
[0022]2、判断目标是否在入侵区域的技术路线，首先通过目标检测获取目标框的信息(x1,y1,w,h)，然后通过上述坐标信息计算出目标框的中心点位置坐标，然后通过射线法，判断目标中心点是否在区域内容，从而判断检测的目标是否入侵到指定区域内。
[0023]本专利技术的有益效果是：
[0024]1、对于不同天气环境下的廊桥和操作人员目标进行轨迹追踪，不受场景限制；
[0025]2、对于不同摄像头下的廊桥和操作人员都可以进行轨迹追踪，无需人工调整阈值；
[0026]3、对于不同摄像头下的廊桥移动范围了车辆和其他人员进行检测，无需人工调整阈值；
[0027]4、目标在被遮挡后，也可以进行有效的轨迹追踪，无需人工干预。
附图说明
[0028]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图，
[0029]图1为本专利技术基于深度学习的机场廊桥移动作业规范检测方法的流程图；
[0030]图2为轨迹追踪技术方案图；
[0031]图3为目标检测模型的训练流程的示意图；
[0032]图4为目标检测模型整体结构的示意图；
[0033]图5为判断目标是否在入侵区域的技术路线示意图；
[0034]图6为射线法判断目标中心点是否在停机位区域内的示意图；
[0035]图7和图8为计算射线与线段交点的x坐标的公式示意图。
具体实施方式
[0036]本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合，
[0037]本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的机场廊桥移动作业规范检测方法，其特征在于：具体步骤如下：S1：从现场摄像头获取视频流；S2：对连续图像先进行飞机目标检测，判断停机坪位置是否有飞机停靠；S3：如果飞机已经停靠了，再进行廊桥检测，判断廊桥目前的状态是已经停靠到飞机，还是未停靠到飞机；S4：如果廊桥还未停靠到飞机，则对廊桥进行追踪，获取廊桥的运动轨迹，判断廊桥是否在移动作业；S5：如果廊桥在移动作业，通过目标检测和轨迹追踪判断操作人员是否在廊桥底下；S6：如果不存在操作人员作业，发出告警，提示目前作业不规范；S7：如果检测出操作人员轨迹，还需要对操作人员进行反光衣检测判断；S8：如果操作人员穿戴不符合规范，提示告警；如果符合规范，则无需处理；S9：如果在廊桥的...

【专利技术属性】
技术研发人员：樊治国，林伟文，
申请(专利权)人：青岛高重信息科技有限公司，
类型：发明
国别省市：