一种基于深度学习和特征匹配的廊桥状态检测方法技术

本发明专利技术公开了一种基于深度学习和特征匹配的廊桥状态检测方法，包括：从机场的现场摄像头获取图像数据；对获取的图像数据进行飞机、廊桥和廊桥对接状态检测；利用连续间隔帧的检测结果判断飞机是否到达停泊位置；在飞机停泊后，利用图像数据的检测信息以及飞机和廊桥的最大距离来确定廊桥的起始位置。本发明专利技术能从多角度对进行廊桥状态判断，具有良好的场景泛化性；对于廊桥被遮挡情况下也能进行有效廊桥状态判断，具有良好的鲁棒性；在机场面对雾天，雨天等可见度低的时候，廊桥状态检测也能很好的判断；该方法不需要额外的设备和人工划定判断区域，省去了后续维护成本。省去了后续维护成本。省去了后续维护成本。

【技术实现步骤摘要】
一种基于深度学习和特征匹配的廊桥状态检测方法


[0001]本专利技术涉及民航机坪安全管理领域，具体为一种基于深度学习和特征匹配的廊桥状态检测方法。

技术介绍

[0002]飞机廊桥又称登机桥或停机坪廊桥，是旅客登离机重要设备，可以让旅客在任何天气和温度下免受风吹日晒影响，安全舒适的登离机。通过机场现有监控视频，对廊桥进行实时检测可以对航班保障过程中廊桥靠近飞机动作的开始和完成时间、廊桥离开飞机动作的开始和完成时间自动检测，以便机场操作人员实时掌握航班保障的关键进程，目前廊桥主要是靠桥载系统返回的信号来判断廊桥的工作状态，但安装桥载系统的新廊桥数量较少，而且改造费用较高，另外安装的桥载系统可能存在设备故障或系统返回错误信号等等，导致操作人员判断出现问题，基于深度学习的廊桥状态检测可以有效减小这些风险。
[0003]在停机坪场景中，飞机停靠到预置位置后，操作人员需要操作廊桥从登机门延伸至飞机机舱门，方便乘客进出机舱。为了使得保障人员能够获取廊桥的实时状态(移动方向、是否对接以及廊桥实时图像等等)，我们不仅要考虑各种监控下，廊桥可能被飞机或其他事物遮挡(遮挡率不大于60％)的情况，还要考虑廊桥作业面临的各种天气(雨天，雾天等等)的情况，使得在各种情况下都能检测到廊桥的状态，便于操作人员实时掌握航班保障的关键进程，减小不必要的事故发生。
[0004]中国专利(CN110210427A)提供了一种基于图像处理技术的廊桥工作状态检测系统及方法中提到了一种基于图像处理技术，对廊桥工作状态的检测方法。该方法有如下几个问题：(1)该方法无法应对复杂天气的情景，例如，雾或雨等天气导致的廊桥模糊，卷积网络将无法定位廊桥位置状态；(2)该方法无法应对在多场景多角度下廊桥可能被遮挡的情况时候，卷积网络将无法定位廊桥位置状态；(3)当场景环境发生变动，例如相机被移动，雨天等干扰下，该方法通过帧差分法无法判别廊桥特征区域；(4)该方法的最后用廊桥特征区域中心线于划分区域来决定廊桥的工作状态，该方法区域划分需要人工去提前设定，每当区域发生变化或需要调整的时候都需要人工划分区域，后续需要大量的人力和时间去维护，显得笨拙不够灵活。

技术实现思路

[0005]本专利技术旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本专利技术的目的在于提供一种基于深度学习和特征匹配的廊桥状态检测方法，不仅能够减小天气等外部因素对廊桥状态的影响，而且当廊桥被部分遮挡也能够有效的检测到其状态，使得廊桥状态检测处于稳定状态，不易受外部干扰，另外在后续不需要人力干预和区域划分，大大减少维护成本。
[0006]本专利技术的第二个目的在于提出一种基于深度学习和特征匹配的廊桥状态检测装置。
[0007]本专利技术的第三个目的在于提出一种计算机设备。
[0008]本专利技术的第四个目的在于提出一种计算机可读存储介质。
[0009]为达到上述目的，本专利技术第一方面实施例提出了一种基于深度学习和特征匹配的廊桥状态检测方法，包括：
[0010]从机场的现场摄像头获取图像数据；
[0011]对获取的图像数据进行飞机、廊桥和廊桥对接状态检测；
[0012]利用连续间隔帧的检测结果判断飞机是否到达停泊位置；
[0013]根据图像数据的检测信息以及飞机静止后飞机与廊桥的最大距离来确定廊桥的起始位置；
[0014]将确定的廊桥起始位置对应的特征进行卷积编码并保存；
[0015]根据检测的飞机位置和廊桥起始位置进行廊桥状态判断，确定廊桥工作状态。
[0016]优选的，所述对获取的图像数据进行飞机、廊桥和廊桥对接状态检测，包括：
[0017]利用机场的摄像设备获取视频流，并将其解析成每张图像；
[0018]其中，利用机场的摄像设备获取视频流中，通过Yolov5检测模型对图像进行检测，检测对象分别为飞机、廊桥、廊桥对接。
[0019]可选地，检测时为检测对象添加检测框。
[0020]优选的，所述利用连续间隔帧的检测结果判断飞机是否到达停泊位置，包括：
[0021]根据对接状态检测获取飞机检测结果；
[0022]判断飞机在连续间隔帧的检测框中心点变化是否超过阈值，若没有超过阈值，则飞机已经停稳，否则飞机正在移动状态。
[0023]优选的，所述根据图像数据的检测信息以及飞机静止后飞机与廊桥的最大距离来确定廊桥的起始位置，包括：
[0024]通过目标检测模型Yolov5对解析的视频流图像数据进行目标飞机、廊桥以及廊桥状态检测，获取检测目标的位置信息；
[0025]利用检测飞机信息，使用连续间隔帧差值判断飞机是否静止；
[0026]在飞机静止后，利用检测的飞机和廊桥信息，分别计算其在前后帧飞机和廊桥的欧式距离D1和D2，并计算D1和D2的绝对值abs；
[0027]判断得到的abs与设定的阈值1进行比较；
[0028]提取检测到的廊桥起始状态的检测框并保存。
[0029]优选的，所述将确定的廊桥起始位置对应的特征进行卷积编码并保存，包括：
[0030]将飞机、廊桥和廊桥对接状态检测的检测框特征通过卷积神经网络进行编码并保存到底库，并训练了廊桥状态分类模型，通过廊桥状态分类模型提取全连接层前的特征作为廊桥的编码特征；
[0031]其中，卷积神经网络中，编码网络采用的是Resnet18网络，损失函数采用Circle Loss。
[0032]优选的，所述根据图像数据检测的目标飞机位置和廊桥的起始位置进行廊桥状态判断，确定廊桥工作状态，包括：
[0033]廊桥状态可分为：廊桥起始静止状态、廊桥靠近状态、廊桥对接状态以及廊桥撤离状态；
[0034]在开始确定廊桥为起始静止状态后，开始对廊桥处于移动和静止时候的状态判断。
[0035]为达到上述目的，本专利技术第二方面实施例提出了一种基于深度学习和特征匹配的廊桥状态检测装置，包括：
[0036]数据采集模块，用于从现场摄像头获取图像数据；
[0037]数据采集模块，还用于对获取的图像进行飞机、廊桥和廊桥对接状态检测；
[0038]数据分析模块，用于利用连续间隔帧的检测结果判断飞机是否到达停泊位置；
[0039]数据分析模块，还用于根据图像数据的检测信息以及飞机静止后飞机与廊桥的最大距离来确定廊桥的起始位置；
[0040]数据分析模块，还用于将确定的廊桥起始位置对应的特征进行卷积编码并保存；
[0041]数据分析模块，还用于根据图像数据检测的目标飞机位置和廊桥的起始位置进行廊桥状态判断，确定廊桥工作状态。
[0042]为达到上述目的，本专利技术第三方面实施例提出了一种计算机设备，所述计算机设备为实体设备，所述计算机设备包括：
[0043]处理器、存储器，所述处理器、存储器与处理器进行通信连接；
[0044]所述存储器用于储存至少一个所述处理器执行的可执行指令，所述处理器用于执行所述可执行指令以实现如上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和特征匹配的廊桥状态检测方法，其特征在于，包括：从机场的现场摄像头获取图像数据；对获取的图像数据进行飞机、廊桥和廊桥对接状态检测；利用连续间隔帧的检测结果判断飞机是否到达停泊位置；根据图像数据的检测信息以及飞机静止后飞机与廊桥的最大距离来确定廊桥的起始位置；将确定的廊桥起始位置对应的特征进行卷积编码并保存；根据检测的飞机位置和廊桥起始位置进行廊桥状态判断，确定廊桥工作状态。2.根据权利要求1所述的基于深度学习和特征匹配的廊桥状态检测方法，其特征在于，所述对获取的图像数据进行飞机、廊桥和廊桥对接状态检测，包括：利用机场的摄像设备获取视频流，并将其解析成每张图像；其中，利用机场的摄像设备获取视频流中，通过Yolov5检测模型对图像进行检测，检测对象分别为飞机、廊桥、廊桥对接。3.根据权利要求1所述的基于深度学习和特征匹配的廊桥状态检测方法，其特征在于，所述利用连续间隔帧的检测结果判断飞机是否到达停泊位置，包括：根据对接状态检测获取飞机检测结果；判断飞机在连续间隔帧的检测框中心点变化是否超过阈值，若没有超过阈值，则飞机已经停稳，否则飞机正在移动状态。4.根据权利要求1所述的基于深度学习和特征匹配的廊桥状态检测方法，其特征在于，所述根据图像数据的检测信息以及飞机静止后飞机与廊桥的最大距离来确定廊桥的起始位置，包括：通过目标检测模型Yolov5对解析的视频流图像数据进行目标飞机、廊桥以及廊桥状态检测，获取检测目标的位置信息；利用检测飞机信息，使用连续间隔帧差值判断飞机是否静止；在飞机静止后，利用检测的飞机和廊桥信息，分别计算其在前后帧飞机和廊桥的欧式距离D1和D2，并计算D1和D2的绝对值abs；判断得到的abs与设定的阈值1进行比较；提取检测到的廊桥起始状态的检测框并保存。5.根据权利要求1所述的基于深度学习和特征匹配的廊桥状态检测方法，其特征在于，所述将确定的廊桥起始位置对...

【专利技术属性】
技术研发人员：潘执政，樊治国，杜世豪，
申请(专利权)人：青岛高重信息科技有限公司，
类型：发明
国别省市：