航班地面保障作业流程的监控方法、装置及监控系统制造方法及图纸

本发明专利技术提供了一种航班地面保障作业流程的监控方法、装置及监控系统，其中，该方法包括：根据航班计划信息确定目标航空器以及待监控的地面保障作业流程；重复执行以下步骤直至确定地面保障作业流程的所有节点已执行：步骤一，根据地面保障作业流程的当前节点，确定目标对象以及目标动作；步骤二，在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象；步骤三，基于不同时刻的图像帧中目标航空器和目标对象的状态信息，确定是否已执行目标动作；步骤四，如果确定已执行目标动作，确定当前节点已执行，并将下一节点作为当前节点。通过本发明专利技术，解决了相关技术中的航班流程节点监控方法需要人工参与、操作繁琐的技术问题。

Monitoring method, device and monitoring system of flight ground support process

【技术实现步骤摘要】
航班地面保障作业流程的监控方法、装置及监控系统
本专利技术涉及图像处理领域，具体而言，涉及一种航班地面保障作业流程的监控方法、装置及监控系统。
技术介绍
随着民航市场不断增长，机场普遍面临着容量饱和或超负荷运转，客运货运增长越来越快，航空器的地面保障效率问题日益凸显，航空器到达地面后，机场AOC中心及相关部门如何快速获取航空器进场节点状态，确保航班地面保障快速、高效、安全的进行，通过人工智能自动化进行全流程的数据采集及大数据智能分析，得到越来越广泛的应用。目前视频分析、人工智能、大数据等本专利技术的核心技术已经在各行各业应用非常成熟、在医疗领域的智能CT技术就是基于视觉分析+深度学习+人工智能+大数据分析的应用，在视频分析应用还有人脸识别、车辆识别等相当成熟的技术应用，这些技术在机场领域也有深入的应用例如深圳宝安机场的“未来机场”项目其中主要就是利用大数据、云计算、人工智能、视频分析、深度学习等技术构建更具智慧的机场、如智能行李分析、人脸差异化安检、航班自动排序等。目前的航班全流程采集系统，包括以下几种：1、人工节点采集，人工记录对讲通知AOC中心方式。2、通过手持终端设备进行人工采集，数据自动回传AOC中心方式。现有的智能采集管理系统，能基于人工操作电子设备进行数据的存读使用，但仍然是人工记录为主，功能简单，缺失自动数字化，目前的采集方式是技术的过渡方式。针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
技术实现思路
本专利技术提供了一种航班地面保障作业流程的监控方法、装置及监控系统，以至少解决相关技术中的航班流程节点监控方法需要人工参与、操作繁琐的技术问题。本专利技术提供了一种航班地面保障作业流程的监控方法，包括：根据航班计划信息确定目标航空器以及待监控的地面保障作业流程；重复执行以下步骤直至确定地面保障作业流程的所有节点已执行：步骤一，根据地面保障作业流程的当前节点，确定目标对象以及目标动作，其中，目标动作为目标航空器与目标对象的相对动作；步骤二，在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象；步骤三，基于不同时刻的图像帧中目标航空器和目标对象的状态信息，确定是否已执行目标动作；步骤四，如果确定已执行目标动作，确定当前节点已执行，并将下一节点作为当前节点。进一步地，根据航班计划信息确定目标航空器，包括：根据航班计划信息确定目标航空器的编号；在目标摄像头的监控视频流的图像帧中识别目标航空器，包括：在图像帧中识别是否存在航空器；在确定存在航空器的情况下，在图像帧中识别航空器类型和/或机身标识；根据识别出的航空器类型和/或机身标识确定航空器是否为目标航空器。进一步地，在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象监控视频流之前，该方法还包括：根据航班计划信息确定机位；在多个摄像头中选择针对机位的摄像头，以确定目标摄像头。进一步地，目标对象为以下之一：地面划线、舱门、车辆、廊桥、地面标志物。进一步地，在目标对象为地面划线、车辆、廊桥或地面标志物的情况下，基于不同时刻的图像帧中目标航空器和目标对象的状态信息，确定是否已执行目标动作，包括：获取不同时刻的图像帧中目标航空器和目标对象的相对位置关系；判断相对位置关系是否为指定位置关系；在确定相对位置关系为指定位置关系的情况下，判断相对位置关系为指定位置关系的持续时长是否超过指定时长；如果所述相对位置关系为所述指定位置关系的持续时长超过指定时长，则确定已执行所述目标动作。进一步地，在确定已执行目标动作之后，该方法还包括：保存执行目标动作的关键图像帧。进一步地，在确定地面保障作业流程的所有节点已执行之前，该方法还包括：判断当前节点的持续时长是否超过指定时长，或者，判断当前时刻是否超过当前节点的截止时刻，其中，指定时长或截止时刻为根据地面保障作业流程的节点信息确定的；如果判断结果为是，发出提示信息。根据本专利技术的另一个实施例，提供了一种航班地面保障作业流程的监控装置，包括：第一确定模块，用于根据航班计划信息确定目标航空器以及待监控的地面保障作业流程；执行模块，用于重复执行以下模块直至确定地面保障作业流程的所有节点已执行：第二确定模块，用于根据地面保障作业流程的当前节点，确定目标对象以及目标动作，其中，目标动作为目标航空器与目标对象的相对动作；识别模块，用于在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象；第三确定模块，用于基于不同时刻的图像帧中目标航空器和目标对象的状态信息，确定是否已执行目标动作；第四确定模块，用于如果确定已执行目标动作，确定当前节点已执行，并将下一节点作为当前节点。进一步地，第一确定模块包括以下单元以根据航班计划信息确定目标航空器：第一确定单元，用于根据航班计划信息确定目标航空器；第三确定模块包括以下单元以在目标摄像头的监控视频流的图像帧中识别目标航空器：第一识别单元，用于在图像帧中识别是否存在航空器；第二识别单元，用于在确定存在航空器的情况下，在图像帧中识别航空器类型和/或机身标识；第二确定单元，用于根据识别出的航空器类型和/或机身标识确定航空器是否为目标航空器。进一步地，该装置还包括：第五确定模块，用于在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象监控视频流之前，根据航班计划信息确定机位；选择模块，用于在多个摄像头中选择针对机位的摄像头，以确定目标摄像头。根据本专利技术的另一个实施例，提供了一种监控系统，该系统包括：多个摄像头，每个摄像头用于监控机场中的指定位置；视频监控服务器，用于控制多个摄像头，并获取每个摄像头的监控视频流；中心服务器，用于根据航班计划信息确定目标航空器以及待监控的地面保障作业流程；重复执行以下步骤直至确定地面保障作业流程的所有节点已执行：步骤一，根据地面保障作业流程的当前节点，确定目标对象以及目标动作，其中，目标动作为目标航空器与目标对象的相对动作；步骤二，控制图像识别服务器在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象；步骤三，基于不同时刻的图像帧中目标航空器和目标对象的状态信息，确定是否已执行目标动作；步骤四，如果确定已执行目标动作，确定当前节点已执行，并将下一节点作为当前节点；图像识别服务器，用于接收监控视频流，并基于中心服务器的控制在目标摄像头的监控视频流中识别目标航空器和目标对象。根据本专利技术的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。根据本专利技术的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。通过本专利技术，确定待监控节点的目标动作，在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象的状态信息，以判断目标动作是否已被执行，如果执行则确定待监控节点已执行，可以监控下一个流程节点，解决了相关技术中的航班流程节点监控方法需要人工参本文档来自技高网...

【技术保护点】
1.一种航班地面保障作业流程的监控方法，其特征在于，所述方法包括：/n根据航班计划信息确定目标航空器以及待监控的地面保障作业流程；/n重复执行以下步骤直至确定所述地面保障作业流程的所有节点已执行：/n步骤一，根据所述地面保障作业流程的当前节点，确定目标对象以及目标动作，其中，所述目标动作为所述目标航空器与所述目标对象的相对动作；/n步骤二，在目标摄像头的监控视频流的图像帧中识别所述目标航空器和所述目标对象；/n步骤三，基于不同时刻的图像帧中所述目标航空器和所述目标对象的状态信息，确定是否已执行所述目标动作；/n步骤四，如果确定已执行所述目标动作，确定所述当前节点已执行，并将下一节点作为所述当前节点。/n

【技术特征摘要】
1.一种航班地面保障作业流程的监控方法，其特征在于，所述方法包括：
根据航班计划信息确定目标航空器以及待监控的地面保障作业流程；
重复执行以下步骤直至确定所述地面保障作业流程的所有节点已执行：
步骤一，根据所述地面保障作业流程的当前节点，确定目标对象以及目标动作，其中，所述目标动作为所述目标航空器与所述目标对象的相对动作；
步骤二，在目标摄像头的监控视频流的图像帧中识别所述目标航空器和所述目标对象；
步骤三，基于不同时刻的图像帧中所述目标航空器和所述目标对象的状态信息，确定是否已执行所述目标动作；
步骤四，如果确定已执行所述目标动作，确定所述当前节点已执行，并将下一节点作为所述当前节点。


2.根据权利要求1所述的方法，其特征在于，
所述根据航班计划信息确定目标航空器，包括：根据所述航班计划信息确定所述目标航空器的编号；
所述在目标摄像头的监控视频流的图像帧中识别所述目标航空器，包括：在所述图像帧中识别是否存在航空器；在确定存在所述航空器的情况下，在所述图像帧中识别所述航空器类型和/或机身标识；根据识别出的所述航空器类型和/或所述机身标识确定所述航空器是否为所述目标航空器。


3.根据权利要求1所述的方法，其特征在于，所述在目标摄像头的监控视频流的图像帧中识别所述目标航空器和所述目标对象监控视频流之前，所述方法还包括：
根据所述航班计划信息确定机位；
在多个摄像头中选择针对所述机位的摄像头，以确定所述目标摄像头。


4.根据权利要求1至3任一项所述的方法，其特征在于，所述目标对象为以下之一：地面划线、舱门、车辆、廊桥、地面标志物。


5.根据权利要求4所述的方法，其特征在于，在所述目标对象为所述地面划线、所述车辆或所述廊桥的情况下，所述基于不同时刻的图像帧中所述目标航空器和所述目标对象的状态信息，确定是否已执行所述目标动作，包括：
获取不同时刻的图像帧中所述目标航空器和所述目标对象的相对位置关系；
判断所述相对位置关系是否为指定位置关系；
在确定所述相对位置关系为所述指定位置关系的情况下，判断所述相对位置关系为所述指定位置关系的持续时长是否超过指定时长；
如果所述相对位置关系为所述指定位置关系的持续时长超过指定时长，则确定已执行所述目标动作。


6.根据权利要求1所述的方法，其特征在于，在确定已执行所述目标动作之后，所述方法还包括：
保存执行所述目标动作的关键图像帧。


7.根据权利要求1所述的方法，其特征在于，在确定所述地面保障作业流程的所有节点已执行之前，所述方法还包括：
判断所述当前节点的持续时长是否超过指定时长，或者，判断所述当前时刻是否超过所述当前节点的截止时刻，其中，所述指定时长或所述截止时刻为根据所述地面保障作业流程的节点信息确定的；
...

【专利技术属性】
技术研发人员：简梦雅，陶杰，刘胜云，
申请(专利权)人：杭州云视通互联网科技有限公司，
类型：发明
国别省市：浙江;33