一种基于在线增量MHHA-SRU航班延误预测方法及系统技术方案

本发明专利技术属于交通延误预测方法技术领域，公开了一种基于在线增量MHHA

【技术实现步骤摘要】
一种基于在线增量MHHA
‑
SRU航班延误预测方法及系统


[0001]本专利技术属于交通延误预测
，尤其涉及一种基于在线增量MHHA
‑
SRU航班延误预测方法及系统。

技术介绍

[0002]民航业自从开始实施电子客票起，就在交通运输行业中走在了信息化的前列，在我国的航空运输系统中，每时每刻都有大量的数据，这些数据的来源和形式多种多样。但是，当前新兴的信息化和大数据技术并没有被充分地应用，这就导致了数据资源没有被高效地使用，从而造成了资源的浪费。民航业为旅客的出行提供了非常大的便利同时也带动了许多行业的发展，然而航班延误问题仍未得到有效解决，这一点令人担忧。航班延误是衡量航空交通系统运行效率的一个关键指标，对其进行精确的预报可以帮助有关部门及早做出有效的应对措施，从而降低其造成的不利影响。航班延误问题一直以来都困扰着管制人员、航空公司、机场以及旅客。对于空管部门而言，航班延误会增加管制人员的工作时长同时使其对航班难以合理的调配。对于航空公司而言，主要包括地面延误的损失、空中延误的损失、乘客的住宿和餐饮费用以及临时调配飞机的费用。
[0003]早期针对航班延误预测的研究集中在统计学方法和机器学习方法，如遗传算法、贝叶斯方法、C4.5决策树、随机森林、支持向量机等；随着计算机算力的不断提升，针对航班延误的研究逐步过渡到深度学习模型方法，使用深度置信网络、MobileNetV2、时空可分离的图卷积时空传播网络（STPN）、长短时记忆网络（LSTM）等模型进行航班延误预测研究。伴随着深度学习算法的长足进步与发展，注意力机制横空出世，在图像处理、自然语言处理等一些领域取得了很大的突破。相关学者也开始将注意力机制加入到航班延误预测模型中，使得模型能够在特征提取时将重点放在数据集中对延误预测结果影响比较大的部分，以提升模型的整体预测性能。但在简单循环单元（SRU）中并不具备注意力机制结构，不能对特征重要性进行有效提取。此外，使用深度学习进行航班延误预测已经能够达到较高的精度，但大部分深度神经网络都是通过离线学习的方式来训练的，该训练方式无法不断地将新的信息整合到已经构建的模型中，这样会导致潜在的过时模型，所以离线学习的可扩展性比较差，不适合应用在大数据尤其是流式数据中。
[0004]通过上述分析，现有技术存在的问题及缺陷为：现有技术中，对航班延误的准确率低，不能有效利用数据；离线学习可扩展性差，不适合应用在大数据尤其是流式数据中；应用与部署实用性差。

技术实现思路

[0005]为克服相关技术中存在的问题，本专利技术公开实施例提供了一种基于在线增量MHHA
‑
SRU航班延误预测方法及系统，尤其涉及一种基于在线增量MHHA
‑
SRU（Multi
‑
Head Hierarchical Attention mechanism based on Simple Recurrent Units）网络的航班延误预测方法。
[0006]所述技术方案如下：基于在线增量MHHA
‑
SRU航班延误预测方法，包括以下步骤：
[0007]S1，设定在线增量MHHA
‑
SRU网络的初始参数以及训练方式的初始参数；
[0008]S2，获取历史的航班数据及气象数据，进行数据清洗、数据标注、数据融合、数据编码和数据序列化，并将数据分割成若干个包含数量样本的数据子集；将构建好的数据子集顺序输入设定初始参数后的在线增量MHHA
‑
SRU网络进行训练，得到基于在线增量MHHA
‑
SRU网络的航班延误预测模型；
[0009]S3，将待预测的航班信息数据流输入到基于在线增量MHHA
‑
SRU网络的航班延误预测模型，通过设定初始参数后的在线增量MHHA
‑
SRU网络对待预测的航班信息进行特征提取；
[0010]S4，提取后的特征通过预测结构获得待预测航班分属每个类别的概率，基于所述概率获取待预测航班的延误类别；
[0011]S5，使用基于正则化的增量学习算法，将在线累计后的航班信息数据流送入在线增量MHHA
‑
SRU网络进行训练，更新在线增量MHHA
‑
SRU网络的参数；
[0012]S6，将待预测的航班信息数据流输入到在线更新过的MHHA
‑
SRU网络进行特征提取，经过预测结构获得模型更新后的延误类别预测结果；
[0013]S7，将待预测的航班信息数据流、待预测航班的延误类别统计在前端界面进行可视化分析展示。
[0014]在步骤S1中，在线增量MHHA
‑
SRU网络的初始参数包括：SRU初级、次级编码器网络层数，SRU初级、次级编码器隐藏层节点数，Softmax全连接层层数，Softmax全连接层每层节点数，注意力头数及序列长度；
[0015]训练方式的初始参数包括：训练时的学习率、训练时的优化器、EWC正则项惩罚系数、SI正则项惩罚系数、SI阻尼系数。
[0016]在步骤S2中，将所述历史的航班数据及气象数据转换成在线模式进行使用，将数据划分成数据子集模拟在线数据流不断输入系统的过程；
[0017]在数据清洗中，采用直接删除的方式对缺失的数据和含有异常项的数据删除；采用近似项适当填充的方式对航班中存在缺失值的数据填充；
[0018]在数据标注中，分别针对起飞或降落航班进行处理，根据计算的起飞或降落延误时间进行延误等级的划分，并为数据标注延误等级标签；
[0019]在数据融合中针对各机场起飞航班使用航班数据中的计划起飞时间与本机场气象数据中的记录时间进行匹配融合；针对各机场降落航班使用航班数据中的计划降落时间与本机场气象数据中的记录时间进行匹配融合；
[0020]在数据编码中分别针对连续型和离散型特征进行处理，针对连续型特征使用Min
‑
Max编码；对于离散型特征使用CatBoost编码；
[0021]在数据序列化中根据预计起飞时间对数据集进行排序，使用长度为的划窗进行分割，将输入数据转换为时间序列生成时间序列数据集；
[0022]在数据分割成包含若干样本数量的子集中，针对在线增量学习进行的处理，每个数据子集称为一个任务，将每个子集分别送入在线增量MHHA
‑
SRU网络进行训练。
[0023]在步骤S2中，将构建好的数据子集顺序输入设定初始参数后的在线增量MHHA
‑
SRU网络进行训练，得到基于在线增量MHHA
‑
SRU网络的航班延误预测模型，包括以下步骤：
[0024]将构建好的数据子集依次输入到SRU初级编码器进行特征提取；多头注意力机制模块对输入特征计算注意力分布后得到值介于0到1之间的权重系数矩阵，在训练过程中不断地对权重系数矩阵进行学习，来表示不同特征对结果的影响程度，权重越大表示该特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于在线增量MHHA
‑
SRU航班延误预测方法，其特征在于，该方法包括以下步骤：S1，设定在线增量MHHA
‑
SRU网络的初始参数以及训练方式的初始参数；S2，获取历史的航班数据及气象数据，进行数据清洗、数据标注、数据融合、数据编码和数据序列化，并将数据分割成若干个包含数量样本的数据子集；将构建好的数据子集顺序输入设定初始参数后的在线增量MHHA
‑
SRU网络进行训练，得到基于在线增量MHHA
‑
SRU网络的航班延误预测模型；S3，将待预测的航班信息数据流输入到基于在线增量MHHA
‑
SRU网络的航班延误预测模型，通过设定初始参数后的在线增量MHHA
‑
SRU网络对待预测的航班信息进行特征提取；S4，提取后的特征通过预测结构获得待预测航班分属每个类别的概率，基于所述概率获取待预测航班的延误类别；S5，使用基于正则化的增量学习算法，将在线累计后的航班信息数据流送入在线增量MHHA
‑
SRU网络进行训练，更新在线增量MHHA
‑
SRU网络的参数；S6，将待预测的航班信息数据流输入到在线更新过的MHHA
‑
SRU网络进行特征提取，经过预测结构获得模型更新后的延误类别预测结果；S7，将待预测的航班信息数据流、待预测航班的延误类别统计在前端界面进行可视化分析展示。2.根据权利要求1所述的基于在线增量MHHA
‑
SRU航班延误预测方法，其特征在于，在步骤S1中，在线增量MHHA
‑
SRU网络的初始参数包括：SRU初级、次级编码器网络层数，SRU初级、次级编码器隐藏层节点数，Softmax全连接层层数，Softmax全连接层每层节点数，注意力头数及序列长度；训练方式的初始参数包括：训练时的学习率、训练时的优化器、EWC正则项惩罚系数、SI正则项惩罚系数、SI阻尼系数。3.根据权利要求1所述的基于在线增量MHHA
‑
SRU航班延误预测方法，其特征在于，在步骤S2中，将所述历史的航班数据及气象数据转换成在线模式进行使用，将数据划分成数据子集模拟在线数据流不断输入系统的过程；在数据清洗中，采用直接删除的方式对缺失的数据和含有异常项的数据删除；采用近似项适当填充的方式对航班中存在缺失值的数据填充；在数据标注中，分别针对起飞或降落航班进行处理，根据计算的起飞或降落延误时间进行延误等级的划分，并为数据标注延误等级标签；在数据融合中针对各机场起飞航班使用航班数据中的计划起飞时间与本机场气象数据中的记录时间进行匹配融合；针对各机场降落航班使用航班数据中的计划降落时间与本机场气象数据中的记录时间进行匹配融合；在数据编码中分别针对连续型和离散型特征进行处理，针对连续型特征使用Min
‑
Max编码；对于离散型特征使用CatBoost编码；在数据序列化中根据预计起飞时间对数据集进行排序，使用长度为的划窗进行分割，将输入数据转换为时间序列生成时间序列数据集；在数据分割成包含若干样本数量的子集中，针对在线增量学习进行的处理，每个数据子集称为一个任务，将每个子集分别送入在线增量MHHA
‑
SRU网络进行训练。4.根据权利要求1所述的基于在线增量MHHA
‑
SRU航班延误预测方法，其特征在于，在步
骤S2中，将构建好的数据子集顺序输入设定初始参数后的在线增量MHHA
‑
SRU网络进行训练，得到基于在线增量MHHA
‑
SRU网络的航班延误预测模型，包括以下步骤：将构建好的数据子集依次输入到SRU初级编码器进行特征提取；多头注意力机制模块对输入特征计算注意力分布后得到值介于0到1之间的权重系数矩阵，在训练过程中不断地对权重系数矩阵进行学习，来表示不同特征对结果的影响程度，权重越大表示该特征对结果的影响越大；再使用SRU次级编码器对初级编码器输出结果进行特征提取，经过多头注意力机制学习数据子集中每条样本的不同重要性，该重要性同样反映在权重系数矩阵中，权重系数越大表明该样本对预测结果的影响越大；将次级编码器输出输入到Softmax全连接层得到每个等级的预测值；利用在线增量学习改进的加入正则项的交叉熵损失函数进行损失计算并迭代输入数据子集完成训练，得到基于在线增量MHHA
‑
SRU网络的航班延误预测模型。5.根据权利要求4所述的基于在线增量MHHA
‑
SRU航班延误预测方法，其特征在于，所述利用在线增量学习改进的加入正则项的交叉熵损失函数进行损失计算并迭代输入数据子集完成训练中，使用基于正则化的增量学习算法实现模型的训练，所述增量学习算法包括：线增量MHHA
‑
SRU网络从历史数据集中学习到经验，再利用已知的经验对新到来的数据集进行在线学习的过程；增量学习进行线增量MHHA
‑
SRU网络训练中使用添加的正则项的交叉熵损失函数，所述添加的正则项的交叉熵损失函数包括EWC正则项的交叉熵损失函数和添加突触智能SI正则项的交叉熵损失函数；弹性权重合并EWC正则项的交叉熵损失函数计算公式为：；；式中，为添加EWC正则项的交叉熵损失函数，为当前任务B的损失函数，为神经网络的所有参数，为第i次训练时当前任务B的网络的参数；为对于旧任务A的第i次训练，为正则化系数；为Fisher信息矩阵，为偏导数符号，表示在第i次训练时输入为x对应标签为y...

【专利技术属性】
技术研发人员：屈景怡，解文凯，徐浩源，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：