一种航空大数据预处理技术制造技术

本发明专利技术公开一种航空大数据预处理技术，是一种高效四维(4D)航迹数据清洗技术，包括：识别和减少错误的4D航迹数据；对4D航迹错误数据进行修正；利用大圆航线距离来计算当前平均速度进而识别错误数据；采用反向传播神经网络算法将误差修正；应用牛顿插值法对每次航行样本数据进行等间隔采样获取均匀分布的4D航迹数据；保持4D航迹固有属性的前提下压缩4D航迹数据；应用基于密度的有噪聚类(DBSCAN)对样本4D航迹数据中的离群点进行识别。本发明专利技术能够对有噪的4D航迹数据进行高效对数据清洗，相比现有清洗4D航迹数据的方法更高效快速，且最大限度地保证了清洗结果的准确性和可靠性。

【技术实现步骤摘要】
一种航空大数据预处理技术
本专利技术涉及交通数据处理
，尤其涉及一种航空大数据预处理技术，具体来说是一种航空大数据预处理过程中4D航迹数据清洗技术。
技术介绍
随着航空业的迅速发展，航空运输系统在管理层面上和技术层面上都面临着巨大的挑战。“数据”作为科技创新的动力之一，成为继“土地”和“资本”之后的又一重要生产要素。数据科学的出现和发展为航空运输系统的分析和管理提供了便捷有效的工具。利用空中交通数据，特别是4D航迹数据，可以完成各种分析任务，如飞机冲突检测与避让、空域拥堵管理、空中航线优化等。数据清洗是进行4D航迹数据分析应用的前提。为了获得更准确可靠的分析应用结果，必须事先对异常数据和不可靠数据进行清除和修正。否则，不仅会消耗更多对数据处理时间和精力，还会误导最终的数据应用结果。在现有技术中，针对4D航迹数据的研究还比较少。主要清洗方法为检测异常数据并直接丢弃。在修正异常值的方法中，多采用卡尔曼滤波方法对异常数据点进行修正。然而，直接丢弃错误数据的方法操作简单，但是不能最大限度的保证航迹数据属性，可靠性欠缺；卡尔曼滤波方法能对异常数据点进行修正，但最终的修正效果无法达到高精度数据清洗要求，有效性欠缺；所以以上方案均不能满足有效可靠的数据清洗需求。
技术实现思路
针对上述问题，本专利技术提出一种航空大数据预处理过程中4D航迹数据清洗技术，大大提高4D航迹数据清洗结果的有效性和可靠性。本专利技术航空大数据预处理技术针对航空大数据预处理过程中的4D航迹数据清理，通过下述步骤实现：本专利技术航空大数据预处理技术，对航空大数据预处理过程中的4D航迹数据进行清理，通过下述步骤实现：步骤1：4D航迹数据中异常数据检测；步骤2：构建反馈神经网络算法模型，对得到的异常数据进行修正；步骤3：应用基于空间距离的牛顿插值法对修正后的数据进行插值，获得采样间隔均匀的4D航迹数据；步骤4：采用三维栅格法进行数据压缩，获得保留原有航迹属性的4D航迹数据。本专利技术的优点在于：1、本专利技术航空大数据预处理技术，通过检测错误样本数据点，应用反向传播神经网络模型进行错误数据修正，接着采用牛顿插值算法对修正后的样本数据基于空间进行增采样，再通过三维栅格法对插值后的数据进行压缩处理。2、本专利技术航空大数据预处理技术，并运用基于密度的有噪聚类法对特定4D航迹数据样本集中的离群数据进行检测。本实施例提供的4D航迹数据清洗技术高效快速，且最大限度地保证了数据清洗结果的准确性和可靠性。附图说明图1为本专利技术一实施例提供的4D航迹数据清洗技术的流程示意图一；图2为本专利技术一实施例提供的反向传播神经网络结构示意图；图3为本专利技术实施例提供的三维栅格法实例示意图；图4a为机号为471F86的原始航迹数据；图4b为被检测到的异常样本点图4c为进行反向传播神经网络修正图4d为进行牛顿插值；图4e为进行三维栅格法压缩数据；图4f为最终航迹数据；图5为本专利技术实施例提供的对航线LHR-BRU和LHR-DUS进行基于密度的有噪聚类结果；图6为本专利技术实施例提供的对航线DLH3EJ进行基于密度的有噪聚类结果；图7a为欧洲一天航迹数据；图7b为对欧洲一天航迹数据应用反向传播神经网络修正后结果；图7c为对欧洲一天航迹数据应用牛顿插值进行增采样后结果；图7d为对欧洲一天航迹数据应用三维栅格法压缩数据结果；图8为运用卡尔曼滤波方法对机号为471F86的4D航迹数据进行清洗的结果。具体实施方式下面结合附图对本专利技术作进一步详细说明。本专利技术航空大数据预处理技术是一种航空大数据预处理过程中的4D航迹数据清理技术，在4D航迹清洗技术中，每一条4D航迹数据是由一系列的四维数据样本点所组成，每个样本点包含位置信息(Li纬度，Hi经度，Ai海拔高度)以及时刻信息Ti。用Pi表示第i个样本点，用Tr表示一条4D航迹数据的集合，则有Tr＝[P1,P2,...Pi,...Pn]，n为样本点总个数。现实数据中，4D航迹数据集是由多条4D航迹数据组成，用DT表示4D航迹数据集，则有DT＝{Tr1,Tr2,...,Trm}，m为4D航迹数据集中4D航迹数据总个数。本专利技术在确保最大化原始数据的属性的情况下，将原始4D航迹数据进行清洗，如图1所示，具体通过下述步骤实现：步骤1：4D航迹数据中异常数据检测。计算每条4D航迹数据相邻点之间的航线距离以及平均飞行速度，其中，相邻两样本点P1与P2间的航线距离D12为：d12＝πR·arccos(cos(Lp1)·cos(Lp2)·cos(Hp1-Hp2)+sin(Lp1)·sin(Lp2))/180(1)式中，d12为大圆距离，即从球面的一点A出发到达球面上另一点B，所经过的最短路径的长度；R＝6371.0km；Lp1与Lp2分别为样本点P1与P2的纬度信息；Hp1与Hp2分别为样本点P1与P2的经度信息；A1与A2分别为样本点P1与P2的海拔高度信息。相邻两样本点P1，P2间的平均飞行速度v12为：式中，T1与T2分别为样本点P1与P2的时刻信息。对计算结果进行检测，若相邻两样本点P1与P2之间的平均飞行速度超过飞行最大时速1200km/h(目前商飞客机时速小于音速)时，则该数据为异常数据，将样本点P2标记为异常样本点。步骤2：对步骤1中得到的异常数据进行修正。构建反向传播神经网络模型，具体如下：其中，式(4)的sigmoid函数作为反向传播神经网络模型点激活函数，f(.)为激活函数；式(5)的均方误差函数作为反向传播神经网络模型中的损失函数；式(6)与式(7)为反向传播神经网络模型中的前向传输方程，表示反向传播神经网络第l层的第i个神经元的输入值，为神经网络第l层的第i个神经元的输出值，为反向传播神经网络中第l层的第i个神经元与第l+1层的第j个神经元的连接权重，为反向传播神经网络中第l层的第i个神经元的偏置量；式(8)与式(9)为反向传播神经网络的梯度下降函数和误差函数，通过式(8)来更新连接权重值通过式(9)来更新偏置量RLearn为学习率由式(10)进行更新，d为衰减因子：nstep为第n次迭代；E(i)为第i个神经元的损失值。通过所构建的反向传播神经网络模型，将排除了异常数据的航线数据逐条喂入反向传播神经网络模型中，调试学习速率，训练出反向传播神经网络模型参数；随后将异常数据带入已经训练好的反向传播神经网络模型中进行错误数据点修正，得到修正之后的4D航线数据。上述修正过程的具体方法如下：A、确定反向传播神经网络的结构，为一个输入层包括一个神经元，两个隐藏层分别包括五个神经元和两个神经元，一个输出层包括一个神经元；其中输入为航迹数据的时间序列，输出为本文档来自技高网...

【技术保护点】
1.航空大数据预处理技术，对航空大数据预处理过程中的4D航迹数据进行清理，其特征在于：通过下述步骤实现：/n步骤1：4D航迹数据中异常数据检测；/n步骤2：对得到的异常数据进行修正；/n步骤3：数据插值，获得采样间隔均匀的4D航迹数据；/n步骤4：数据压缩，获得保留原有航迹属性的4D航迹数据。/n

【技术特征摘要】
1.航空大数据预处理技术，对航空大数据预处理过程中的4D航迹数据进行清理，其特征在于：通过下述步骤实现：
步骤1：4D航迹数据中异常数据检测；
步骤2：对得到的异常数据进行修正；
步骤3：数据插值，获得采样间隔均匀的4D航迹数据；
步骤4：数据压缩，获得保留原有航迹属性的4D航迹数据。


2.如权利要求1所述航空大数据预处理技术，其特征在于：步骤1的具体方法为：
计算每条4D航迹数据相邻点之间的航线距离以及平均飞行速度，对计算结果进行检测，若相邻两样本点P1与P2之间的平均飞行速度超过飞行最大时速时，则该数据为异常数据，将样本点P2标记为异常样本点。


3.如权利要求1所述航空大数据预处理技术，其特征在于：步骤2的异常数据修正方法如下：
构建反向传播神经网络模型，将排除了异常数据的航线数据逐条喂入反向传播神经网络模型中，调试学习速率，训练出反向传播神经网络模型参数；随后将异常数据带入已经训练好的反向传播神经网络模型中进行错误数据点修正，得到修正之后的4D航线数据。


4.如权利要求3所述航空大数据预处理技术，其特征在于：具体方法为：
A、确定反向传播神经网络的结构，为一个输入层包括一个神经元，两个隐藏层分别包括五个神经元和两个神经元，一个输出层包括一个神经元；其中输入为航迹数据的时间序列，输出为相应时刻的位置数据；
B、将除去异常样本点的余下样本点数据进行归一化，作为反向传播神经网络的训练数据，初始化神经网络中的每一个神经元，将神经网络中神经元的连接权重及偏置量都初始化为0；
C、设置sigmoid函数为神经网络的激活函数，定义均方误差值为输出误差；
D、设置学习速率的初始值，将梯度下降方程及误差方程设置为反向传播规则，输入步骤B中的归一化的样本数据，对反向传播神经网络进行训练；
E、将步骤1得到的异常样本点对应的时刻输入训练好的神经网络模型中，得到该异常样本点修正后的数据。
F、返回步骤2，提取下一条4D航迹数据，直到所有4D航迹数据被修正后结束。


5.如权利要求1所述航空大数据预处理技术，其特征在于：步骤3的数据插值方法为：设计牛顿插值法参数，对修正后的4D航迹数据进行基于空间的插值操作，修正非均匀航迹数据，获得采样...

【专利技术属性】
技术研发人员：孙小倩，谭鑫，塞巴斯提安万德特，张春晓，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11