【技术实现步骤摘要】
一种基于流式大数据的交通态势实时计算方法
本专利技术属于民航
，尤其涉及一种基于流式大数据的交通态势实时计算方法。
技术介绍
近年来，随着经济的快速发展，空中交通流量随之增大，空中交通变得更加复杂和不可控。随之而来，产生了空中交通堵塞的问题。在空管领域，空域被分为一个个扇区单位，对于扇区的管制人员，知晓管控扇区的复杂程度，有利于更好的完成扇区管制工作。同时，空中交通受多种因素影响，瞬息万变，对于管制员的工作有很大的压力。因此，扇区复杂度的实时评估显得十分必要。扇区复杂度的评估是在航迹数据分析运算的基础上实现的。飞机的航迹数据由雷达等多种渠道采集而得，是典型的流式数据，具有顺序、大量、快速、连续到达，随时间延续而无限延长的特点。同时，全国的飞机航迹数据体量大，在数据处理分析上耗时久，难度大。因此，实时评估扇区复杂度是一项艰难的工作。现有的复杂度评估方法都是基于静态批数据，使用一些机器学习、深度学习模型如神经网络等，通过多维扇区复杂度数据拟合出复杂度评估模型，再静态地完成复杂度评估。在以流数据为基础进行复杂度实时评...
【技术保护点】
1.一种基于流式大数据的交通态势实时计算方法，其特征在于，所述方法基于分布式航迹流数据处理平台，所述平台包括航迹数据采集模块、Kafka消息系统、SparkStreaming集群、数据存储模块、评估模型训练模块与结果反馈模块，其中，/n所述航迹数据采集模块是航迹数据的接入模块，由外部数据源提供流式航迹数据；所述Kafka消息系统由所述航迹数据采集模块接入流式数据，使用分布式的结构处理高吞吐量的流式航迹数据，接入所述SparkStreaming集群进行数据处理；所述SparkStreaming集群对所述Kafka消息系统接入的航迹消息队列进行分布式处理，由多个工作节点构成，每...
【技术特征摘要】
1.一种基于流式大数据的交通态势实时计算方法，其特征在于，所述方法基于分布式航迹流数据处理平台，所述平台包括航迹数据采集模块、Kafka消息系统、SparkStreaming集群、数据存储模块、评估模型训练模块与结果反馈模块，其中，
所述航迹数据采集模块是航迹数据的接入模块，由外部数据源提供流式航迹数据；所述Kafka消息系统由所述航迹数据采集模块接入流式数据，使用分布式的结构处理高吞吐量的流式航迹数据，接入所述SparkStreaming集群进行数据处理；所述SparkStreaming集群对所述Kafka消息系统接入的航迹消息队列进行分布式处理，由多个工作节点构成，每个节点包含三个SparkExecutor处理器，两个SparkExecutor属于航迹数据解读处理，另外一个SparkExecutor属于扇区复杂度计算，分别在其上运行相应的业务处理程序，将航迹数据转换为扇区复杂度数据；所述数据存储模块对接所述SparkStreaming集群，完成对于转换后的复杂度数据的存储；所述评估模型训练模块基于所述数据存储模块中的复杂度数据，实现评估模型训练，并输出复杂度的评估模型；所述结果反馈模块接入已经训练好的模型，并反馈复杂度的评估结果；
所述方法包括以下步骤：
S1：SparkStreaming工作节点部署；
SparkStreaming集群每个节点安装分布式数据库系统Hbase，用于存储结构化之后的原始航迹数据；安装Postgis数据库，用来存储经过SparkStreaming集群计算后的扇区复杂度数据，支持模型拟合与其他业务功能；
S2：数据解读；
将航迹数据采集模块采集来的原始航迹数据封装为相应弹性分布式数据集，对航迹数据进行转换，得到格式化的弹性分布式数据集，对应得到“航班序列号、对地速度、飞行高度、经度、纬度、航向角、时间”的格式化的数据，并同时将格式化的航迹数据存储于Hbase分布式数据库中；
S3：数据处理；
通过步骤S2格式化的航迹数据的经度和纬度，结合全国空域扇区的区域划分，得到各
个空域扇区的飞机数量；计算扇区复杂度数据运算的核心部分即斜距，定义如下：
其中，代表飞机i的位置，表示与的向量，<.,.>表示向量之间的
标量积；
部署两个SparkExecutor用来进行航迹数据的解读格式化，以及各个扇区内飞机数量与两架飞机之间的oblica...
【专利技术属性】
技术研发人员：曹先彬，杜文博，梁卜予，朱熙，佟路，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。