基于制造技术

本发明专利技术公开了基于

【技术实现步骤摘要】
基于Flink的公交运行实时数据分析方法及系统


[0001]本专利技术涉及大数据处理
，具体地说是基于
Flink
的公交运行实时数据分析方法及系统
。

技术介绍

[0002]随着城市的发展及人口的不断涌入，公交出行已成为一个城市重要的出行方式，但是不难发现，有的公交总是极度拥挤，超负荷运行，但有的公交整条线路只有寥寥几人乘坐
。
出现这样的情况可能和许多因素有关，如出行时间
、
天气情况
、
是否为节假日等；因此合理的分配公交出车的频率至关重要
。
[0003]随着大数据相关技术及工具的不断发展，如今对实时海量数据的处理也迈入了新的台阶
。
[0004]如何使用
Flink
对公交运行的实时数据进行处理分析，来达到对公交运行情况进行实时分析，是需要解决的技术问题
。

技术实现思路

[0005]本专利技术的技术任务是针对以上不足，提供基于
Flink
的公交运行实时数据分析方法及系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
Flink
的公交运行实时数据分析方法，其特征在于，用于对各公交站点的公交运行实时数据进行分析优化，所述方法包括如下步骤：配置
kafka
集群以及
Flink
集群，
kafka
集群用于以消息订阅模式将其接收的数据发送至
Flink
集群；对于每个公交站点，采集所述公交站点对应的公交运行实时数据，并将公交运行实时数据发送至
kafka
集群，公交运行实时数据作为对应主题的信息存储于
kafka
集群；
Flink
集群实时消费
kafka
集群中相关主题的消息，并通过
transformation
算子将公交运行实时数据转化为可用数据；将得到可用数据发送至接收器中存储，以供公交运行方案优化使用
。2.
根据权利要求1所述的基于
Flink
的公交运行实时数据分析方法，其特征在于，所述公交运行实时数据包括刷卡人次
、
公交班次
、
公交车型号
、
当前站点名称以及发送时间，所述发送时间为将公交运行实时数据发送至
kafka
集群的时间
。3.
根据权利要求1所述的基于
Flink
的公交运行实时数据分析方法，其特征在于，通过
transformation
算子将公交运行实时数据转化为可用数据，包括如下步骤：通过
Flink
中的
transformation
算子
、
按照公交班次对公交运行实时数据进行分组；通过时间窗口
Time Window
将各组中的数据流划分为多个数据块；对于每个数据块，进行
sum
操作和
flatMap
操作，得到可用数据
。4.
根据权利要求1所述的基于
Flink
的公交运行实时数据分析方法，其特征在于，所述接收器包括
kafka、mysql
和
ES。5.
根据权利要求1所述的基于
Flink
的公交运行实时数据分析方法，其特征在于，配置
kafka
集群以及
Flink
集群后，对于
kafka
集群以及
Flink
集群中各节点，通过
zooKepper
进行节点管理，并配置预定的接收器
...

【专利技术属性】
技术研发人员：鲁成杰，王晓康，宋培东，单震，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：