一种基于流式计算实时分析门架交易数据方法技术

本发明专利技术公开了一种基于流式计算实时分析门架交易数据方法，包括消费kafka实时门架交易数据，按照门架进行分组；实时过车数据；门架交易量统计：分别统计门架每小时和每天的流量，通过在相应的时间区间不断加1完成；路段交易量统计：路段在统计通行量时，需要做去重操作，一辆车通过一个路段的3个门架，路段的通行量只能算1个；关于交易量的统计。本发明专利技术有益之处在于：采用流式计算+kv存储方式来实现解决数据量问题、实时问题、准确性问题，计算通行流量需要解决数据容量的问题的需求，在数据处理过程中不断保存中间状态，在某个时间点，把处理的数据位置和结果都保存下，防止系统故障漏算或者重算导致的统计结果不准确，用较少的服务器完成功能。务器完成功能。务器完成功能。

【技术实现步骤摘要】
一种基于流式计算实时分析门架交易数据方法


[0001]本专利技术涉及高速公路门架交易数据交互传输
，具体是一种基于流式计算实时分析门架交易数据方法。

技术介绍

[0002]在高速公路上，车辆通过门架时，门架和车辆的OBU直接会发生读写数据，同时产生一条门架交易，可以通过门架交易实时分析每个门架的实时过车通行量，全国每天产生3.3亿条门架交易，计算实时过车数据需要解决数据量问题、实时问题、准确性问题，计算通行流量需要解决数据容量的问题。
[0003]现有问题的关键点在于，数据量大，且数据分析的周期大，数据库不能支撑如此大数据量的实时分析，一般流式计算为了追求极致的性能，采用纯内存计算，这样会要求更多的硬件资源。因此，针对上述问题提出一种基于流式计算实时分析门架交易数据方法。

技术实现思路

[0004]本专利技术的目的就在于为了解决上述问题而提供一种基于流式计算实时分析门架交易数据方法。
[0005]本专利技术通过以下技术方案来实现上述目的，一种基于流式计算实时分析门架交易数据方法，包括以下步骤：S1、消费ka本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流式计算实时分析门架交易数据方法，其特征在于：包括以下步骤：S1、消费kafka实时门架交易数据，按照门架进行分组；S2、实时计算过车数据：开启时间滑动窗口，窗口宽度30s，窗口间隔1s，表示每隔1s计算下近30s的交易数，门架交易时间落在哪个窗口，就在相应的窗口加1，然后把结果输出到redis，客户端根据时间滑动窗口累积数可计算出门架实时过车流量；S3、门架交易量统计：分别统计门架每小时和每天的流量，通过在相应的时间区间不断加1完成；S4、路段交易量统计：路段在统计通行量时，需要做去重操作，一辆车通过一个路段的3个门架，路段的通行量只能算1个；S5、关于交易量的统计：定时把消费kafka的offset与临时状态持久化，防止系统故障漏算或者重算导致的统计结果不准确。2.根据权利要求1所述的一种基于流式计算实时分析门架交易数据方法，其特征在于：门架交易量统计以小时统计为例，创建redis的key,value对，门架i...

【专利技术属性】
技术研发人员：王丽君，鹿洪杰，魏凯，梁超，陈佳兴，焦自玲，
申请(专利权)人：太极计算机股份有限公司，
类型：发明
国别省市：