一种海量数据下数据实时统计的系统及方法技术方案

技术编号:40516412 阅读:36 留言:0更新日期:2024-03-01 13:33
本申请提供了一种海量数据下数据实时统计的系统及方法,其中,海量数据下数据实时统计的系统,包括:配置中心模块,配置中心模块用于管理待统计业务的业务开关和key生成规则;批量统计队列模块,批量统计队列模块与配置中心模块连接,批量统计队列模块用于将待统计业务放入本地批量处理队列中;key生成器模块,key生成器模块与配置中心模块连接,key生成器模块用于根据key生成规则解析生成Redis HyerLogLog的key;Hyperloglog统计器模块,Hyperloglog统计器模块与批量统计队列模块、key生成器模块连接,Hyperloglog统计器模块用于将Redis HyerLogLog的key以及待统计业务存入Redis的Hyperloglog中;其中,以Redis HyperLogLog作为存储容器。本申请的方案能够在进行海量数据统计时节约存储空间。

【技术实现步骤摘要】

本专利技术涉及数据统计,特别涉及一种海量数据下数据实时统计的系统及方法


技术介绍

1、业务系统通常需要对一些设备数据进行实时统计,以分析设备连接量情况,然而随着业务的发展设备数量越来越多,相关数据每天达千万级别甚至上亿,实时统计变得异常困难,统计查询过程需要消耗大量时间,时效性差,统计时甚至会影响系统正常业务。同时一些业务系统中也常有需要实时统计数量的需求,如统计用户在日活量、接口访问量、某时段设备在线量等。但是,目前用于实现数据统计的方法需要大量的空间去存储数据,在量级过大时,相关数据采集统计过程将受影响,无法快速将数据统计入库,严重时将导致整个系统崩溃。


技术实现思路

1、有鉴于此,本专利技术实施例致力于提供一种海量数据下数据实时统计的系统及方法,可以在进行海量数据统计时节约存储空间。

2、根据本专利技术的一方面,本专利技术一实施例提供的海量数据下数据实时统计的系统,包括:配置中心模块,所述配置中心模块用于管理待统计业务的业务开关和key生成规则;其中,所述业务开关用于开启或关闭统计业务;批本文档来自技高网...

【技术保护点】

1.一种海量数据下数据实时统计的系统,其特征在于,包括:

2.根据权利要求1所述的海量数据下数据实时统计的系统,其特征在于,所述配置中心模块包括:

3.一种海量数据下数据实时统计的方法,应用于上述权利要求1-2中任一项所述的海量数据下数据实时统计的系统,其特征在于,所述海量数据下数据实时统计的方法包括:

4.根据权利要求3所述的海量数据下数据实时统计的方法,其特征在于,在所述当存在待统计业务时,查看配置中心的业务开关的开关状态之后,所述海量数据下数据实时统计的方法还包括:

5.根据权利要求3所述的海量数据下数据实时统计的方法,其特征在于,所...

【技术特征摘要】

1.一种海量数据下数据实时统计的系统,其特征在于,包括:

2.根据权利要求1所述的海量数据下数据实时统计的系统,其特征在于,所述配置中心模块包括:

3.一种海量数据下数据实时统计的方法,应用于上述权利要求1-2中任一项所述的海量数据下数据实时统计的系统,其特征在于,所述海量数据下数据实时统计的方法包括:

4.根据权利要求3所述的海量数据下数据实时统计的方法,其特征在于,在所述当存在待统计业务时,查看配置中心的业务开关的开关状态之后,所述海量数据下数据实时统计的方法还包括:

5.根据权利要求3所述的海量数据下数据实时统计的方法,其特征在于,所述当所述批量统计队列的统计限度大于或等于预设限度时,将所述批量统计队列中的统计数据全部取出还包括:

6.根据权利要求3所述的海量数据下...

【专利技术属性】
技术研发人员:李顺洪陈良
申请(专利权)人:四川虹美智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1