数据统计方法和装置及其数据统计获取方法和装置制造方法及图纸

技术编号:40031390 阅读:21 留言:0更新日期:2024-01-16 18:17
本申请提供一种数据统计方法和装置及其数据统计获取方法和装置,该方法包括:通过大数据计算系统根据目标统计条件对目标数据的历史数据进行离线统计计算,获得历史统计数据;判断目标数据是否新增数据内容;若判定目标数据新增数据内容,根据目标统计条件对目标数据新增的数据内容进行统计,获得目标数据新增的数据内容对应的新增统计数据;根据新增统计数据和历史统计数据,确定目标数据的统计总数据,本方案只需按照选定的周期(例如:每日)在将历史数据离线统计一次并将周期内新增的数据与历史统计数据结合即可得到周期内的统计总数据,相比实时计算方案,大大减小了计算量。

【技术实现步骤摘要】

本申请涉及大数据统计,具体而言,涉及一种数据统计方法和装置及其数据统计获取方法和装置


技术介绍

1、在日常工作中,数据统计是工作中重要的一部分,例如互联网项目并发与数据量都非常大,很多业务都需要实时统计数据,比如活动参与情况、优惠使用情况,且需保证数据无误差地及时更新。

2、目前的数据统计方式一般使用实时统计中间件(例如flink实时统计中间件等)进行数据统计,但采用实时统计中间件进行数据统计的方案需要实时统计数据,存在着计算资源耗费高,即成本高的情况。


技术实现思路

1、本申请实施例的目的在于提供一种数据统计方法和装置及其数据统计获取方法和装置,用以解决目前采用统计中间件进行数据统计的方案需要实时统计数据,存在的计算资源耗费高、成本高的问题。

2、第一方面,本专利技术提供一种数据统计方法,该方法包括:通过大数据计算系统根据目标统计条件对目标数据的历史数据进行离线统计计算,获得历史统计数据;判断目标数据是否新增数据内容;若判定目标数据新增数据内容,根据目标统计条件对目标数据新增的数据本文档来自技高网...

【技术保护点】

1.一种数据统计方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,其中,所述目标数据的历史数据存储于数据库管理系统中;在所述通过大数据计算系统按照目标统计条件对目标数据的历史数据进行离线统计计算,获得历史统计数据之前,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述判断目标数据是否新增数据内容,包括:

4.根据权利要求1所述的方法,其特征在于,其中,所述新增统计数据通过新增结构字段存储于数据库中,所述新增结构字段包括新增统计数量字段和新增时间字段;

5.根据权利要求4所述的方法,其特征在于,在所述判...

【技术特征摘要】

1.一种数据统计方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,其中,所述目标数据的历史数据存储于数据库管理系统中;在所述通过大数据计算系统按照目标统计条件对目标数据的历史数据进行离线统计计算,获得历史统计数据之前,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述判断目标数据是否新增数据内容,包括:

4.根据权利要求1所述的方法,其特征在于,其中,所述新增统计数据通过新增结构字段存储于数据库中,所述新增结构字段包括新增统计数量字段和新增时间字段;

5.根据权利要求4所述的方法,其特征在于,在所述判断所述数据库中的新增时间字段与目...

【专利技术属性】
技术研发人员:常建龙荣亚明仓超
申请(专利权)人:南京研利科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1