数据统计方法、装置、设备、存储介质及程序产品制造方法及图纸

技术编号:34096723 阅读:22 留言:0更新日期:2022-07-11 22:29
本申请实施例公开了一种数据统计方法、装置、设备、存储介质及程序产品,涉及数据处理技术领域。所述方法包括:获取数据库的日志文件,对日志文件进行解析,获取统计配置信息,基于统计配置信息将目标数据结合第一存储空间中已存储的历史统计数据,得到目标统计数据,将目标统计数据更新存储至第一存储空间中,第一存储空间用于存储供查询的统计数据。通过解析数据库的日志文件直接获取目标数据,将目标数据按照统计配置信息进行统计,并将统计结果预先存储起来,可以实现只对有查询需求的数据进行统计,节省了计算机的存储资源,提高了查询的效率,并且通过预先存储统计结果的方式降低了查询延迟。了查询延迟。了查询延迟。

【技术实现步骤摘要】
数据统计方法、装置、设备、存储介质及程序产品


[0001]本申请实施例涉及数据处理
,特别涉及一种数据统计方法、装置、设备、存储介质及程序产品。

技术介绍

[0002]在直播场景中,基于对象行为每时每刻都会产生大量的数据,相应的,也就产生了对这些数据的统计查询需求。
[0003]相关技术中,会将实时产生的流水数据存储在数据库中,当服务器接收到业务方的查询请求时,会按照查询请求拼接出数据库查询语言,然后根据拼接好的数据库查询语言请求数据库进行查询,最后将查询得到的统计结果反馈给业务方。
[0004]然而,上述方法在数据量比较大且需要频繁查询的时候对数据库的性能损耗大,且查询响应时间长,无法满足对海量数据的查询需求。

技术实现思路

[0005]本申请实施例提供了一种数据统计方法、装置、设备、存储介质及程序产品。所述技术方案如下:
[0006]根据本申请实施例的一个方面,提供了一种数据统计方法,所述方法包括:
[0007]获取数据库的日志文件,所述日志文件用于对所述数据库的数据更新进行记录;...

【技术保护点】

【技术特征摘要】
1.一种数据统计方法,其特征在于,所述方法包括:获取数据库的日志文件,所述日志文件用于对所述数据库的数据更新进行记录;对所述日志文件进行解析,获取所述日志文件中的目标数据,所述目标数据为所述日志文件中存在更新的数据;获取统计配置信息,所述统计配置信息是预先设定的数据统计方案;基于所述统计配置信息将所述目标数据结合第一存储空间中已存储的历史统计数据,得到目标统计数据;将所述目标统计数据更新存储至所述第一存储空间中,所述第一存储空间用于存储供查询的统计数据。2.根据权利要求1所述的方法,其特征在于,所述获取统计配置信息,包括:将所述目标数据与所述第一存储空间的所述历史统计数据进行匹配;响应于所述目标数据与所述历史统计数据匹配失败,获取所述统计配置信息。3.根据权利要求2所述的方法,其特征在于,所述目标数据对应有第一对象标识和第一统计项信息,所述历史统计数据对应有第二对象标识和第二统计项信息;所述将所述目标数据与所述第一存储空间的所述历史统计数据进行匹配,包括:将所述第一对象标识与所述第二对象标识匹配;将所述第一统计项信息与所述第二统计项信息匹配;所述响应于所述目标数据与所述历史统计数据匹配失败,获取所述统计配置信息,包括:响应于所述第一对象标识与所述第二对象标识匹配失败;或者,所述第一统计项信息与所述第二统计项信息匹配失败,获取所述统计配置信息。4.根据权利要求2所述的方法,其特征在于,所述历史统计数据对应有状态信息,所述状态信息用于指示所述历史统计数据的有效性;所述响应于所述目标数据与所述历史统计数据匹配失败,获取所述统计配置信息,包括:响应于所述历史统计数据对应的状态信息用于指示所述历史统计数据失效,获取所述统计配置信息。5.根据权利要求2至4任一所述的方法,其特征在于,所述方法还包括:响应于所述目标数据与所述历史统计数据匹配成功,将所述目标数据以指定结合方式与所述历史统计数据进行结合,得到所述目标统计数据。6.根据权利要求1至4任一所述的方法,其特征在于,所述历史统计数据中包括与至少一个历史统计子数据对应的至少一个历史统计数据节点,所述历史统计数据节点对应有节点等级;所述方法还包括:获取处于第i个节点等级的第一历史统计子数据;获取处于第i+1个节点等级的第二历史统计子数据,所述第i个节点等级高于所述第i+1个节点等级;i为大于1的正整数;按照预设周期,将第i个节点等级的所述第一历史统计子数据更新为所述第i

1个节点等级,将第i+1个节点等级的所述第二历史统计子数据更新为所述第i个节点等级。7.根据权利要求1至4任...

【专利技术属性】
技术研发人员:黎丙成
申请(专利权)人:百果园技术新加坡有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1