业务数据的处理方法及装置、计算机存储介质制造方法及图纸

技术编号:29222828 阅读:15 留言:0更新日期:2021-07-10 01:04
本申请提供了一种业务数据的处理方法及装置、计算机存储介质,所述业务数据的处理方法,包括:获取业务系统产生的业务数据;基于创建的数据模型,分别在多个数据维度组合下对所述业务数据进行统计计算,得到每个所述数据维度组合对应的统计结果集合;其中,所述数据模型中定义有多个数据维度;每一个所述数据维度组合均由至少一个所述数据维度组成;将每个所述数据维度组合对应的统计结果集合存储至数据库中;其中,所述统计结果集合中包含的统计结果用于在接收到查询请求时,生成与所述查询请求对应的查询结果。从而通过对业务数据的预计算,不仅减少了业务数据的数据量,而且还免除或减少了数据查询时的计算,有效地提高了数据的查询效率。据的查询效率。据的查询效率。

【技术实现步骤摘要】
业务数据的处理方法及装置、计算机存储介质


[0001]本申请涉及数据处理
,特别涉及一种业务数据的处理方法及装置、计算机存储介质。

技术介绍

[0002]各个公司随着业务的不断发展,数据量也越来越多,同时对数据深度挖掘的需求也在增加,数据的关联关系也愈加复杂,因此目前数据查询主要针对的是对处理后得到的数据的复杂查询,例如,报表的查询。
[0003]在处理复杂查询请求时,首先从数据库中查询出各个基础的业务数据,然后再对各个业务数据根据查询请求进行计算,得到所请求的处理后的数据,并进行反馈。
[0004]但是由于业务数据的数据量较大,并且业务数据相对零散且更新频率高,在处理复杂请求时,查询出各个相关的业务数据以及对业务数据的处理所耗费较长时间,因此数据查询效率相对较低。

技术实现思路

[0005]基于上述现有技术的不足,本申请提供了一种业务数据的处理方法及装置、计算机存储介质,以解决现有技术的数据查询效率较低的问题。
[0006]为了实现上述目的,本申请提供了以下技术方案:
[0007]本申请第一方面提供了一种业务数据的处理方法,包括:
[0008]获取业务系统产生的业务数据;
[0009]基于创建的数据模型,分别在多个数据维度组合下对所述业务数据进行统计计算,得到每个所述数据维度组合对应的统计结果集合;其中,所述数据模型中定义有多个数据维度;每一个所述数据维度组合均由至少一个所述数据维度组成;
[0010]将每个所述数据维度组合对应的统计结果集合存储至数据库中;其中,所述统计结果集合中包含的统计结果用于在接收到查询请求时,生成与所述查询请求对应的查询结果。
[0011]可选地,在上述的业务数据的处理方法中,所述基于创建的数据模型,分别在多个数据维度组合下对所述业务数据进行统计计算,得到每个所述数据维度组合对应的统计结果集合,包括:
[0012]基于创建的所述数据模型,创建一张宽表;其中,所述宽表中包括所述多个数据维度以及所述业务数据;
[0013]对所述宽表中的所述多个数据维度进行去重;
[0014]在基础数据维度组合下,对所述宽表中的所述业务数据进行统计,得到最低级的数据矩形对应的统计结果集合;其中,所述基础数据维度组合指代所有所述数据维度组成的数据维度组合;一个所述数据矩形对应一个所述数据维度组合;
[0015]依次基于下一级的数据矩形对应的统计结果集合,计算得到上一级的数据矩形对
应的统计结果集合;其中,下一级的数据矩形对应的数据维度组合的数据维度的数量,比上一级数据矩形对应的数据维度组合的数据维度的数量多。
[0016]可选地,在上述的业务数据的处理方法中,所述将每个所述数据维度组合对应的统计结果集合存储至数据库中,包括:
[0017]确定每个所述数据矩形的ID;所述数据矩形的ID为二进制编码,并且所述数据矩形的ID与每个所述数据维度相关;
[0018]分别针对每个所述数据矩形,将所述数据矩形的标ID分别与所述数据矩形对应的统计结果集合中各个统计结果对应的词典编码组合,得到每个所述统计结果对应的键;其中,所述统计结果对应的词典编码指代其所属的各个所述数据维度下的类别的词典编码;
[0019]分别将每个所述统计结果作为值,与其对应的键组合为键值对,并存储至数据库中。
[0020]可选地,在上述的业务数据的处理方法中,所述获取业务系统产生的业务数据之后,还包括:
[0021]将所述业务数据存储至过渡数据库中;
[0022]定时导出所述过渡数据库中全量的所述业务数据的SCV文件,并将所述SCV文件导入数据仓库中。
[0023]可选地,在上述的业务数据的处理方法中,所述将每个所述数据维度组合对应的统计结果集合存储至数据库中之后,还包括:
[0024]当接收到报表系统发送的查询请求时,从所述数据库中查询出相关的统计结果;其中,所述报表系统通过提供的数据库连接直接发送所述查询请求;
[0025]利用所述统计结果生成所述查询请求所请求的目标数据,并将所述目标数据作为查询结果反馈给所述报表系统进行处理并展示。
[0026]本申请第二方面提供了一种业务数据的处理装置,包括:
[0027]获取单元,用于获取业务系统产生的业务数据;
[0028]计算单元,用于基于创建的数据模型,分别在多个数据维度组合下对所述业务数据进行统计计算,得到每个所述数据维度组合对应的统计结果集合;其中,所述数据模型中定义有多个数据维度;每一个所述数据维度组合均由至少一个所述数据维度组成;
[0029]第一存储单元,用于将每个所述数据维度组合对应的统计结果集合存储至数据库中;其中,所述统计结果集合中包含的统计结果用于在接收到查询请求时,生成与所述查询请求对应的查询结果。
[0030]可选地,在上述的业务数据的处理装置中,所述计算单元,包括:
[0031]创建单元,用于基于创建的所述数据模型,创建一张宽表;其中,所述宽表中包括所述多个数据维度以及所述业务数据;
[0032]去重单元,用于对所述宽表中的所述多个数据维度进行去重;
[0033]第一计算单元,用于在基础数据维度组合下,对所述宽表中的所述业务数据进行统计,得到最低级的数据矩形对应的统计结果集合;其中,所述基础数据维度组合指代所有所述数据维度组成的数据维度组合;一个所述数据矩形对应一个所述数据维度组合;
[0034]第二计算单元,用于依次基于下一级的数据矩形对应的统计结果集合,计算得到上一级的数据矩形对应的统计结果集合;其中,下一级的数据矩形对应的数据维度组合的
数据维度的数量,比上一级数据矩形对应的数据维度组合的数据维度的数量多1。
[0035]可选地,在上述的业务数据的处理装置中,所述第一存储单元,包括:
[0036]确定单元,用于确定每个所述数据矩形的ID;所述数据矩形的ID为二进制编码,并且所述数据矩形的ID与每个所述数据维度相关;
[0037]组合单元,用于分别针对每个所述数据矩形,将所述数据矩形的ID分别与所述数据矩形对应的统计结果集合中各个统计结果对应的词典编码组合,得到每个所述统计结果对应的键;其中,所述统计结果对应的词典编码指代其所属的各个所述数据维度下的类别的词典编码;
[0038]第一存储子单元,用于分别将每个所述统计结果作为值,与其对应的键组合为键值对,并存储至数据库中。
[0039]可选地,在上述的业务数据的处理装置中,还包括:
[0040]第二存储单元,用于将所述业务数据存储至过渡数据库中;
[0041]数据传输单元,用于定时导出所述过渡数据库中全量的所述业务数据的SCV文件,并所述SCV文件导入数据仓库中,覆盖所述数据仓库中的数据。
[0042]可选地,在上述的业务数据的处理装置中,还包括:
[0043]查询单元,用于当接收到报表系统发送的查询请求时,从本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种业务数据的处理方法,其特征在于,包括:获取业务系统产生的业务数据;基于创建的数据模型,分别在多个数据维度组合下对所述业务数据进行统计计算,得到每个所述数据维度组合对应的统计结果集合;其中,所述数据模型中定义有多个数据维度;每一个所述数据维度组合均由至少一个所述数据维度组成;将每个所述数据维度组合对应的统计结果集合存储至数据库中;其中,所述统计结果集合用于在接收到查询请求时,生成与所述查询请求对应的查询结果。2.根据权利要求1所述的方法,其特征在于,所述基于创建的数据模型,分别在多个数据维度组合下对所述业务数据进行统计计算,得到每个所述数据维度组合对应的统计结果集合,包括:基于创建的所述数据模型,创建一张宽表;其中,所述宽表中包括所述多个数据维度以及所述业务数据;对所述宽表中的所述多个数据维度进行去重;在基础数据维度组合下,对所述宽表中的所述业务数据进行统计,得到最低级的数据矩形对应的统计结果集合;其中,所述基础数据维度组合指代所有所述数据维度组成的数据维度组合;一个所述数据矩形对应一个所述数据维度组合;依次基于下一级的数据矩形对应的统计结果集合,计算得到上一级的数据矩形对应的统计结果集合;其中,下一级的数据矩形对应的数据维度组合的数据维度的数量,比上一级的数据矩形对应的数据维度组合的数据维度的数量多。3.根据权利要求2所述的方法,其特征在于,所述将每个所述数据维度组合对应的统计结果集合存储至数据库中,包括:确定每个所述数据矩形的ID;其中,所述数据矩形的ID为二进制编码,并且所述数据矩形的ID与每个所述数据维度相关;分别针对每个所述数据矩形,将所述数据矩形的ID分别与所述数据矩形对应的统计结果集合中各个统计结果对应的词典编码组合,得到每个所述统计结果对应的键;其中,所述统计结果对应的词典编码指代其所属的各个所述数据维度下的类别的词典编码;分别将每个所述统计结果作为值,与其对应的键组合为键值对,并存储至数据库中。4.根据权利要求1所述的方法,其特征在于,所述获取业务系统产生的业务数据之后,还包括:将所述业务数据存储至过渡数据库中;定时导出所述过渡数据库中全量的所述业务数据的SCV文件,并将所述SCV文件导入数据仓库中。5.根据权利要求1所述的方法,其特征在于,所述将每个所述数据维度组合对应的统计结果集合存储至数据库中之后,还包括:当接收到报表系统发送的查询请求时,从所述数据库中查询出相关的统计结果;其中,所述报表系统通过数据库连接直接发送所述查询请求;利用所述统计结果生成所述查询请求所请求的目标数...

【专利技术属性】
技术研发人员:高亚斌陈昕刘剑李海茹张竞一
申请(专利权)人:国网电商科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1