一种可任意扩展维度的数据指标存储方法、系统及装置制造方法及图纸

技术编号:28373579 阅读:20 留言:0更新日期:2021-05-08 00:00
本发明专利技术提供一种可任意扩展维度的数据指标存储方法、系统及装置。该方法包括:根据不同的业务需求,通过处理业务数据获得相应的数据指标,并查询数据表以构建所述数据指标的指标ID;基于所述指标ID调用数据指标的存储表,通过在所述数据指标的存储表中增加数据行的方式扩展数据指标维度,以按照相应的字段存储所述数据指标。本方案实现通过增加数据行任意进行维度的扩展,维度之间能够自由进行组合,并且每一行数据都能够通过标识的不同指标ID进行解读;对于同一度量不同维度下的指标,能够对数据指标存储方便、扩展简单、容易调用且保证指标的统一性。

【技术实现步骤摘要】
一种可任意扩展维度的数据指标存储方法、系统及装置
本专利技术涉及数据指标存储
,尤其涉及一种可任意扩展维度的数据指标存储方法、系统及装置。
技术介绍
在当前大数据背景下,各种业务场景都会将大量业务数据提炼为业务数据指标;指标由度量和维度构成,度量即“被聚合的统计值,也就是聚合运算的结果,通常是连续值,如:订单量等,而维度即“观察数据的角度,通常是一组离散值,如:城市、日期等”。在同一度量的前提下,维度的组合可以多至无穷无尽。在现有的数据指标存储方式上,通常的数据指标存储使用二维表的方式,在列上添加指标字段并在对应位置上放置指标值;该种存储方式易导致数据表的结构非常不固定,每次新增指标都需修改表结构,扩展时非常繁琐,且随着指标的增多表的字段结构也将无限扩展,并且这些数据指标的计算逻辑,不论难易,都非常难以实现统一,在保证数据指标统一性的要求时需要花更多时间和资源去计算、存储访问才便于使用。如图1所示,以维度日期第一例,后面的列为数据指标:指标1、指标2、指标3……指标N,N为大于等于1的整数,表示多个不同的指标,不同日期不同指标有对应的指标值,一旦增加新指标则需要增加表的列即增多字段结构,需要无限扩展变化,表结构不固定,每次增加新数据指标都要修改整个结构。这样将数据指标转换成二维表中的存储形式的运算(维度和度量的计算)、写入数据(存储)、以及读取数据(检索、访问),都相对复杂、数据处理效率、存储访问效率都较低,可任意扩展的灵活度小,随着数据增加尤其是面对大数据、海量数据的数据处理,存储访问复杂、效率降低,且存储访问过程花费的运算资源和消耗也会增加(即运算成本高、计算机处理资源消耗过多、时间过长)。因而,需要提供的改进的数据指标存储方法,对于同一度量不同维度下的指标,能够对数据指标存储方便、扩展简单、容易调用且保证指标的统一性,从而降低数据处理和访问存储的资源消耗、提高处理存储访问效率,进而降低运算成本提升效率。
技术实现思路
为了克服上述缺陷,提出了本专利技术,以解决或至少部分地解决如何基于同度量不同维度的数据指标关系,通过增加数据行实现维度之间自由组合以及任意维度扩展,以简化不同计算逻辑的数据指标的处理、存储和访问过程从而提升整个数据处理及存储访问效率的技术问题。本专利技术为解决上述技术问题提供了一种可任意扩展维度的数据指标存储方法、系统及装置。第一方面,提供一种可任意扩展维度的数据指标存储方法,,包括:根据不同的业务需求,通过处理业务数据获得相应的数据指标,并查询数据表以构建所述数据指标的指标ID;基于所述指标ID调用数据指标的存储表,通过在所述数据指标的存储表中增加数据行的方式扩展数据指标维度,以按照相应的字段存储所述数据指标。其中,“根据不同的业务需求,通过处理业务数据获得相应的数据指标”,具体包括:对业务数据进行拆分确定主要数据信息;从主要数据信息中经预先设定的逻辑,确定一个度量以及所述度量下的一个或多个维度,形成相应的数据指标;其中,预先设定的逻辑是从主要数据信息中找到一个度量的数据信息、并以所述度量为基础从主要数据信息中找到所述度量下的所有维度的数据信息。其中,所述数据指标的存储表包括:预先设定的能够存储数据指标的具有一个或多个固定列字段结构的存储表;所述数据表包括:预先设定的可查询的同一个度量下的一个或多个维度的数据表;“查询数据表以构建所述数据指标的指标ID”,具体包括:获得的所述数据指标依据自身的度量和/或维度,调用并查询一个或多个所述数据表;根据查询结果以及所述存储表的列字段的结构,构建对应所述数据指标的指标ID。其中,所述存储表的列字段至少包括:指标ID、维度编码解释、指标值以及指标值单位;所述指标ID包括:母指标ID、维度组合编码ID、以及维度取值编码ID的拼接;所述母指标ID为指标ID的首位;通过所述维度组合编码ID和维度取值编码ID确定不同维度的组合含义。其中,所述数据指标的存储表中,将最常用的一个或多个维度提炼作为固定的列字段。其中,所述维度组合编码ID,包括:以所述母指标需要使用的所有维度个数为长度的一个二进制序列,其中,在已经选择使用的维度的对应位置上填1,其余未选择使用的维度的位置上填0;所述维度取值编码ID,包括:同一个所述母指标下具有与所述维度组合编码ID的位数相同且一一对应的数字序列,在选择使用的维度对应位置上填充选取的维度值。其中,还包括:所述数据表包括一个或多个映射表;每个所述映射表至少包括:维度ID、维度值、母指标ID、母指标中的两个或两个以上信息形成的映射关系;查询所述数据表以获取对应的构建所述指标ID的维度ID、维度值以及母指标ID。其中,查询所述数据表具体还包括:调用与母指标ID和维度ID信息有关的映射表进行查询以获得所述维度组合编码ID;调用与维度ID和维度值有关的映射表进行查询以获得所述维度取值编码ID。其中,“基于所述指标ID调用数据指标的存储表,通过在所述数据指标的存储表中增加数据行的方式扩展数据指标维度,以按照相应的字段存储所述数据指标”,具体包括:基于构建的所述指标ID,调用所述数据指标的存储表,将所述指标ID以及所述数据指标中相应于所述数据指标的存储表的各个列字段的信息一一对应存储,以增加所述数据指标的数据行的方式实现所述数据指标的存储。其中,还包括:根据数据指标的指标ID,调用并查询所述数据表和所述存储表实现存储数据的访问。其中,根据数据指标的指标ID,调用并查询所述数据表和所述存储表实现存储数据的访问,具体包括:基于所述指标ID中的母指标ID、维度组合编码ID、维度取值编码ID,调用并查询与数据指标的维度、母指标相关的所述数据表以及所述存储表,并获得对应的数据信息。第二方面,提供一种可任意扩展维度的数据指标存储系统,包括:构建单元,其用于根据不同的业务需求,通过处理业务数据获得相应的数据指标,并查询数据表以构建所述数据指标的指标ID;扩展单元,其用于基于所述指标ID调用数据指标的存储表,通过在所述数据指标的存储表中增加数据行的方式扩展数据指标维度,以按照相应的字段存储所述数据指标。其中,构建单元执行的具体操作包括:对业务数据进行拆分确定主要数据信息;从主要数据信息中经预先设定的逻辑,确定一个度量以及所述度量下的一个或多个维度,形成相应的数据指标;其中,预先设定的逻辑是从主要数据信息中找到一个度量的数据信息、并以所述度量为基础从主要数据信息中找到所述度量下的所有维度的数据信息。其中,所述数据指标的存储表包括:预先设定的能够存储数据指标的具有一个或多个固定列字段结构的存储表;所述数据表包括:预先设定的可查询的同一个度量下的一个或多个维度的数据表;“查询数据表以构建所述数据指标的指标ID”,具体包括:获得的所述数据指标依据自本文档来自技高网
...

【技术保护点】
1.一种可任意扩展维度的数据指标存储方法,其特征在于,包括:/n根据不同的业务需求,通过处理业务数据获得相应的数据指标,并查询数据表以构建所述数据指标的指标ID;/n基于所述指标ID调用数据指标的存储表,通过在所述数据指标的存储表中增加数据行的方式扩展数据指标维度,以按照相应的字段存储所述数据指标。/n

【技术特征摘要】
1.一种可任意扩展维度的数据指标存储方法,其特征在于,包括:
根据不同的业务需求,通过处理业务数据获得相应的数据指标,并查询数据表以构建所述数据指标的指标ID;
基于所述指标ID调用数据指标的存储表,通过在所述数据指标的存储表中增加数据行的方式扩展数据指标维度,以按照相应的字段存储所述数据指标。


2.根据权利要求1所述的方法,其中,“根据不同的业务需求,通过处理业务数据获得相应的数据指标”,具体包括:
对业务数据进行拆分确定主要数据信息;
从主要数据信息中经预先设定的逻辑,确定一个度量以及所述度量下的一个或多个维度,形成相应的数据指标;
其中,预先设定的逻辑是从主要数据信息中找到一个度量的数据信息、并以所述度量为基础从主要数据信息中找到所述度量下的所有维度的数据信息。


3.根据权利要求1或2所述的方法,其中,
所述数据指标的存储表包括:预先设定的能够存储数据指标的具有一个或多个固定列字段结构的存储表;
所述数据表包括:预先设定的可查询的同一个度量下的一个或多个维度的数据表;
“查询数据表以构建所述数据指标的指标ID”,具体包括:
获得的所述数据指标依据自身的度量和/或维度,调用并查询一个或多个所述数据表;
根据查询结果以及所述存储表的列字段的结构,构建对应所述数据指标的指标ID。


4.根据权利要求3所述的方法,其中,
所述存储表的列字段至少包括:指标ID、维度编码解释、指标值以及指标值单位;
所述指标ID包括:母指标ID、维度组合编码ID、以及维度取值编码ID的拼接;
所述母指标ID为指标ID的首位;
通过所述维度组合编码ID和维度取值编码ID确定不同维度的组合含义。


5.根据权利要求4所述的方法,...

【专利技术属性】
技术研发人员:张雯洁赵梦娜吴毅成
申请(专利权)人:蔚来汽车科技安徽有限公司
类型:发明
国别省市:安徽;34

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1