一种基于Kylin逐层算法的Cube存储优化方法技术

本发明专利技术公开一种基于Kylin逐层算法的Cube存储优化方法，Cube模型设计时通过指定跳跃层数，在预计算时据此进行层级裁剪，当跳跃层数N时，预计算cuboid数量约降为原来的1/(N+1)，大幅降低预计算结果数据量，实现存储空间优化。Cube构建时通过层级裁剪策略过滤无需预计算的cuboid，降低预计算cuboid数量，并利用逐层算法低维可从高维获取的特性，提升预计算速度。多维分析查询时，采用最近层级依赖原则，选择与当前查询语句涉及的模型中相应的cuboid最贴近且维度更高的cuboid进行二次计算，提升查询性能，满足业务多维分析的要求。本发明专利技术通过合理的减少预计算的cuboid，降低预计算结果所占用的存储空间。

【技术实现步骤摘要】

本专利技术涉及云计算与大数据，尤其涉及一种基于kylin逐层算法的cube存储优化方法。

技术介绍

1、kylin是一种开源的olap引擎，工作原理是事先对数据模型做cube预计算并将结果保存起来，利用预计算的结果来加速多维查询。cube是数据立方体，是由多个维度数据构建出来的多维空间，包含了所有要分析的基础数据，所有的聚合数据操作都在立方体上进行。一个cube包含多个cuboid，cuboid是由cube的部分到全部维度随机组合形成的子集，每种组合称为一个cuboid。一个n维的cube，是由1个n维子cuboid、n个(n-1)维子cuboid、n*(n-1)/2个(n-2)维子cuboid、……、n个1维子cuboid和1个0维子cuboid构成的，总共有2n个子cuboid组成，kylin在cube构建过程中，会对2n-1个子cuboid(除0维的cuboid)进行预计算并将结果存储起来。多维数据分析时，kylin查询引擎解析查询sql语句中的表、维度、指标，判断是否有配置对应的cube模型，有则从预计算的结果中快速读取数据并返回结果给应用，没有则本文档来自技高网...

【技术保护点】

1.一种基于Kylin逐层算法的Cube存储优化方法，其特征在于：其包括以下步骤：

2.根据权利要求1所述的一种基于Kylin逐层算法的Cube存储优化方法，其特征在于：步骤1具体包括以下步骤：

3.根据权利要求2所述的一种基于Kylin逐层算法的Cube存储优化方法，其特征在于：步骤1-3中涉及分区表时，设置日期分区字段以便进行Cube增量构建。

4.根据权利要求1所述的一种基于Kylin逐层算法的Cube存储优化方法，其特征在于：步骤2具体包括以下步骤：

5.根据权利要求4所述的一种基于Kylin逐层算法的Cube存储优化方法，其特征在...

【技术特征摘要】

1.一种基于kylin逐层算法的cube存储优化方法，其特征在于：其包括以下步骤：

2.根据权利要求1所述的一种基于kylin逐层算法的cube存储优化方法，其特征在于：步骤1具体包括以下步骤：

3.根据权利要求2所述的一种基于kylin逐层算法的cube存储优化方法，其特征在于：步骤1-3中涉及分区表时，设置日期分区字段以便进行cube增量构建。

4...

【专利技术属性】
技术研发人员：童凤娇，王升，幸仕洋，李宏，林泽杰，
申请(专利权)人：中电福富信息科技有限公司，
类型：发明
国别省市：