Cube立方体的增量式构建方法、构建装置和构建系统制造方法及图纸

本申请提供了一种Cube立方体的增量式构建方法、构建装置和构建系统，该方法包括：获取目标起始时间、目标终止时间以及数据库中的Cube分片的起始时间和终止时间；确定第一目标Cube分片的起始时间是否满足第一预设条件，确定第一目标Cube分片的终止时间是否满足第二预设条件，第一目标Cube分片为Cube分片中的任意一个；在第一目标Cube分片的起始时间满足第一预设条件且第一目标Cube分片的终止时间满足第二预设条件的情况下，在数据库中将第一目标Cube分片删除，并按照第一目标Cube分片的起始时间和终止时间构建第二目标Cube分片，以存储待存储数据集。该方法解决了现有技术中无法重新构建已被合并的Cube片段的问题。重新构建已被合并的Cube片段的问题。重新构建已被合并的Cube片段的问题。

【技术实现步骤摘要】
Cube立方体的增量式构建方法、构建装置和构建系统


[0001]本申请涉及多维数据分析领域，具体而言，涉及一种Cube立方体的增量式构建方法、构建装置、计算机可读存储介质和构建系统。

技术介绍

[0002]在大数据分析领域，基于Kylin分析型数据仓库构建Cube是一种常用的解决方案。Kylin针对按自然周期分区存储和增长的星型模型/雪花模型数据集，提供了按相应自然周期构建CubeSegment的方法，称为增量式构建Cube。同时，Kylin会合并一些连续的CubeSegment以提高存储效率、减少跨片查询。然而，这种方式有以下两个缺点：
[0003]增量构建和自然周期有关，但合并和自然周期无关，合并只和个数有关，导致合并的一些CubeSegment不规整，部分场景反而增加了跨片查询。例如，按天增量构建Cube，可能出现本月靠前的某些天级别CubeSegment被合并进了上个月中，对本月进行分析查询时则会出现跨CubeSegment查询情况。
[0004]当需要重新构建某自然周期的CubeSegment，而其已被合并时，则直接报本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Cube立方体的增量式构建方法，所述Cube立方体为数据库中用于存储数据的数据结构，所述Cube立方体包括多个Cube分片，所述Cube分片的边界用起始时间和终止时间标记，一个所述Cube分片用于存储一个时间区间的数据集，其特征在于，所述方法包括：获取目标起始时间、目标终止时间以及所述数据库中的所述Cube分片的所述起始时间和所述终止时间，所述目标起始时间为待存储数据集对应的所述时间区间的起点，所述目标终止时间为所述待存储数据集对应的所述时间区间的终点；确定第一目标Cube分片的所述起始时间是否满足第一预设条件，确定所述第一目标Cube分片的所述终止时间是否满足第二预设条件，所述第一预设条件为所述第一目标Cube分片的所述起始时间小于或者等于所述目标起始时间，所述第二预设条件为所述第一目标Cube分片的所述终止时间大于或者等于所述目标终止时间，所述第一目标Cube分片为所述Cube分片中的任意一个；在所述第一目标Cube分片的所述起始时间满足第一预设条件且所述第一目标Cube分片的所述终止时间满足第二预设条件的情况下，在所述数据库中将所述第一目标Cube分片删除，并按照所述第一目标Cube分片的所述起始时间和所述终止时间构建第二目标Cube分片，以存储所述待存储数据集。2.根据权利要求1所述的构建方法，其特征在于，在所述数据库中将所述第一目标Cube分片删除，并按照所述第一目标Cube分片的所述起始时间和所述终止时间构建第二目标Cube分片，以存储所述待存储数据集之后，所述方法还包括：获取所述数据库中所述Cube分片的所述起始时间和所述终止时间；第一获取步骤，从第三目标Cube分片的所述起始时间和所述终止时间中，获取第一目标时间和第二目标时间，所述第三目标Cube分片为所述Cube分片中的任意一个，所述第一目标时间为所述第三目标Cube分片的所述起始时间对应的月，所述第二目标时间为所述第三目标Cube分片的所述终止时间对应的月；第一确定步骤，在所述第一目标时间与所述第二目标时间不相同的情况下，确定所述第三目标Cube分片需要被拆分；第二确定步骤，在所述第一目标时间与所述第二目标时间相同的情况下，确定所述第三目标Cube分片不需要被拆分；依次执行所述第一获取步骤、所述第一确定步骤和所述第二确定步骤至少一次，直至完成所有述Cube分片的确定工作，得到多个需要被拆分的所述Cube分片和多个不需要被拆分的所述Cube分片。3.根据权利要求2所述的构建方法，其特征在于，在依次执行所述第一获取步骤、所述第一确定步骤和所述第二确定步骤至少一次，直至完成所有述Cube分片的确定工作，得到多个需要被拆分的所述Cube分片和多个不需要被拆分的所述Cube分片之后，所述方法还包括：在不需要被拆分的所述Cube分片中，确定多个Cube分片集合，一个所述Cube分片集合包括所述起始时间对应的月相同的所述Cube分片；第二获取步骤，获取目标Cube分片集合，所述目标Cube分片集合为所述Cube分片集合中的任意一个；排序步骤，按照所述Cube分片的所述起始时间对应的日从小到大的顺序对所述目标
Cube分片集合中的所述Cube分片进行排序；第三确定步骤，根据排序后的所述目标Cube分片集合中的所述Cube分片的所述起始时间和所述终止时间，确定多组待合并的所述Cube分片，每组待合并的所述Cube分片中任意相邻两个所述Cube分片中前一个所述Cube分片的所述终止时间与后一个所述Cube分片的所述起始时间相同；依次执行所述第二获取步骤、所述排序步骤和所述第三确定步骤至少一次，直至完成所有所述Cube分片集合的确定工作，得到多组待合并的所述Cube分片；将每组待合并的所述Cube分片中的所有的所述Cube分片进行合并，得到合并Cube分片并存储到所述数据库中，一组待合并的所述Cube分片与一个所述合并Cube分片对应。4.根据权利要求2所述的构建方法，其特征在于，在依次执行所述第一获取步骤、所述第一确定步骤和所述第二确定步骤至少一次，直至完成所有述Cube分片的确定工作，得到多个需要被拆分的所述Cube分片和多个不需要被拆分的所述Cube分片之后，所述方法还包括：第三获取步骤，获取第三目标时间、第四目标时间、第五目标时间和第六目标时间，所述第三目标时间为第四目标Cube分片的所述起始时间对应的月，所述第四目标时间为...

【专利技术属性】
技术研发人员：江林刚，肖阳阳，祖李军，刘伟煜，王磊，
申请(专利权)人：中国邮政储蓄银行股份有限公司，
类型：发明
国别省市：