一种多维数据处理方法、装置及设备、存储介质制造方法及图纸

本发明专利技术提供一种多维数据处理方法、装置及设备、存储介质，该方法包括：确定读取的多维数据所属的数据层级，并依据所述数据层级对所述多维数据进行聚合得到属于对应数据层级的cube数据；将所述cube数据存入本地的目标层级缓存区中，所述目标层级缓存区是本地的与cube数据所属的数据层级对应的层级缓存区；判断所述目标层级缓存区中所述缓存的数据量是否达到指定阈值，若是，则将所述目标层级缓存区中缓存的数据转存至目标数据库的与所述数据层级对应的层级数据库表中。避免因多维数据的无差别聚合及存储而导致的查询cube数据时数据量大的问题，有利于提升查询效率。

A multidimensional data processing method, device, equipment and storage medium

【技术实现步骤摘要】
一种多维数据处理方法、装置及设备、存储介质
本专利技术涉及大数据处理
，尤其涉及的是一种多维数据处理方法、装置及设备、存储介质。
技术介绍
大数据处理包括多维数据处理。数据立方(DataCube)是针对大数据例如多维数据的处理利器，可以实现cube数据的任意多关键字实时索引。将多维数据聚合统计为数据立方数据(简称cube数据)后，可以从多个角度探索和分析cube数据集，由于已经针对多个维度数据聚合得到cube数据，可以直接从cube数据集中查询得到所需结果，而不用再对多维数据实时地计算，可以大大加快数据的查询和检索效率。相关多维数据处理方式中，对从数据源获取的各个多维数据以统一的聚合处理方式聚合处理后，聚合得到cube数据都存储至数据库的同一个数据库表中。上述多维数据处理方式中，由于聚合及存储方式的一致性，当需要查询感兴趣的cube数据时，需要遍历所有已存储的cube数据，导致查询数据量大，查询效率低。
技术实现思路
有鉴于此，本专利技术提供一种多维数据处理方法、装置及设备、存储介质，避免因聚合及存储方本文档来自技高网...

【技术保护点】
1.一种多维数据处理方法，其特征在于，包括：/n确定读取的多维数据所属的数据层级，并依据所述数据层级对所述多维数据进行聚合得到属于对应数据层级的cube数据；/n将所述cube数据存入本地的目标层级缓存区中，所述目标层级缓存区是本地的与cube数据所属的数据层级对应的层级缓存区；/n判断所述目标层级缓存区中所述缓存的数据量是否达到指定阈值，若是，则将所述目标层级缓存区中缓存的数据转存至目标数据库的与所述数据层级对应的层级数据库表中。/n

【技术特征摘要】
1.一种多维数据处理方法，其特征在于，包括：
确定读取的多维数据所属的数据层级，并依据所述数据层级对所述多维数据进行聚合得到属于对应数据层级的cube数据；
将所述cube数据存入本地的目标层级缓存区中，所述目标层级缓存区是本地的与cube数据所属的数据层级对应的层级缓存区；
判断所述目标层级缓存区中所述缓存的数据量是否达到指定阈值，若是，则将所述目标层级缓存区中缓存的数据转存至目标数据库的与所述数据层级对应的层级数据库表中。


2.如权利要求1所述的多维数据处理方法，其特征在于，将所述cube数据存入本地的目标层级缓存区中，包括：
依据cube数据所属的数据层级及对应多维数据的时间维度数据中指定时间层级上的时间值，确定所述cube数据的数据标识；
依据所述cube数据的数据标识确定目标层级缓存区，并查询所述目标层级缓存区中是否存在与所述数据标识对应的第一cube数据；
若存在，获取所述第一cube数据，将所述cube数据与获取的第一cube数据进行合并，并将所述目标层级缓存区中的所述第一cube数据修改为合并后的cube数据。


3.如权利要求2所述的多维数据处理方法，其特征在于，将所述cube数据存入本地的目标层级缓存区中，还进一步包括：
若所述目标层级缓存区中不存在第一cube数据，在已建立的数据标识表中查找所述数据标识；所述数据标识表中记录有已存入至所述目标数据库的cube数据的数据标识；
若查找到，从所述目标数据库中获取与所述数据标识对应的第二cube数据，将所述cube数据与获取的第二cube数据进行合并，将合并后的cube数据与所述数据标识存入至目标层级缓存区，并删除所述数据标识表中的所述数据标识；
若未查找到，将所述cube数据与所述数据标识存入至目标层级缓存区。


4.如权利要求1-3中任一项所述的多维数据处理方法，其特征在于，所述确定读取的多维数据所属的数据层级，包括：
判断多维数据中的时间维度数据是否处于指定时间区间内；
若是，将所述多维数据所属的数据层级确定为第一层级；
若否，判断所述多维数据中的时间维度数据是否小于所述指定时间区间的较小端点时间，若小于，将所述多维数据所属的数据层级确定为第二层级。


5.如权利要求4所述的多维数据处理方法，其特征在于，判断所述多维数据中的时间维度数据是否小于所述指定时间区间的较小端点时间之后，该方法进一步包括：
若不小于，依据所述时间维度数据调整所述指定时间区间、以使所述时间维度数据处于调整后的指定时间区间内，将所述多维数据所属的数据层级确定为第一层级，并删除已存储的属于第一层级的且对应多维数据中的时间维度数据未处于调整后的指定时间区间内的cube数据、及与该cube数据相关的数据。


6.如权利要求4所述的多维数据处理方法，其特征在于，依据所述数据层级对所述多维数据进行聚合得到属于对应数据层级的cube数据，包括：
若所述多维数据属于第一层级，对该多维数据中的时间维度数据的全部时间层级上的时间值与该多维数据中剩余的指定维度数据进行聚合处理，得到属于第一层级的cube数据；
若所述多维数据属于第二层级，对该多维数据中的时间维度数据的目标时间层级上的时间值与该多维数据中剩余的指定维度数据进行聚合处理，得到属于第二层级的cube数据；
其中，所述目标时间层级少于该多维数据中的时间维度数据的全部时间层级。


7.一种多维数据处理装置，其特征在于，包括：
聚合处理模块，用于确定读取的多维数据所属的数据层级，并依据所述数据层级对所述多维数据进行聚合得到属于对应数据层级的cube数据；
本地缓存模块，用于将所述...

【专利技术属性】
技术研发人员：曾锐，陈国栋，徐乾龙，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33