数据分析方法及装置、存储介质、电子设备制造方法及图纸

技术编号:17912427 阅读:37 留言:0更新日期:2018-05-10 18:17
本公开涉及一种数据分析方法及装置、存储介质、电子设备。所述方法包括:获取多维数据表单的维度信息;根据所述维度信息,对所述多维数据表单进行聚合处理,生成所述多维数据表单对应的树状结构,所述树状结构中的叶子节点为聚合后表单,且所述聚合后表单的维度数目自根节点向叶子节点方向逐层递减;针对所述树状结构中的节点进行数据分析,得到数据分析结果。如此方案,有助于快速进行多维度数据分析。

【技术实现步骤摘要】
数据分析方法及装置、存储介质、电子设备
本公开涉及数据处理领域,具体地,涉及一种数据分析方法及装置、计算机可读存储介质、电子设备。
技术介绍
目前,大多通过OLAP(英文:OnlineAnalyticalProcessing,中文:联机分析处理)进行多维度数据分析,根据数据存储方式的不同,OLAP可以分为ROLAP(英文:RelationalOLAP,中文:关系联机分析处理)、MOLAP(英文:MultidimensionalOLAP,中文:多维联机分析处理)。其中,ROLAP将分析用的多维数据存储在关系数据库中,并根据应用的需要有选择的定义一批实视图作为表也存储在关系数据库中。MOLAP将OLAP分析所用到的多维数据物理上存储为多维数组的形式,形成“立方体”的结构,维度的属性值被映射成多维数组的下标值或下标的范围,而总结数据作为多维数组的值存储在数组的单元中。在实际应用过程中,随着数据分析维度的增加,以及数据量的指数级别的增长,上述两种数据分析方式分别出现以下问题:ROLAP每次查询都需要对数据进行聚合计算,且每次查询都要遍历整个表,假设有5个表,五次遍历表势必导致计算速度很慢。MOLAP的缺点是数据量不容易控制,当维度过多的时候,可能会出现维度爆炸的问题。
技术实现思路
本公开的目的是提供一种数据分析方法及装置、计算机可读存储介质及电子设备,有助于快速进行多维度数据分析。为了实现上述目的,第一方面,本公开提供一种数据分析方法,包括:获取多维数据表单的维度信息;根据所述维度信息,对所述多维数据表单进行聚合处理,生成所述多维数据表单对应的树状结构,所述树状结构中的叶子节点为聚合后表单,且所述聚合后表单的维度数目自根节点向叶子节点方向逐层递减;针对所述树状结构中的节点进行数据分析,得到数据分析结果。可选地,所述根据所述维度信息,对所述多维数据表单进行聚合处理,生成所述多维数据表单对应的树状结构,包括:将所述多维数据表单确定为所述树状结构的根节点;按照以下方式获得所述树状结构中的叶子节点:根据上级节点的维度信息确定本级节点的维度信息,并对上级节点的表单进行聚合处理,得到本级节点的聚合后表单,所述树状结构的最底层叶子节点的维度信息为0维度。可选地,所述上级节点的维度信息为N个维度,所述根据上级节点的维度信息确定本级节点的维度信息,并对上级节点的表单进行聚合处理,得到本级节点的聚合后表单,包括:从所述上级节点中确定出一个上级当前节点,对所述上级当前节点的N个维度信息进行降维处理,得到本级节点的维度信息,且所述本级节点的维度信息均为(N-1)个维度;从所述本级节点中确定出一个本级当前节点,判断所述树状结构中是否包括所述本级当前节点的聚合后表单;如果所述树状结构中包括所述本级当前节点的聚合后表单,则判断所述(N-1)个维度是否为0维度;如果所述(N-1)个维度为0维度,则自所述本级节点向所述根节点方向回溯,直至遍历得到所述树状结构中所有叶子节点的聚合后表单为止。可选地,所述方法还包括:如果所述树状结构中不包括所述本级当前节点的聚合后表单,则对所述上级当前节点的表单进行聚合处理,得到所述本级当前节点的聚合后表单,再执行所述判断所述(N-1)个维度是否为0维度的步骤。可选地,所述方法还包括:如果所述(N-1)个维度不为0维度,则对所述本级当前节点的(N-1)个维度信息进行降维处理,得到下级节点的维度信息,且所述下级节点的维度信息均为(N-2)个维度;从所述下级节点中确定出一个下级当前节点,判断所述树状结构中是否包括所述下级当前节点的聚合后表单;如果所述树状结构中包括所述下级当前节点的聚合后表单,则判断所述(N-2)个维度是否为0维度;如果所述(N-2)个维度为0维度,则自所述下级节点向所述根节点方向回溯,直至遍历得到所述树状结构中所有叶子节点的聚合后表单为止。可选地,所述方法还包括:根据增量数据表单的维度信息,对所述增量数据表单进行聚合处理,生成所述增量数据表单对应的树状结构;对所述多维数据表单对应的树状结构与所述增量数据表单对应的树状结构中的相同节点,进行表单合并,获得新的树状结构;则所述针对所述树状结构中的节点进行数据分析,得到数据分析结果,包括:针对所述新的树状结构中的节点进行数据分析,得到新的数据分析结果。第二方面,本公开提供一种数据分析装置,所述装置包括:维度信息获取模块,用于获取多维数据表单的维度信息;树状结构生成模块,用于根据所述维度信息,对所述多维数据表单进行聚合处理,生成所述多维数据表单对应的树状结构,所述树状结构中的叶子节点为聚合后表单,且所述聚合后表单的维度数目自根节点向叶子节点方向逐层递减;数据分析模块,用于针对所述树状结构中的节点进行数据分析,得到数据分析结果。可选地,所述树状结构生成模块包括:根节点确定模块,用于将所述多维数据表单确定为所述树状结构的根节点;叶子节点获得模块,用于按照以下方式获得所述树状结构中的叶子节点:根据上级节点的维度信息确定本级节点的维度信息,并对上级节点的表单进行聚合处理,得到本级节点的聚合后表单,所述树状结构的最底层叶子节点的维度信息为0维度。可选地,所述上级节点的维度信息为N个维度,所述叶子节点获得模块包括:降维处理模块,用于从所述上级节点中确定出一个上级当前节点,对所述上级当前节点的N个维度信息进行降维处理,得到本级节点的维度信息,且所述本级节点的维度信息均为(N-1)个维度;第一判断模块,用于从所述本级节点中确定出一个本级当前节点,判断所述树状结构中是否包括所述本级当前节点的聚合后表单;第二判断模块,用于在所述树状结构中包括所述本级当前节点的聚合后表单时,判断所述(N-1)个维度是否为0维度;回溯模块,用于在所述(N-1)个维度为0维度时,自所述本级节点向所述根节点方向回溯,直至遍历得到所述树状结构中所有叶子节点的聚合后表单为止。可选地,所述叶子节点获得模块还包括:聚合处理模块,用于在所述树状结构中不包括所述本级当前节点的聚合后表单时,对所述上级当前节点的表单进行聚合处理,得到所述本级当前节点的聚合后表单,再通知所述第二判断模块判断所述(N-1)个维度是否为0维度。可选地,所述降维处理模块,还用于在所述(N-1)个维度不为0维度时,对所述本级当前节点的(N-1)个维度信息进行降维处理,得到下级节点的维度信息,且所述下级节点的维度信息均为(N-2)个维度;所述第一判断模块,还用于从所述下级节点中确定出一个下级当前节点,判断所述树状结构中是否包括所述下级当前节点的聚合后表单;所述第二判断模块,用于在所述树状结构中包括所述下级当前节点的聚合后表单时,判断所述(N-2)个维度是否为0维度;所述回溯模块,还用于在所述(N-2)个维度为0维度时,自所述下级节点向所述根节点方向回溯,直至遍历得到所述树状结构中所有叶子节点的聚合后表单为止。可选地,所述装置还包括:增量树状结构生成模块,用于根据增量数据表单的维度信息,对所述增量数据表单进行聚合处理,生成所述增量数据表单对应的树状结构;表单合并模块,用于对所述多维数据表单对应的树状结构与所述增量数据表单对应的树状结构中的相同节点,进行表单合并,获得新的树状结构;则所述数据分析模块,用于针对所述新的树状结构中的节点进行本文档来自技高网...
数据分析方法及装置、存储介质、电子设备

【技术保护点】
一种数据分析方法,其特征在于,包括:获取多维数据表单的维度信息;根据所述维度信息,对所述多维数据表单进行聚合处理,生成所述多维数据表单对应的树状结构,所述树状结构中的叶子节点为聚合后表单,且所述聚合后表单的维度数目自根节点向叶子节点方向逐层递减;针对所述树状结构中的节点进行数据分析,得到数据分析结果。

【技术特征摘要】
1.一种数据分析方法,其特征在于,包括:获取多维数据表单的维度信息;根据所述维度信息,对所述多维数据表单进行聚合处理,生成所述多维数据表单对应的树状结构,所述树状结构中的叶子节点为聚合后表单,且所述聚合后表单的维度数目自根节点向叶子节点方向逐层递减;针对所述树状结构中的节点进行数据分析,得到数据分析结果。2.根据权利要求1所述的方法,其特征在于,所述根据所述维度信息,对所述多维数据表单进行聚合处理,生成所述多维数据表单对应的树状结构,包括:将所述多维数据表单确定为所述树状结构的根节点;按照以下方式获得所述树状结构中的叶子节点:根据上级节点的维度信息确定本级节点的维度信息,并对上级节点的表单进行聚合处理,得到本级节点的聚合后表单,所述树状结构的最底层叶子节点的维度信息为0维度。3.根据权利要求2所述的方法,其特征在于,所述上级节点的维度信息为N个维度,所述根据上级节点的维度信息确定本级节点的维度信息,并对上级节点的表单进行聚合处理,得到本级节点的聚合后表单,包括:从所述上级节点中确定出一个上级当前节点,对所述上级当前节点的N个维度信息进行降维处理,得到本级节点的维度信息,且所述本级节点的维度信息均为(N-1)个维度;从所述本级节点中确定出一个本级当前节点,判断所述树状结构中是否包括所述本级当前节点的聚合后表单;如果所述树状结构中包括所述本级当前节点的聚合后表单,则判断所述(N-1)个维度是否为0维度;如果所述(N-1)个维度为0维度,则自所述本级节点向所述根节点方向回溯,直至遍历得到所述树状结构中所有叶子节点的聚合后表单为止。4.根据权利要求3所述的方法,其特征在于,所述方法还包括:如果所述树状结构中不包括所述本级当前节点的聚合后表单,则对所述上级当前节点的表单进行聚合处理,得到所述本级当前节点的聚合后表单,再执行所述判断所述(N-1)个维度是否为0维度的步骤。5.根据权利要求3所述的方法,其特征在于,所述方法还包括:如果所述(N-1)个维度不为0维度,则对所述本级当前节点的(N-1)个维度信息进行降维处理,得到下级节点的维度信息...

【专利技术属性】
技术研发人员:董洁
申请(专利权)人:东软集团股份有限公司
类型:发明
国别省市:辽宁,21

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1