多维数据的处理方法及装置制造方法及图纸

技术编号:11171759 阅读:81 留言:0更新日期:2015-03-19 13:05
本发明专利技术实施例公开了一种多维数据的处理方法及装置,涉及计算机技术领域,解决了当前反复从整个流水数据中获取各种维度属性组合下的指标数据,运算复杂度高的问题。所述方法包括:获取数据业务的维度信息、维度信息中的属性信息及各属性的层级关系信息;根据维度信息、维度信息中的属性信息及各属性层级关系信息,获取各维度的最细粒度属性;根据该最细粒度属性,形成顶层属性组合;根据顶层属性组合和各属性层级关系生成递推拓扑;所述递推拓扑包括属性组合及各属性组合之间的递推路径;接收查询请求,并根据递推路径和预先获取到的属性组合对应的指标数据,递推查询请求中的属性组合所对应的指标数据。本发明专利技术适用于多维数据分析中。

【技术实现步骤摘要】
多维数据的处理方法及装置
本专利技术涉及计算机
,尤其涉及一种多维数据的处理方法及装置。
技术介绍
目前,随着互联网及计算机技术的发展,多维数据分析在各种数据分析平台上得到了广泛的应用。多维数据分析源于联机分析处理OLAP (On-Line AnalyticalProcessing,简称0LAP)技术,是OLAP技术的核心,目的是从多个维度来观察和分析指标的变化,以突出展示一些通过筛选重要维度而获得的指标。 当前应用多维数据分析的网站很多,例如一些购物平台,自助分析平台等均需要进行多维数据分析。例如如图1所示,在某一购物平台上,为了分析各年龄段购买某一产品的成交人数,通过从流水数据中设置年龄条件进行筛选,得到了各年龄段所对应的成交人数,其中,年龄即为维度属性,而具体的成交人数即为指标数据。从图1中可见,该购物平台上展示的数据分析结果仅具有一个年龄维度属性,若还要展示其他维度的数据以从多个维度属性进行分析,例如需要展示各个城市的各年龄的成交人数、各省份的各年龄的成交人数、各省份各年龄组的成交人数等,则需要先从整个流水数据中进行筛选,以获取到需要的各维度属性组合下的指标数据。一般的筛选过程是先以一个维度属性为基础,在整个流水数据中获取到满足该维度属性的数据,再根据维度属性组合中的其他维度属性,在已经获得的数据中依次进行筛选,最终得到满足整个维度组合下的指标数据。 当存在的维度以及维度属性较多时,反复从整个流水数据中获取各种维度属性组合下的指标数据,运算复杂度较高。
技术实现思路
本专利技术的实施例提供一种多维数据的处理方法及装置,能够解决现有技术中由于在维度以及维度属性较多时,反复从整个流水数据中获取各种维度属性组合下的指标数据,运算复杂度较高的问题。 为达到上述目的,本专利技术采用如下技术方案: 一种多维数据的处理方法,包括: 获取数据业务中的维度信息、所述维度信息中的属性信息及各属性的层级关系信息; 根据所述维度信息、维度信息中的属性信息及各属性层级关系信息,获取各维度的最细粒度属性; 根据所述最细粒度属性,形成顶层属性组合; 根据所述顶层属性组合和所述各属性层级关系生成递推拓扑;所述递推拓扑包括属性组合及各属性组合之间的递推路径; 接收查询请求,并根据所述递推路径和预先获取到的属性组合对应的指标数据,递推所述查询请求中的属性组合所对应的指标数据。 一种多维数据的处理装置,包括: 获取单元,用于获取数据业务中的维度信息、所述维度信息中的属性信息及各属性的层级关系信息; 所述获取单元,还用于根据所述维度信息、维度信息中的属性信息及各属性层级关系信息,获取各维度的最细粒度属性; 生成单元,用于根据所述获取单元获取的所述最细粒度属性,形成顶层属性组合; 所述生成单元,还用于根据所述顶层属性组合和所述各属性层级关系生成递推拓扑;所述递推拓扑包括属性组合及各属性组合之间的递推路径; 所述获取单元,还用于根据所述生成单元生成的所述递推拓扑及所述获取单元获取的所述流水数据,获取所述递推拓扑中的属性组合对应的指标数据; 递推单元,用于接收查询请求,并根据所述递推路径和预先获取到的属性组合对应的指标数据,递推所述查询请求中的属性组合所对应的指标数据。 本专利技术实施例提供的多维数据的处理方法及装置,由于根据顶层属性组合和所述各属性层级关系生成了递推拓扑,其中所述递推拓扑包括属性组合及各属性组合之间的递推路径,从而在接收到查询请求时,能够根据所述递推路径和预先获取到的属性组合对应的指标数据,递推所述查询请求中的属性组合所对应的指标数据。而现有技术中,在需要获取属性组合所对应的指标数据时,需要从流水数据中获取各种维度属性组合下的指标数据,运算复杂度较高。因此,本专利技术能够通过递推拓扑以及已预先获取的属性组合对应的指标数据,来获取未知的属性组合所对应的指标数据,降低了运算复杂度。 【附图说明】 为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。 图1为现有技术的数据分析的界面示意图; 图2为本专利技术实施例提供的多维数据的处理方法的流程图; 图3为本专利技术又一实施例提供的多维数据的处理方法的流程图; 图4为本专利技术实施例中的流水数据中各字段与指标和维度的映射关系的示意图; 图5为本专利技术实施例中的多维数据的处理的数据变化示意图; 图6为本专利技术实施例中的递推拓扑的示意图一; 图7为本专利技术实施例中的递推拓扑的示意图二 ; 图8为本专利技术实施例提供的多维数据的处理装置的结构示意图一; 图9为本专利技术实施例提供的多维数据的处理装置的结构示意图二。 【具体实施方式】 下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。 为使本专利技术技术方案的优点更加清楚,下面结合附图和实施例对本专利技术作详细说明。 如图2所示,本专利技术实施例提供的多维数据的处理方法,包括: 101、获取数据业务中的维度信息、所述维度信息中的属性信息及各属性的层级关系信息。 此外,还需要获取数据业务的流水数据,所述数据业务的流水数据是在网站、应用程序、网络游戏等被应用时记录在流水日志中的数据,该流水日志一般保存于数据库中。所述维度信息中的各维度表示用于分析数据的视角,例如某一应用程序被应用,那么应用该应用程序的用户所在地域、用户的年龄等即为维度信息中的维度。所述维度中的属性信息是在同一维度下,描述该维度的不同粒度,例如时间维度包括日、周、月、年等属性。所述各属性的层级关系信息中包括各种属性的层级关系,例如时间维度中的7个日等于I周、12个月等于I年,又例如在地域维度中,一个省份包括多个城市,例如深圳市、广州市属于广东省,而广东省又属于中国。 102、根据所述维度信息、维度信息中的属性信息及各属性层级关系信息,获取各维度的最细粒度属性。 所述最细粒度属性在同一维度的属性信息中,粒度最小的一个属性,例如在一个时间维度中,属性信息包括的属性有年、月、日、时,则属性时即为时间维度的最细粒度属性。 103、根据所述最细粒度属性,形成顶层属性组合。 通过上述步骤102获取到一个或多个最细粒度属性之后,由一个或多个最细粒度属性形成该顶层属性组合,所述顶层属性组合是直接从流水数据中得出的属性组合。例如获取到的多个最细粒度属性分别为城市、年龄数、一级来源,则形成的顶层属性组合即由城市、年龄数、一级来源组成。所述一级来源属于来源维度,来源维度中可以包括一级来源、二级来源,其中所述一级来源可以是具体的数据来源,例如具体的网站,而二级来源可以是上述各网站的集合,例如上述各网站属于社交渠道。 104、根据所述顶层属性组合和所述各属性层级关系生成递推拓扑。 其中,所述递推拓扑包括属性组合及各属性本文档来自技高网...

【技术保护点】
一种多维数据的处理方法,其特征在于,包括:获取数据业务中的维度信息、所述维度信息中的属性信息及各属性的层级关系信息;根据所述维度信息、维度信息中的属性信息及各属性层级关系信息,获取各维度的最细粒度属性;根据所述最细粒度属性,形成顶层属性组合;根据所述顶层属性组合和所述各属性层级关系生成递推拓扑;所述递推拓扑包括属性组合及各属性组合之间的递推路径;接收查询请求,并根据所述递推路径和预先获取到的属性组合对应的指标数据,递推所述查询请求中的属性组合所对应的指标数据。

【技术特征摘要】
1.一种多维数据的处理方法,其特征在于,包括: 获取数据业务中的维度信息、所述维度信息中的属性信息及各属性的层级关系信息; 根据所述维度信息、维度信息中的属性信息及各属性层级关系信息,获取各维度的最细粒度属性; 根据所述最细粒度属性,形成顶层属性组合; 根据所述顶层属性组合和所述各属性层级关系生成递推拓扑;所述递推拓扑包括属性组合及各属性组合之间的递推路径; 接收查询请求,并根据所述递推路径和预先获取到的属性组合对应的指标数据,递推所述查询请求中的属性组合所对应的指标数据。2.根据权利要求1所述的多维数据的处理方法,其特征在于,所述根据所述顶层属性组合和所述各属性层级关系生成递推拓扑,包括: 判断所述属性组合是否是总览属性; 若所述属性组合不是所述总览属性,将所述属性组合进行上卷,生成所述属性组合的下一层属性组合。3.根据权利要求2所述的多维数据的处理方法,其特征在于,所述将所述属性组合进行上卷,生成所述属性组合的下一层属性组合,包括: 遍历各属性组合中的各个属性; 获取所述各个属性所满足的条件; 根据所述各个属性所满足的条件,确定所述属性组合的上卷策略; 根据所述上卷策略,将所述属性组合进行上卷,生成所述属性组合的下一层属性组合。4.根据权利要求3所述的多维数据的处理方法,其特征在于,所述获取所述各个属性所满足的条件,包括: 判断所述属性组合所对应的指标是否需要全局去重。5.根据权利要求4所述的多维数据的处理方法,其特征在于,所述获取所述各个属性所满足的条件,还包括: 若判断到所述指标需要全局去重,判断所述属性组合中的一个属性是否满足递推条件。6.根据权利要求5所述的多维数据的处理方法,其特征在于,所述根据所述各个属性所满足的条件,确定所述属性组合的上卷策略,包括: 若判断到所述属性组合中的属性不满足所述递推条件,确定所述属性组合不根据所述属性进行上卷。7.根据权利要求5所述的多维数据的处理方法,其特征在于,所述获取所述各个属性所满足的条件,还包括: 若判断到所述指标不需要全局去重,或者判断到所述属性组合中的属性满足所述递推条件,根据所述各属性层级关系,判断所述各个属性中的一个父属性是否存在子属性。8.根据权利要求6所述的多维数据的处理方法,其特征在于,所述根据所述各个属性所满足的条件,确定所述属性组合的上卷策略,还包括: 若判断到所述父属性存在子属性,确定所述上卷策略为第一策略;所述第一策略用于指示将所述父属性替换为所述子属性,并将所述子属性与所述属性组合中的其他属性组合形成所述下一层属性组合; 若判断到所述父属性不存在子属性,确定所述上卷策略为第二策略;所述第二策略用于指示将所述父属性删除,将所述属性组合中的其他属性组合形成所述下一层属性组合。9.根据权利要求1-8任一项所述的多维数据的处理方法,其特征在于,所述根据所述顶层属性组合和所述各属性层级关系生成递推拓扑,包括: 在多个节点上根据所述顶层属性组合和所述各属性层级关系生成递推拓扑,所...

【专利技术属性】
技术研发人员:李浩武磊曾伟纪蔡馥晗
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1