【技术实现步骤摘要】
多维数据模型的生成方法、装置、可读介质及电子设备
[0001]本申请属于数据处理
,具体涉及一种多维数据模型的生成方法、装置、可读介质以及电子设备。
技术介绍
[0002]数据分析是一种从原始数据中提取有效信息的重要手段,数据立方体(Data CUBE)是一种用于大体量数据分析的多维数据模型,数据立方体可以使用户从多角度、多层次进行数据查询和分析。目前,CUBE的开发过程首先需要通过MOLAP(Multidimensional On
‑
Line Analysis Processing,多维度的联系分析处理)、ROLAP(RelationalOn
‑
Line Analysis Processing,关系型联系分析处理)等多为分析组件进行建模,建模过程需要维护好数据维度和指标。然后基于建好的模型编写程序脚本,实现CUBE生成。在这个过程,开发工作人员需要对多维分析组件原理机制有一定理解,且不同的CUBE需要编写不同的程序脚本,因而CUBE开发过程的人工成本较高。
[0003]需要 ...
【技术保护点】
【技术特征摘要】
1.一种多维数据模型的生成方法,其特征在于,包括:根据待处理数据的数量获取数据摄入程序的第一运行参数;所述数据摄入程序用于生成所述待处理数据的多维数据模型;根据数据摄入时间和数据查询时间获取所述数据摄入程序的第二运行参数;所述数据摄入时间包括生成所述待处理数据的多维数据模型的时间,所述数据查询时间包括从所述多维数据模型查询数据的时间;获取所述待处理数据的元数据信息,所述元数据信息用于描述存储所述待处理数据的源数据表;根据所述第一运行参数、所述第二运行参数和所述元数据信息生成所述数据摄入程序;运行所述数据摄入程序,生成所述待处理数据对应的多维数据模型。2.根据权利要求1所述的多维数据模型的生成方法,其特征在于,所述第二运行参数包括数据分片数和数据并发度,所述数据分片数与所述数据查询时间成正相关关系,所述数据并发度与所述数据摄入时间成负相关关系。3.根据权利要求1所述的多维数据模型的生成方法,其特征在于,根据所述第一运行参数、所述第二运行参数和所述元数据信息生成所述数据摄入程序,包括:获取预先创建的摄入程序模板,所述摄入程序模板包括多个变量,多个变量中具有与所述第一运行参数、所述第二运行参数和所述元数据信息分别对应的变量;将所述第一运行参数、所述第二运行参数和所述元数据信息填充至所述摄入程序模板中的对应变量处,生成所述数据摄入程序。4.根据权利要求1所述的多维数据模型的生成方法,其特征在于,根据待处理数据的数量获取数据摄入程序的第一运行参数,包括:当所述待处理数据的数量在第一预设范围内时,获取的第一类型的第一运行参数;当所述待处理数据的数量在第二预设范围内时,获取的第二类型的第一运行参数;当所述待处理数据的数量在第三预设范围内时,获取的第三类型的第一运行参数;其中,所述第一预设范围、所述第二预设范围和所述第三预设范围依次增大,所述第一类型的第一运行参...
【专利技术属性】
技术研发人员:蔡满天,张茜,凌海挺,杜均,王忠瑞,
申请(专利权)人:平安科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。