一种数据仓库搭建的方法和系统技术方案

本发明专利技术公开了一种数据仓库搭建的方法和系统，具体涉及数据仓库技术领域，所述方法包括：根据数据表获取指标模型，所述数据表包括数据宽表，所述指标模型包括指标和维度；基于所述指标模型和数据表建立数据主题，获得数据主题集市；基于所述数据主题和指标模型的逻辑关系建立指标体系；基于所述指标体系搭建或梳理数据仓库的中间层；从中间层向应用层推导，构建应用层。根据数据表建立包含指标模型和主题集市的指标体系，便于梳理或搭建数据仓库中间层，再从中间层推导应用层，统一数据口径，使指标体系和数据仓库易于维护。

【技术实现步骤摘要】
一种数据仓库搭建的方法和系统
本专利技术涉及数据仓库
，具体涉及一种数据仓库搭建的方法和系统。
技术介绍
数据仓库是一种结构化的数据环境，是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。数据仓库的构建过程通常遵循以下流程：采集业务数据库和原始日志数据到大数据存储系统上，解析、清洗之后得到格式化的数据运营层(ODS)，然后以还原业务过程为目标，进行分类、变换和关联得到的中间层(DW)，再以数据应用为目标，进行关联整合、主题分类得到的应用层(APP)。业务发展过程中未能建立有效的数据评估体系，数据维度或指标口径不一致，数据耦合严重，导致各业务数据的指标体系繁多，易滋生了多种多样的数据问题。不仅增加了数据口径的理解消耗，还增加了数据生产和维度的难度，让参与数据建设的各方人员都为数据的准确性校验、数据问题排查耗费了巨大精力。并且在业务发展过程中产生各种不同的新数据需求，提出不同维度或指标的数据口径，数据仓库管理人员往往被海量的数据需求缠住，很难设计出好的解决方案，最终搭建出难以维护的数据仓库。
技术实现思路
针对现有技术中的上述技术问题，本专利技术提供一种数据仓库搭建的方法和系统，通过建立指标体系，利于梳理或搭建数据仓库中间层的数据表，从而搭建一个易于维护和统一数据口径的数据仓库。本专利技术公开了一种数据仓库搭建的方法，所述方法包括：根据数据表获取指标模型，所述数据表包括数据宽表，所述指标模型包括指标和维度；基于所述指标模型和数据表建立数据主题，获得数据主题集市；基于所述数据主题和指标模型的逻辑关系建立指标体系；基于所述指标体系搭建或梳理数据仓库的中间层；从所述中间层向应用层推导，构建应用层。优选的，本专利技术的方法还包括基于指标体系配置查询指令的方法：根据数据的应用场景选择数据主题；根据数据主题选择指标模型；根据指标模型获取指标和维度；根据所述指标和维度获取查询参数和指令；基于查询指令获取查询结果。优选的，本专利技术的方法还包括生成查询报表的方法：基于预设的报表模板和报表展示页面指令，根据所述查询结果生成报表。优选的，根据数据表获取指标模型的方法包括：梳理所述数据表得到指标矩阵，所述指标矩阵包括指标和维度；根据指标矩阵选择指标和与所述指标相关的维度，建立指标模型。优选的，所述数据仓库包括中间层、应用层和数据运营层，所述中间层包括中间层表，所述中间层表包括数据明细层表、数据中间层表和数据服务层表。优选的，用于获取指标模型的数据表还包括已有的中间层表。优选的，所述指标模型包括以下之一或它们的组合：基础维度指标模型、度量指标模型、虚拟维度指标模型、派生指标模型和计算指标模型。优选的，所述数据主题包括以下之一或它们的组合：营销主题、交易主题、商品主题、流量主题、商品主题和服务主题。本专利技术还提供一种数据仓库搭建的系统，用于实现上述的方法，包括指标模块、数据主题模块、指标体系模块和搭建模块，所述指标模块用于根据数据表获取指标模型，所述数据表包括数据宽表，所述指标模型包括指标和维度；所述数据主题模块用于基于所述指标模型和数据表建立数据主题，获得数据主题集市；所述指标体系模块用于基于所述数据主题和指标模型的逻辑关系建立指标体系；所述搭建模块用于基于所述指标体系搭建数据仓库的中间层，从所述中间层向应用层推导，构建应用层。优选的，本专利技术的系统还包括数据抽取模块，所述数据抽取模块用于根据从系统日志中数据，根据所述数据重建数据表。与现有技术相比，本专利技术的有益效果为：根据数据表建立包含指标模型和主题集市的指标体系，主题集市中的主题与指标模型的逻辑关系，便于梳理或搭建数据仓库中间层，再从中间层推导应用层，统一数据口径，使指标体系和数据仓库易于维护。附图说明图1是本专利技术的数据仓库搭建的方法流程图；图2是根据数据表获取指标模型的方法流程图；图3是基于指标体系配置查询指令的方法流程图；图4是本专利技术的数据仓库搭建的系统逻辑框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面结合附图对本专利技术做进一步的详细描述：一种数据仓库搭建的方法，如图1所示，所述方法包括：步骤101：根据数据表获取指标模型，所述数据表包括数据宽表，所述指标模型包括指标和维度。用于获取指标模型的数据表可以一个也可以是多个。数据宽表是指字段比较多、包含的维度层次比较多的数据表，其通常将业务主题相关的指标、维度、属性关联在一起，便于取数。在对数据表的元数据进行分析处理的基础上建立指标模型，指标模型可以分为：基础维度指标模型、度量指标模型、虚拟维度指标模型、派生指标模型和计算指标模型。用于获取指标模型的数据表可以从数据运营层中或中间层获取，但不限于此，如从系统日志中获取或数据库的数据表中获得。其中，基础维度指标模型用于描述查询约束、分类汇总、多表关联的主键和外键；度量指标模型用于描述业务过程的事实数据，事实数据一般为整型或者浮点型的十进制数据；虚拟维度指标模型用于描述自定义查询约束、数据表中原本没有的维度指标和多表关联的主键和外键名称不一致；派生指标模型描述了限定修饰词之后的度量指标；计算指标模型描述了经过数学运算后得到的指标。步骤102：基于所述指标模型和所述数据表建立数据主题，获得数据主题集市。建立指标模型后，确定与指标模型相对应的一个或多个数据主题，得到数据主题集市，即数据主题集市多个数据主题。所述数据主题包括以下之一或它们的组合：营销主题、交易主题、商品主题、流量主题、商品主题和服务主题。主题集市是对数据主题的汇总，便于全面汇集各个数据场景，以提高数据主题的复用性，通过与数据主题相对应的指标模型梳理数据场景的维度和指标。步骤103：基于所述数据主题和指标模型的逻辑关系建立指标体系。指标模型与数据主题可以具有多对多的对应关系，如一个数据主题对应多个指标模型，一个指标模型也可以对应多个数据主题。步骤104：基于所述指标体系搭建或梳理数据仓库的中间层(DW)。基于指标模型建立数据主题集市，使指标模型统一且不冗余，利于维护和搭建数据仓库，根据所述数据体系搭建或梳理中间层，使中间层及其表易于维护且并统一了数据口径，使数据仓库易于维护。步骤105：从中间层向应用层推导，构建应用层。所述数据仓库包括中间层、应用层和数据运营层，中间层作为数据仓库设计的核心层，可以让数据生产者有极大的发挥空间。在具体搭建数据仓库中，数据运营层贴近业务数据，可以从业务数据中导入，数据层运营层搭建方法为现有技术，本专利技术中不再赘述。根据数据表建立的指标体系包含指标模型和主本文档来自技高网...

【技术保护点】
1.一种数据仓库搭建的方法，其特征在于，所述方法包括：/n根据数据表获取指标模型，所述数据表包括数据宽表，所述指标模型包括指标和维度；/n基于所述指标模型和数据表建立数据主题，获得数据主题集市；/n基于所述数据主题和指标模型的逻辑关系建立指标体系；/n基于所述指标体系搭建或梳理数据仓库的中间层；/n从所述中间层向应用层推导，构建应用层。/n

【技术特征摘要】
1.一种数据仓库搭建的方法，其特征在于，所述方法包括：
根据数据表获取指标模型，所述数据表包括数据宽表，所述指标模型包括指标和维度；
基于所述指标模型和数据表建立数据主题，获得数据主题集市；
基于所述数据主题和指标模型的逻辑关系建立指标体系；
基于所述指标体系搭建或梳理数据仓库的中间层；
从所述中间层向应用层推导，构建应用层。


2.根据权利要求1所述的数据仓库搭建的方法，其特征在于，还包括基于指标体系配置查询指令的方法：
根据数据的应用场景选择数据主题；
根据数据主题选择指标模型；
根据指标模型获取指标和维度；
根据所述指标和维度获取查询参数和指令；
基于查询指令获取查询结果。


3.根据权利要求2所述的数据仓库搭建的方法，其特征在于，还包括生成查询报表的方法：
基于预设的报表模板和报表展示页面指令，根据所述查询结果生成报表。


4.根据权利要求1所述的数据仓库搭建的方法，其特征在于，根据数据表获取指标模型的方法包括：
梳理所述数据表得到指标矩阵，所述指标矩阵包括指标和维度；
根据指标矩阵选择指标和与所述指标相关的维度，建立指标模型。


5.根据权利要求1所述的数据仓库搭建的方法，其特征在于，所述数据仓库包括中间层、应用层和数据运营层，所述中间层包括中间层表，所述...

【专利技术属性】
技术研发人员：彭国强，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：北京;11