一种商业智能ETL的封装方法及系统技术方案

本发明专利技术涉及一种商业智能 ETL的封装方法及系统。该方法可基于若干个ERP数据源，构建由ERP用户定制的数据立方体。由于各企业的行业、会计体系、管理体系、ERP供应商、数据源数量等不尽相同，当前商业智能ETL领域现状是针对特定ERP系统通用部分数据进行标准封装，或皆须由专业IT人员在数据库代码级别量身定制ETL逻辑，从而导致ETL实现与维护或收效甚微、或成本高企，大幅制约了商业智能在中小企业ERP领域的普及。本发明专利技术使普通ERP用户脱离专业IT人员协助，也能完成商业智能数据仓库的建立、配置、构建及更新数据立方体，以备商业智能分析之用。而本发明专利技术中的OLAP财务报表中英文检索未找到相关文献。

Packaging method and system for business intelligence ETL

The present invention relates to a method and system for packaging a business intelligence ETL. The method can build a data cube customized by ERP based on several ERP data sources. Because of the industry, accounting system, management system, ERP suppliers, the number of data sources are not the same, the current status of business intelligence ETL field is a standard package for general data of specific ERP system, or is required by professional personnel in the IT database code level tailored ETL logic, which can lead to ETL implementation and maintenance or have little effect, or high cost, greatly restricts the popularization of business intelligence in small and medium-sized enterprises in the field of ERP. The invention enables ordinary ERP users to be separated from professional IT personnel, and can also complete the establishment, configuration, construction and updating of a data cube of a business intelligence data warehouse for the purpose of business intelligence analysis. The OLAP financial statements in the present invention have not been found in Chinese and english.

【技术实现步骤摘要】
一种商业智能ETL的封装方法及系统
本专利技术涉及数据处理领域，具体为一种商业智能ETL的封装方法及系统。
技术介绍
ETL(Extraction-Transformation-Loading,抽取-转换-加载)是BI(BusinessIntelligence,商业智能)的重要组成部分，由于BI展现工具(例如：Tableau、MicrosoftBI、Qlikview等)已经非常成熟和完善，一个商业智能项目的实现周期与效果很大程度决定于ETL模块的设计周期以及效果，如果不能按需对企业需要的数据进行准确的抽取及存储，那么商业智能项目难免成为海市蜃楼。专利技术人发现商业智能在现有的实践中，存在如下问题：由于各企业的行业、会计核算体系、管理体系、ERP系统供应商、数据源数量、以及客户的关注重点、分析模式等不尽相同，商业智能项目通常都是项目型交付，即依据客户的分析目的，设计BI分析模型，根据分析模型由专业IT人员编写代码实现ETL，维护时也需通过代码实现。当然，也有一些ERP供应商一直致力于商业智能产品的标准化，但ETL都根据企业的绝对共性封装通用的执行逻辑，或者完全不支持客户化配置，或者同样需要由专业IT人员修改程序代码、SQL代码才能调整ETL的执行逻辑，而预设的ETL逻辑只支持所有企业共性的入门级分析。总而言之，定制的ETL逻辑构件不能通用，而通用的ETL逻辑构件只能支撑粗陋的入门级分析，对大多数企业分析价值非常有限，以财务分析为例：会计科目设置几个级次，某个会计科目下是否配置项目核算、配置了几个项目核算，具体是哪些项目核算，项目核算是否该企业自定义。不说集团下不同的企业会不一样，在同一个企业的不同经营周期也会不同，更遑论企业自定义的个性化数据之所以会存在，就因为这些数据存在管理价值，分析的价值不言而喻。而在ERP商业智能分析领域，由于ERP领域尤其是财务领域的专业性，IT人员通常难于理解ERP的专业知识，而ERP用户通常也无法掌握ETL所需要的IT代码语言，从而造成了技术壁垒与沟通障碍，导致商业智能项目中的ETL部分实现周期长，数据校对困难，效果不理想，商业智能系统上线后也难以调整和维护，甚至ERP系统数据的改动，可能导致固化的ETL模块产生难以发现的错误，时不时需要修改ETL代码，方可正确执行ETL逻辑。上述ETL的现状导致了商业智能项目实施成本高企，普及难度重重。
技术实现思路
本专利技术的目的在于提供一种商业智能ETL的封装方法及系统，其可以兼容常见ERP系统(例如：用友软件、金蝶软件、畅捷通等)，并随着ERP系统数据源的调整重新生成分析维度类型或分析维度数据，可以将异构的ERP数据合并到一起，且可以由ERP用户根据企业需要直接配置ETL方案以及生成数据立方体(定制事实表)。为实现上述目的，本专利技术的技术方案是：一种商业智能ETL的封装方法，包括如下步骤，S1、分析所选择的ERP数据源并提取分析维度，若为多个ERP数据源，对分析维度进行去重合并；所述分析维度，根据实际情况，为分析维度类型或者分析维度数据二者中至少一个；S2、将S1生成的分析维度作为选择参数给用户选择并保存为ETL方案，根据S1提供的分析维度性质不同，即提供分析维度类型或者分析维度数据二者中至少一个；根据实际情况，若其还具有多个事实数据类型时，则事实数据类型可同时作为选择参数提供给用户选择并一起保存到ETL方案；S3、基于步骤S2中用户所保存ETL方案的分析维度和事实数据类型(如果ETL方案不包含事实数据类型，则为封装的默认事实数据类型)构建生成数据立方体，保存至数据仓库中，每一个ETL方案有且仅对应一个数据立方体(同时包含维度和事实，可以是T-SQL语句、视图或数据库表等对象)，以供BI展示工具、报表工具等调用。在本专利技术一实施例中，所述步骤S2中，用户除了选择所述分析维度、事实数据类型参数，还可提供事实数据的计算标准(即加载参数)作为参数给用户选择；用户能够随时修改上述ETL方案，新方案保存时或被调度时，将按照新方案重构并更新数据立方体。在本专利技术一实施例中，所述步骤S3中，在数据立方体保存至数据仓库前，根据ERP数据源的特性，构建分析维度和事实数据的存储框架以便于数据存储，具体的：所述ERP数据源泛指企事业单位的各类信息管理系统的数据库，所述信息管理系统包括财务系统、供应链、人力资源、生产制造、成本系统等；根据ERP数据源对应的组织机构数(或者数据源数)生成同等数量的存储单元，每个存储单元包含存储结构一致的若干个维度表和事实表，亦即所有存储单元的同一个性质的表的列数量与属性都是一样的；用户可随时修改ERP数据源，ERP数据源调整后或ETL方案被调度时，该存储框架将根据新ERP数据源重新构建。在本专利技术一实施例中，所述步骤S3中之后，还包括一数据转换步骤S4：维度虚拟重组，用于用户零代码重组分析维度，即用户可进行分级维度自定义，并将S2中配置的若干个ETL方案映射至自定义分级维度中的明细维度，方案保存或者被调度时，将根据多级自定义的分级维度和对应ETL方案中的维度构建并更新数据立方体，供BI展示工具调用。在本专利技术一实施例中，对于财务分析而言，在维度映射时，可同时指定各个自定义明细维度是否抵扣项，以支持财务报表OLAP分析，维度虚拟重组的方案支持按照财务报表的报表项目来设置，一个方案对应一张报表(例如：资产负债表、损益表等)或者一张报表的部分元素(例如：资产类合计、负债及所有者权益等)，具体包括：基于该维度虚拟重组方案直接生成能够支持OLAP分析的财务报表数据立方体(例如：资产合计-流动资产-货币资金-银行存款-XX银行，支持逐级汇总、逐级钻取、切片切块等)，该财务报表为单个企业的个别报表、若干个企业的汇总报表，或加载抵消数据，成为合并报表。本专利技术还提供了一种商业智能ETL的封装系统，包括，预处理ETL构件，用于分析指定的N个ERP数据源，并生成分析维度类型或者分析维度数据二者中至少一个，若为多个ERP数据源时，应对所述分析维度类型或者分析维度数据进行去重合并；其中，N为大于等于1的整数；ETL配置构件，用于显示所述预处理ETL构件合并生成的分析维度类型(分析维度选择器)或者分析维度数据(加载条件选择器)，封装支持用户配置上述参数的选择器以新增、修改并存储客户化ETL方案；根据实际情况，若其还具有多个事实数据类型时，则事实数据类型(事实数据选择器)可同时作为选择参数提供给用户选择并一起保存到客户化ETL方案；定制事实表配置构件，根据ERP用户配置的客户化ETL方案(如果该类ETL方案中不包含事实数据类型，则为程序封装的事实数据类型)构建生成数据立方体，ETL方案和数据立方体一一对应；此处以数据库表亦即定制事实表作为数据立方体，或以T-SQL语句、视图等替代数据库表作为数据立方体；客户化ETL构件，根据ERP用户配置的客户化ETL方案构建生成定制事实表，或T-SQL语句、视图等。在本专利技术一实施例中，所述ETL配置构件，还可显示加载参数给用户选择；ERP用户能够修改已使用的ETL方案(或者维度虚拟重组方案)，并保存该方案，以便后续ETL配置构件调用和修改以及定制事实表重置构件对相应的定制事实表进行重建，并调用客户化ETL构件。在本专利技术一实施例中本文档来自技高网...

【技术保护点】
一种商业智能 ETL的封装方法，其特征在于：包括如下步骤，S1、分析所选择的ERP数据源并提取分析维度，若为多个ERP数据源，对分析维度进行去重合并；所述分析维度，根据实际情况，为分析维度类型或者分析维度数据二者中至少一个；S2、将S1生成的分析维度作为选择参数给用户选择并保存为ETL方案，根据S1提供的分析维度性质不同，即提供分析维度类型或者分析维度数据二者中至少一个；根据实际情况，若其还具有多个事实数据类型时，则事实数据类型可同时作为选择参数提供给用户选择并一起保存到ETL方案；S3、基于步骤S2中用户所保存ETL方案的分析维度和事实数据类型构建生成数据立方体，并保存至数据仓库中，每一个ETL方案有且仅对应一个数据立方体，以供后续调用。

【技术特征摘要】
2017.03.27 CN 20171018923911.一种商业智能ETL的封装方法，其特征在于：包括如下步骤，S1、分析所选择的ERP数据源并提取分析维度，若为多个ERP数据源，对分析维度进行去重合并；所述分析维度，根据实际情况，为分析维度类型或者分析维度数据二者中至少一个；S2、将S1生成的分析维度作为选择参数给用户选择并保存为ETL方案，根据S1提供的分析维度性质不同，即提供分析维度类型或者分析维度数据二者中至少一个；根据实际情况，若其还具有多个事实数据类型时，则事实数据类型可同时作为选择参数提供给用户选择并一起保存到ETL方案；S3、基于步骤S2中用户所保存ETL方案的分析维度和事实数据类型构建生成数据立方体，并保存至数据仓库中，每一个ETL方案有且仅对应一个数据立方体，以供后续调用。2.根据权利要求1所述方法，其特征在于：所述步骤S2中，用户除了选择所述分析维度、事实数据类型参数，还可提供事实数据的计算标准作为参数给用户选择；用户能够随时修改上述ETL方案，新方案保存时或被调度时，将按照新方案重构并更新数据立方体。3.根据权利要求1所述方法，其特征在于：所述步骤S3中，在数据立方体保存至数据仓库前，根据ERP数据源的特性，构建分析维度和事实数据的存储框架以便于数据存储，具体的：所述ERP数据源泛指企事业单位的各类信息管理系统的数据库，所述信息管理系统包括财务系统、供应链、人力资源、生产制造、成本系统；根据ERP数据源对应的组织机构数生成同等数量的存储单元，每个存储单元包含存储结构一致的若干个维度表和事实表，亦即所有存储单元的同一个性质的表的列数量与属性都是一样的；用户可随时修改ERP数据源，ERP数据源调整后或ETL方案被调度时，该存储框架将根据新ERP数据源重新构建。4.根据权利要求1所述方法，其特征在于：所述步骤S3中之后，还包括一数据转换步骤S4：维度虚拟重组，用于用户零代码重组分析维度，即用户可进行分级维度自定义，并将S2中配置的若干个ETL方案映射至自定义分级维度中的明细维度，方案保存或者被调度时，将根据多级自定义的分级维度和对应ETL方案中的维度构建并更新数据立方体，供BI展示工具调用。5.根据权利要求4所述方法，其特征在于：对于财务分析而言，在维度映射时，可同时指定各个自定义明细维度是否抵扣项，以支持财务报表OLAP分析，维度虚拟重组的方案支持按照财务报表的报表项目来设置，一个方案对应一张报表或者一张报表的部分元素，具体包括：基于该维度虚拟重组方案直接生成能够支持OLAP分析的财务报表数据立方体，该财务报表为单个企业的个别报表、若干个企业的汇总报表，或加载抵消数据，成为合并报表。6.一种商业智能ETL的封装系统，其特征在于：包括，预处理ETL构件，用于分析指定的N个ERP数据源，并生成分析维度类型或者分析维度数据二者中至少一个，若为多个ERP数据源时，应对所述分...

【专利技术属性】
技术研发人员：郑政涛，
申请(专利权)人：福建数林信息科技有限公司，
类型：发明
国别省市：福建,35