一种构建企业数据仓库的数据整合方法及系统技术方案

本发明专利技术涉及数据仓库整合技术领域，且公开了一种构建企业数据仓库的数据整合方法及系统，包括：运行在用于整理汇总企业部门应用系统EAPPi内数据的整合服务器DCSedwis上的企业数据仓库整合系统，该系统包括：数据抽取模块DEM、数据清洗模块DClM、数据转换模块DCvM和数据加载模块DLM；数据抽取模块DEM把企业部门应用系统EAPPi内的数据抽取到企业数据仓库内；数据清洗模块DClM对数据进行包括标准化处理、空值处理以及不一致数据处理的数据清洗操作；数据加载模块DLM将数据按照企业数据仓库元数据定义的表结构装入企业数据仓库。本发明专利技术解决了如何对企业中分散的、零乱的、标准不统一的数据进行整理汇总，以实现构建统一企业数据仓库的技术问题。

【技术实现步骤摘要】
一种构建企业数据仓库的数据整合方法及系统
本专利技术涉及数据仓库整合
，具体为一种构建企业数据仓库的数据整合方法及系统。
技术介绍
现今大多数企业都有多个不同部门的应用系统，但是普遍存在的问题是，这些企业的应用系统不是建立于统一平台之上，数据库系统也是相互独立，甚至是异构系统，每个系统的数据都形成了一个独立的烟囱。可能每个部门数据资源已经很丰富，但是各系统之间数据不能相互连通。但要使数据发挥决策辅助作用，企业决策层组织需要看到的是一个企业跨职能部门的统一的数据联合展现和挖掘，因为单个部门的应用系统数据反映的仅仅是此部门的业务信息，而跨职能部门的数据联合分析将反映整个企业的发展状况和未来的发展趋势，所以不仅需要企业数据的纵向深入，同时也需要数据的横向联合。如何对企业中分散的、零乱的、标准不统一的数据进行整理汇总，建立统一的数据仓库，进而为企业不同角色的人员决策提供分析的可视化管理系统，成为急需要解决的问题。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本专利技术提供一种构建企业数据仓库的数据整合方法及系统，目的是解决如何对企业中分散的、零乱的、标准不统一的数据进行整理汇总，以实现构建统一企业数据仓库的技术问题。(二)技术方案为实现上述目的，本专利技术提供如下技术方案：一种构建企业数据仓库的数据整合系统，包括：运行在用于整理汇总企业部门应用系统EAPPi内数据的整合服务器DCSedwis操作系统上的企业数据仓库整合系统服务端软件；上述企业数据仓库整合系统包括：数据抽取模块DEM、数据清洗模块DClM、数据转换模块DCvM和数据加载模块DLM；该数据抽取模块DEM与数据清洗模块DClM进行相互之间的数据交互，数据清洗模块DClM与数据转换模块DCvM进行相互之间的数据交互，数据转换模块DCvM与数据加载模块DLM进行相互之间的数据交互。进一步的，所述数据抽取模块DEM包括运行有数据抽取应用程序的抽取服务器ESe，该数据抽取应用程序根据事先制定的规范和数据标准，把企业部门应用系统EAPPi内的数据抽取到企业数据仓库内。进一步的，所述数据清洗模块DClM包括运行有数据清洗应用程序的清洗服务器CtScl，该数据清洗应用程序对数据抽取模块DEM输出的数据进行包括标准化处理、空值处理以及不一致数据处理的数据清洗操作。进一步的，所述数据转换模块DCvM包括运行有数据转换应用程序的转换服务器CScv，该数据转换应用程序对数据清洗模块DClM输出的数据按照需要的格式进行合并、汇总、过滤、转换操作。进一步的，所述数据加载模块DLM包括运行有数据加载应用程序的加载服务器LSl，该数据加载应用程序负责将数据转换模块DCvM输出的数据按照企业数据仓库元数据定义的表结构装入数据仓库。一种构建企业数据仓库的数据整合方法，包括以下步骤：步骤一，数据抽取模块DEM首先制定数据抽取规范和数据抽取标准，然后向企业部门应用系统EAPPi进行数据抽取；步骤二，数据抽取模块DEM将从企业部门应用系统EAPPi中抽取得到的数据EDj传输给数据清洗模块DClM，数据清洗模块DClM对数据EDj进行包括标准化处理、空值处理以及不一致数据处理的数据清洗操作，得到数据ClDj；步骤三，数据清洗模块DClM将数据ClDj传输给数据转换模块DCvM，数据转换模块DCvM将数据ClDj按照需要的格式进行合并、汇总、过滤、转换的操作，得到数据CvDj；步骤四，数据转换模块DCvM将数据CvDj传输给数据加载模块DLM，数据加载模块DLM将数据CvDj按照企业数据仓库元数据定义的表结构装入企业数据仓库。进一步的，所述数据抽取模块DEM的数据抽取具体操作步骤包括：步骤S1，企业部门应用系统EAPPi随机选取安全通信密码(pi1||pi2)(其中，pi1和pi2均为二进制序列，其长度均为l，并且l为偶数)；当数据抽取模块DEM请求与企业部门应用系统EAPPi进行数据交互时，企业部门应用系统EAPPi向数据抽取模块DEM传输安全通信密码(pi1||pi2)，并且在向数据抽取模块DEM传输数据Dj(其中，Dj为二进制序列，其长度为l，并且l为偶数)之前，对该数据Dj进行加密计算，具体为：Cdj1＝Dj⊕pi1；Cdj2＝Dj⊕pi2；之后，企业部门应用系统EAPPi将数据Dj的密文Cdj1和Cdj2传输给数据抽取模块DEM；步骤S2，数据抽取模块DEM接收到数据Dj的密文Cdj1和Cdj2之后，开始进行如下计算：Cdj1'＝Cdj1⊕pi1；Cdj2'＝Cdj2⊕pi2；之后验证等式Cdj1'＝Cdj2'是否成立；若上述等式Cdj1'＝Cdj2'成立，证明数据Dj是企业部门应用系统EAPPi所传输的，则通过对密文Cdj1和Cdj2进行解密处理，计算得到数据Dj的明文EDj＝Cdj1'＝Cdj2'。进一步的，所述企业部门应用系统EAPPi在向数据抽取模块DEM传输安全通信密码(pi1||pi2)时，数据抽取模块DEM同步地向企业部门应用系统EAPPi输送由高信号(1)和低信号(0)所组成的随机通信信号(si1||si2)(其中，si1和si2均为二进制序列，其长度均为l，并且l为偶数)，在数据抽取模块DEM与企业部门应用系统EAPPi之间传输的是叠加信号(Ti1||Ti2)，数据抽取模块DEM计算得到安全通信密码(pi1||pi2)＝(Ti1||Ti2)-(si1||si2。(三)有益的技术效果与现有技术相比，本专利技术具备以下有益的技术效果：本专利技术通过数据抽取模块向企业不同部门的应用系统进行数据抽取，得到抽取数据；通过数据清洗模块对抽取数据进行数据清洗操作，得到清洗数据；通过数据转换模块将清洗数据按照需要的格式进行合并、汇总、过滤、转换等一系列的操作，得到转换数据；通过数据加载模块将转换数据按照企业数据仓库元数据定义的表结构装入企业数据仓库，从而实现了把分散在企业不同部门的应用系统的数据整合到企业数据仓库中的技术效果；并且数据抽取模块在向企业不同部门的应用系统抽取数据时，采用传输叠加信号的防监听机制来保证安全通信密码的安全传输，采用安全通信密码保密机制来保证数据的安全传输，从而取得了提高数据抽取安全性能的技术效果。具体实施方式下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。一种构建企业数据仓库的数据整合系统，包括：安装并运行在用于整理汇总企业部门应用系统EAPPi(i＝1,2,…,n)内数据的整合服务器DCSedwis操作系统上的企业数据仓库整合系统的服务端软件；上述企业数据仓库整合系统，包括：数据抽取模块DEM、数据清本文档来自技高网...

【技术保护点】
1.一种构建企业数据仓库的数据整合系统，其特征在于，包括：运行在用于整理汇总企业部门应用系统EAPPi内数据的整合服务器DCSedwis操作系统上的企业数据仓库整合系统服务端软件；/n上述企业数据仓库整合系统包括：数据抽取模块DEM、数据清洗模块DClM、数据转换模块DCvM和数据加载模块DLM；/n该数据抽取模块DEM与数据清洗模块DClM进行相互之间的数据交互，数据清洗模块DClM与数据转换模块DCvM进行相互之间的数据交互，数据转换模块DCvM与数据加载模块DLM进行相互之间的数据交互。/n

【技术特征摘要】
1.一种构建企业数据仓库的数据整合系统，其特征在于，包括：运行在用于整理汇总企业部门应用系统EAPPi内数据的整合服务器DCSedwis操作系统上的企业数据仓库整合系统服务端软件；
上述企业数据仓库整合系统包括：数据抽取模块DEM、数据清洗模块DClM、数据转换模块DCvM和数据加载模块DLM；
该数据抽取模块DEM与数据清洗模块DClM进行相互之间的数据交互，数据清洗模块DClM与数据转换模块DCvM进行相互之间的数据交互，数据转换模块DCvM与数据加载模块DLM进行相互之间的数据交互。


2.根据权利要求1所述的构建企业数据仓库的数据整合系统，其特征在于，所述数据抽取模块DEM包括运行有数据抽取应用程序的抽取服务器ESe，该数据抽取应用程序根据事先制定的规范和数据标准，把企业部门应用系统EAPPi内的数据抽取到企业数据仓库内。


3.根据权利要求2所述的构建企业数据仓库的数据整合系统，其特征在于，所述数据清洗模块DClM包括运行有数据清洗应用程序的清洗服务器CtScl，该数据清洗应用程序对数据抽取模块DEM输出的数据进行包括标准化处理、空值处理以及不一致数据处理的数据清洗操作。


4.根据权利要求3所述的构建企业数据仓库的数据整合系统，其特征在于，所述数据转换模块DCvM包括运行有数据转换应用程序的转换服务器CScv，该数据转换应用程序对数据清洗模块DClM输出的数据按照需要的格式进行合并、汇总、过滤、转换操作。


5.根据权利要求4所述的构建企业数据仓库的数据整合系统，其特征在于，所述数据加载模块DLM包括运行有数据加载应用程序的加载服务器LSl，该数据加载应用程序负责将数据转换模块DCvM输出的数据按照企业数据仓库元数据定义的表结构装入企业数据仓库。


6.一种构建企业数据仓库的数据整合方法，其特征在于，包括以下步骤：
步骤一，数据抽取模块DEM首先制定数据抽取规范和数据抽取标准，然后向企业部门应用系统EAPPi进行数据抽取；
步骤二，数据抽取模块DEM将从企业部门应用系统EAPPi中抽取得到的数据EDj传输给数据清洗模块DClM，数据清洗模块DClM对数据EDj进行包括标准化处理、空值处理以及不一致数据处理的数据清洗操作，得到数据ClDj；

【专利技术属性】
技术研发人员：高利，
申请(专利权)人：深圳金石创新科技有限公司，
类型：发明
国别省市：广东;44