一种业务与工资汇总报告的数据中心系统及构建方法技术方案

本发明专利技术涉及数据库管理系统，具体为一种业务与工资汇总报告的数据中心系统及其构建方法。数据中心系统，包括：事务服务层、ETL层、应用层，用ETL工具从所述事务服务层抽取数据，加载到临时数据层；临时数据层，所述临时数据层生成B端企业合同宽表、发薪记录宽表，并加载到应用层的用户端本地数据，然后将临时数据层进行数据清除；利用ETL工具进行数据抽取转换后加载临时数据层，临时数据层完成数据处理加载到应用层后进行数据删除，相较于现有的数据仓库模型，在保证了提供数据查询服务的同时，节约了存储空间。同时，由于临时数据层不存储数据，相对于生成数据仓库提高了数据的安全性。相对于生成数据仓库提高了数据的安全性。相对于生成数据仓库提高了数据的安全性。

【技术实现步骤摘要】
一种业务与工资汇总报告的数据中心系统及构建方法


[0001]本专利技术涉及数据库管理系统，具体为一种业务与工资汇总报告的数据中心系统及其构建方法。

技术介绍

[0002]企业领导需要及时获知业务成交信息以了解本月业务进度情况，通过数据库系统技术建立数据中心了解业务进度情况更加方便，也越来越普及。随着精细化管理要求的提高，特别是对于计件类结算的业务，月度数据已经无法满足需要，需要以天为时限来及时了解经营信息。
[0003]传统的数据传递模型以传统的业务逻辑为基础进行搭建，即业务数据由业务部门向领导部门传递同时传递给财务部门、人资部门，人资部门将薪资数据传递给财务部门，财务部门汇总经营数据传递给领导层。这种模型各部门拥有各自的业务数据库，不同部门采用的多数是不同的数据库管理系统，调用数据时存在困难，并且这种面向业务的在线事务处理(OLTP)系统数据库数据的存储期限较短，不利于数据分析。为此，发展出用于在线数据分析(OLAP)的数据仓库的概念，利用ETL工具抽取、转换、加载形成数据仓库，在数据仓库的基础上，构建数据集市供各部门使用。
[0004]构建数据仓库过程复杂且占用OLTP节点的存储资源较多，并且开放数据仓库的访问权限风险较大。而假如直接采用传统的基于事务处理系统的方式的话，则会对在线事务处理系统造成干扰。

技术实现思路

[0005]本专利技术的目的在于提供一种业务与工资汇总报告的数据中心系统，解决目前数据仓库的架构占用OLTP节点的存储资源较多的问题，并且能降低安全风险，具体方案如下。
[0006]一种业务与工资汇总报告的数据中心系统，包括：
[0007]事务服务层，事务服务层产生的数据是数据中心处理的数据来源，同时，事务服务层的存储节点也用于存储临时生成的数据；
[0008]ETL层，所述ETL层用ETL工具从所述事务服务层抽取符合三范式的T
‑
1数据，包括业务数据与薪资数据，并加工成事实表、维度表，然后加载到临时数据层；
[0009]临时数据层，所述临时数据层临时根据事实表、维度表生成B端企业合同宽表、发薪记录宽表，并加载到应用层的用户端本地数据，然后将临时数据层进行数据清除；
[0010]应用层，按时序存储临时数据层加载来的数据，并生成B端企业合同宽表、发薪记录宽表供客户端调用。
[0011]进一步的改进，所述临时数据层的数据存储于所述存储于OLTP系统节点，所述应用层数据存储于具有特定权限的客户端节点。
[0012]进一步的改进，所述客户端节点的其中一个作为控制节点，用于分配计算任务。
[0013]进一步的改进，所述ETL工具采用kettle。
[0014]本专利技术还提供上述业务与工资汇总报告的数据中心系统的构建方法，包括：
[0015]数据模型的设计：建立事实表、维度表的ER模型，设计B端企业合同宽表、发薪记录宽表的内容。
[0016]节点划分与节点的环境搭建：将企业各服务器、客户端划分为事务服务层存储节点和应用层存储节点，对个节点加载相应的脚本工具；选择应用层的一个节点作为任务控制节点，分配处理任务；
[0017]作业生成：在控制节点加载任务处理流程，设置执行任务的时间起点。
[0018]进一步的改进，所述事务服务层存储节点和应用层存储节点均加载sql数据库管理工具，所述任务控制节点加载ETL工具和任务调度器；
[0019]所述任务调度器根据不同部门的权限向客户端分配不同的处理任务，以根据特定权限加载数据。
[0020]在提取事务服务层的数据后生成事实表、维度表临时存储起来，在加载到特定权限的应用层客户端后进行删除，一方面将处理好的数据保存在应用层客户端，保证了应用层客户端的数据查询需求，同时对于在OLTP系统生成的临时数据进行了删除，降低了事务服务层存储占用。与现有的数据仓库结构框架相比，节省了在OLTP系统的存储占用空间。
[0021]进一步的改进，所述处理任务包括：
[0022]抽取任务，从所述事务服务层抽取符合三范式的T
‑
1数据；
[0023]转换任务，将抽取的符合三范式的T
‑
1数据工成事实表、维度表；
[0024]临时加载任务，将事实表、维度表加载到事务服务层存储节点，
[0025]再抽取任务，抽取事务服务层存储节点的事实表、维度表的数据；
[0026]再转换任务，将事实表、维度表数据转换为B端企业合同宽表、发薪记录宽表；
[0027]再加载任务，将B端企业合同宽表、发薪记录宽表加载到应用层特定的存储节点；
[0028]删除任务，在再加载任务完成后，删除事务服务层存储节点中临时加载任务产生的数据。
[0029]进一步的改进，所述处理任务的执行起点时间在T日的0点到3点之间。
[0030]本专利技术还提供利用上述的数据中心系统进行业务分析方法，在客户端提取B端企业合同宽表数据生成柱状图、饼状图、折线图。
[0031]还可以在客户端提取发薪记录宽表数据生成柱状图、饼状图、折线图。
[0032]与现有技术相比，本专利技术的有益效果在于：
[0033]本专利技术利用ETL工具进行数据抽取转换后加载临时数据层，临时数据层完成数据处理加载到应用层后进行数据删除，将处理后的数据结果存储到特定的有权限的应用层客户端，相较于现有的数据仓库模型，在保证了提供数据查询服务的同时，节约了存储空间。同时，由于临时数据层不存储数据，相对于生成数据仓库也提高了数据的安全性。
[0034]本专利技术在传统数据库系统的基础上仅增加了ETL工具与任务调度器，配置工作简单，有利项目的推进。
附图说明
[0035]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定，在附图中：
[0036]图1为本专利技术业务与工资汇总报告的数据中心系统的架构图；
[0037]图2为本专利技术业务与工资汇总报告的数据中心系统的存储节点布置图；
[0038]图3为本专利技术业务与工资汇总报告的数据中心系统的构建方法流程示意图；
[0039]图4为本专利技术业务与工资汇总报告的数据中心系统的数据流。
具体实施方式
[0040]需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
[0041]以下将配合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
[0042]本实施例具体提供一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务与工资汇总报告的数据中心系统，包括事务服务层，其特征在于，还包括：ETL层，所述ETL层用ETL工具从所述事务服务层抽取符合三范式的T
‑
1数据，包括业务数据与薪资数据，并加工成事实表、维度表，然后加载到临时数据层；临时数据层，所述临时数据层根据事实表、维度表生成B端企业合同宽表、发薪记录宽表，并加载到应用层的用户端本地数据，然后将临时数据层进行数据清除；应用层，按时序存储临时数据层加载来的数据，并生成B端企业合同宽表、发薪记录宽表供客户端调用。2.如权利要求1所述的业务与工资汇总报告的数据中心系统，其特征在于，所述临时数据层的数据存储于所述存储于OLTP系统节点，所述应用层数据存储于具有特定权限的客户端节点。3.如权利要求2所述的业务与工资汇总报告的数据中心系统，其特征在于，所述客户端节点的其中一个作为控制节点，用于分配计算任务。4.如权利要求1所述的一种业务与工资汇总报告的数据中心系统，其特征在于，所述ETL工具采用kettle。5.如权利要求1
‑
4任一项所述的一种业务与工资汇总报告的数据中心系统的构建方法，其特征在于，包括：数据模型的设计：建立事实表、维度表的ER模型，设计B端企业合同宽表、发薪记录宽表的内容；节点划分与节点的环境搭建：将企业各服务器、客户端划分为事务服务层存储节点和应用层存储节点，对个节点加载相应的脚本工具；选择应用层的一个节点作为任务控制节点，分配处理任务；作业生成：在控制节点加载任务处理流程，设置执行任务的时间起点。6.如权利要求5...

【专利技术属性】
技术研发人员：黄刚，敖晓燕，
申请(专利权)人：杭州工猫科技有限公司，
类型：发明
国别省市：