一种钢铁企业的数据中台建设方法以及装置制造方法及图纸

本申请提供了一种钢铁企业的数据中台建设方法以及装置，用于适配钢铁企业构建出更为适配的数据中台，如此可以提供稳定且高效的数据管理服务。方法包括：处理设备对接本次钢铁企业需要进入数据中台的各业务系统，并提取各业务系统中的业务数据；处理设备以所涉及的业务过程作为数据划分依据，对业务数据进行拆分以及组合，得到明细数据模型；处理设备在明细数据模型的数据内容中，计算出原子指标、派生指标以及复合指标；处理设备在原子指标、派生指标以及复合指标的基础上，继续对明细数据模型进行拆分以及组合，得到汇总数据模型。得到汇总数据模型。得到汇总数据模型。

【技术实现步骤摘要】
一种钢铁企业的数据中台建设方法以及装置


[0001]本申请涉及信息领域，具体涉及一种钢铁企业的数据中台建设方法以及装置。

技术介绍

[0002]对于企业而言，数据库的良好管理可以为企业的工作提供简洁的数据使用环境，传统数据仓库的建设方式，可以理解为是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。数据仓库以主题的模式，存储和管理一个或多个主题数据的集合。
[0003]与此同时，数据仓库存储的数据类型较单一，无法满足多类型数据的处理，且随着时间的推移主题的增多、数据量日渐庞大、指标复用率低，影响查询效率。
[0004]而通过传统数据库仓库发展而来的数据中台技术，则可以理解为通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径，数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为企业提供高效服务。
[0005]而在现有的相关技术的研究过程中，专利技术人发现，现有的数据中台技术照搬至钢铁企业后，还会面临着一定程度上的“水土不服”问题，即，在强调数据中台的通用性、复用性的情况下，对于钢铁企业这一具体应用场景下的数据管理，

技术实现思路

[0006]本申请提供了一种钢铁企业的数据中台建设方法以及装置，用于适配钢铁企业构建出更为适配的数据中台，如此可以提供稳定且高效的数据管理服务。
[0007]第一方面，本申请提供了一种钢铁企业的数据中台建设方法，方法包括：
[0008]处理设备对接本次钢铁企业需要进入数据中台的各业务系统，并提取各业务系统中的业务数据；
[0009]处理设备以所涉及的业务过程作为数据划分依据，对业务数据进行拆分以及组合，得到明细数据模型；
[0010]处理设备在明细数据模型的数据内容中，计算出原子指标、派生指标以及复合指标，原子指标为未加任何修饰词的指标，派生指标为在原子指标的基础上添加有时间周期以及修饰词的指标，复合指标为属于同一维度的不同派生指标形成的指标；
[0011]处理设备在原子指标、派生指标以及复合指标的基础上，继续对明细数据模型进行拆分以及组合，得到汇总数据模型。
[0012]结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，处理设备提取各业务系统中的业务数据之后，方法还包括：
[0013]处理设备判断待存储业务数据的数据类型为实时数据类型还是非实时数据类型；
[0014]若为实时数据类型，则处理设备将待存储业务数据存储至关系型数据库服务(Relational Database Service，RDS)数据库；
[0015]若为非实时数据类型，则处理设备将待存储业务数据存储至大规模并行处理
(Massively Parallel Processing，MPP)数据库。
[0016]结合本申请第一方面，在本申请第一方面第二种可能的实现方式中，处理设备提取各业务系统中的业务数据，包括：
[0017]处理设备判断待存储业务数据的数据类型是否为高频数据类型，高频数据类型是指更新频率高于更新频率阈值的数据类型；
[0018]若是，则处理设备将待存储业务数据写入时间序列数据库(Time Series Data Base，TSDB)，并进行降频处理，降频处理是指降低待处理数据的更新频率的数据处理；
[0019]处理设备对降频处理后的待存储业务数据写入至结构化数据服务(Structural Table Service，STS)数据库，以待进行后续的数据存储处理。
[0020]结合本申请第一方面第二种可能的实现方式，在本申请第一方面第三种可能的实现方式中，处理设备对待存储业务数据进行降频处理，包括：
[0021]处理设备对待存储业务数据进行抽样处理，以达到降频效果。
[0022]结合本申请第一方面，在本申请第一方面第四种可能的实现方式中，处理设备在原子指标、派生指标以及复合指标的基础上，继续对明细数据模型进行拆分以及组合，得到汇总数据模型之后，方法还包括：
[0023]处理设备以汇总数据模型为基础，展开元数据管理、数据全生命周期管理、数据安全管理以及数据质量管理。
[0024]结合本申请第一方面，在本申请第一方面第五种可能的实现方式中，各业务系统分别为热轧厂、冷轧厂、炼钢厂、条材厂、制造部以及设备部的业务系统，业务数据分别为热轧厂数据域、冷轧厂数据域、炼钢厂数据域、条材厂数据域、制造数据域以及设备数据域的业务数据。
[0025]结合本申请第一方面，在本申请第一方面第六种可能的实现方式中，汇总数据模型以原子指标、派生指标以及复合指标作为数据域的划分，分别配置有应用程序编程接口(Application Programming Interface，API)，以提供独立的数据调用服务。
[0026]第二方面，本申请提供了一种钢铁企业的数据中台建设装置，装置包括：
[0027]提取单元，用于对接本次钢铁企业需要进入数据中台的各业务系统，并提取各业务系统中的业务数据；
[0028]第一模型处理单元，用于以所涉及的业务过程作为数据划分依据，对业务数据进行拆分以及组合，得到明细数据模型；
[0029]计算单元，用于在明细数据模型的数据内容中，计算出原子指标、派生指标以及复合指标，原子指标为未加任何修饰词的指标，派生指标为在原子指标的基础上添加有时间周期以及修饰词的指标，复合指标为属于同一维度的不同派生指标形成的指标；
[0030]第二模型处理单元，用于在原子指标、派生指标以及复合指标的基础上，继续对明细数据模型进行拆分以及组合，得到汇总数据模型。
[0031]结合本申请第二方面，在本申请第二方面第一种可能的实现方式中，装置还包括存储单元，用于：
[0032]判断待存储业务数据的数据类型为实时数据类型还是非实时数据类型；
[0033]若为实时数据类型，则将待存储业务数据存储至RDS数据库；
[0034]若为非实时数据类型，则将待存储业务数据存储至MPP数据库。
[0035]结合本申请第二方面，在本申请第二方面第二种可能的实现方式中，提取单元，具体用于：
[0036]判断待存储业务数据的数据类型是否为高频数据类型，高频数据类型是指更新频率高于更新频率阈值的数据类型；
[0037]若是，则将待存储业务数据写入TSDB，并进行降频处理，降频处理是指降低待处理数据的更新频率的数据处理；
[0038]对降频处理后的待存储业务数据写入至STS数据库，以待进行后续的数据存储处理。
[0039]结合本申请第二方面第二种可能的实现方式，在本申请第二方面第三种可能的实现方式中，提取单元，具体用于：
[0040]对待存储业务数据进行抽样处理，以达到降频效果。
[0041]结合本申请第二方面，在本申请第二方面第四种可能的实现方式中，装置还包括维护单元，用于：
[0042]以汇总数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种钢铁企业的数据中台建设方法，其特征在于，所述方法包括：处理设备对接本次钢铁企业需要进入数据中台的各业务系统，并提取所述各业务系统中的业务数据；所述处理设备以所涉及的业务过程作为数据划分依据，对所述业务数据进行拆分以及组合，得到明细数据模型；所述处理设备在所述明细数据模型的数据内容中，计算出原子指标、派生指标以及复合指标，所述原子指标为未加任何修饰词的指标，所述派生指标为在所述原子指标的基础上添加有时间周期以及修饰词的指标，所述复合指标为属于同一维度的不同所述派生指标形成的指标；所述处理设备在所述原子指标、所述派生指标以及所述复合指标的基础上，继续对所述明细数据模型进行拆分以及组合，得到汇总数据模型。2.根据权利要求1所述的方法，其特征在于，所述处理设备提取所述各业务系统中的所述业务数据之后，所述方法还包括：所述处理设备判断待存储业务数据的数据类型为实时数据类型还是非实时数据类型；若为所述实时数据类型，则所述处理设备将所述待存储业务数据存储至关系型数据库服务RDS数据库；若为所述非实时数据类型，则所述处理设备将所述待存储业务数据存储至大规模并行处理MPP数据库。3.根据权利要求1所述的方法，其特征在于，所述处理设备提取所述各业务系统中的所述业务数据，包括：所述处理设备判断待存储业务数据的数据类型是否为高频数据类型，所述高频数据类型是指更新频率高于更新频率阈值的数据类型；若是，则所述处理设备将所述待存储业务数据写入时间序列数据库TSDB，并进行降频处理，所述降频处理是指降低待处理数据的更新频率的数据处理；所述处理设备对所述降频处理后的所述待存储业务数据写入至结构化数据服务STS数据库，以待进行后续的数据存储处理。4.根据权利要求3所述的方法，其特征在于，所述处理设备对所述待存储业务数据进行降频处理，包括：所述处理设备对所述待存储业务数据进行抽样处理，以达到降频效果。5.根据权利要求1所述的方法，其特征在于...

【专利技术属性】
技术研发人员：孙文骏，
申请(专利权)人：宝信软件武汉有限公司，
类型：发明
国别省市：