核电工业数据仓库系统技术方案

本公开属于核电技术领域，具体涉及一种核电工业数据仓库系统。本公开核电工业数据仓库系统包括：数据交换层，存放数据资源配置相关的元数据；原始数据层，保存业务系统源数据；数据明细层根据字段标准，进行数据清洗、格式转换，数据标准层按照核电领域的数据标准，将数据明细层中经过处理后的数据进行加工和汇总，将与业务相关的字段和属性进行关联，形成统一的核电标准数据；数据汇总层以业务为导向，根据业务需求开发模型，输出数据交付物；数据集市层对数据明细层、数据标准层、数据汇总层中数据进行行列级处理后，对外提供应用；公共维表层存放各个业务所使用的公共字典编码表、公共维度表映射信息，还用于其他各分层数据的维度关联。度关联。度关联。

【技术实现步骤摘要】
核电工业数据仓库系统


[0001]本专利技术属于核电
，具体涉及一种核电工业数据仓库系统。

技术介绍

[0002]中国核电大核源平台(DHP)平台，作为数字核电的依托平台和神经中枢，集成中国核电海量工业系统与设备的数据，构建可扩展的开放式核电工业互联网平台，同步开展面向各种场景和可复用的核电工业应用开发生态系统，来提高核电厂硬件、服务、数据的使用效率和共享范围，实现中国核电业务与资源的智能管理及运营优化，并驱动一系列面向核电全产业链的创新核电工业应用，保障运行机组的安全、可靠、高效运行。
[0003]DHP数据平台需要接入来自不同电厂不同业务系统的关系型数据，如何处理接入的数据，成为亟待解决的问题。

技术实现思路

[0004]为克服相关技术中存在的问题，提供了一种核电工业数据仓库系统。
[0005]根据本公开实施例的一方面，提供一种核电工业数据仓库系统，所述核电工业数据仓库系统包括：
[0006]数据交换层：用于存放数据资源配置相关的元数据；
[0007]原始数据层，用于保存业务系统源数据，并和业务系统源数据库保持同步更新；
[0008]数据明细层：用于根据字段标准，进行数据清洗、格式转换，并按照业务领域和主题域分类，将业务系统中来自不同电厂的数据整合到对应的数据表中；
[0009]数据标准层：用于按照核电领域的数据标准，将数据明细层中经过处理后的数据进行加工和汇总，将与业务相关的字段和属性进行关联，形成统一的核电标准数据；
[0010]数据汇总层：用于以业务为导向，根据业务需求开发模型，输出数据交付物；
[0011]数据集市层：用于对数据明细层、数据标准层、数据汇总层中数据进行行列级处理后，对外提供应用；
[0012]公共维表层，用于存放各个业务所使用的公共字典编码表、公共维度表映射信息，还用于其他各分层数据的维度关联。
[0013]在一种可能的实现方式中，所述核电工业数据仓库系统在元数据目录层级下为用户分配开发环境目录和生产环境目录，所述开发环境目录和生产环境目录中均设有所述数据明细层、所述数据标准层、所述数据汇总层、所述数据集市层以及所述公共维表层，且所述开发环境目录还包括开发加工任务目录以及开发应用交付数据目录；所述生产环境目录还包生产加工任务目录以及生产应用交付数据目录；所述核电工业数据仓库系统获取外部需求，将数据从源数据库抽取到原始数据层后，在开发环境目录下完成作业开发并测试通过后在生产环境目录下对外发布。
[0014]在一种可能的实现方式中，所述开发环境目录用于将数据迁移、加工、稽核的工作流程运行通过并验证结果数据是否符合预期；所述生产环境目录用于将开发环境目录中验
证通过的数据模型和加工任务迁移到生产环境目录并对外提供服务。
[0015]在一种可能的实现方式中，所述开发环境目录和所述生产环境目录使用不同的数据库进行数据隔离。
[0016]在一种可能的实现方式中，基于Hive数据库构建数据仓库，不同的数仓分层对应不同的Hive数据库。
[0017]在一种可能的实现方式中，所述数据交换层的元数据目录包括：
[0018]数据源连接，用于业务系统接入数据的特点、提供的访问权限和账号类型，建立各类型数据源的接入连接配置信息，维护DHP数据平台与业务数据库、消息队列或服务器的连接，以及保存进行数据处理和服务分发所配置的代理信息；
[0019]数据源元数据信息，用于存放扫描到的源系统中的元数据信息；
[0020]数据仓库资源，用于保存数据仓库存储的连接信息，为各层物理模型和业务数据落地提供存储资源。
[0021]在一种可能的实现方式中，所述原始数据层的元数据目录包括：
[0022]业务系统数据库实例或Schema，用于根据接入的不同电厂不同业务系统源数据库实例和Schema，建立对应的目录，以及根据源数据库中表信息建立对应的物理模型；
[0023]手工导入的数据库实例或Schema，用于存放手动从业务系统数据库实例或Schema导入的数据；以及根据导入数据来源的数据库实例和Schema名称建立对应的目录，目录下存放导入的手工落地表。
[0024]在一种可能的实现方式中，数据明细层中包括：
[0025]数据格式化处理层：用于对数据交换层中各个电厂不同业务系统的数据根据字段约束分别进行数据清洗、格式转换、去除空值操作，以形成格式化数据；
[0026]数据整合层：按照核电主题域和业务子领域的分类，进行数据领域建模，将不同电厂的数据整合到统一的数据表中。
[0027]在一种可能的实现方式中，所述数据汇总层的数据模型包括主题表、多级汇总表、应用宽表、公共指标库中的一种或多种组合。
[0028]本公开的有益效果在于：本公开的核电工业数据仓库系统采用分层分主题域的方式构建数据中心，以接入来自不同电厂不同业务系统的关系型数据，按照核电数据标准和应用需求，经过分层加工、整合、转换，形成不同层次的数据集，提供给外部应用，便于数据的开发和分析，追踪数据血缘，提高数据模型的复用性。
附图说明
[0029]图1是根据一示例性实施例示出的一种核电工业数据仓库系统的示意图。
[0030]图2是根据一示例性实施例示出的一种核电工业数据仓库在元数据目录层级下为用户分配开发环境目录和生产环境目录。
具体实施方式
[0031]下面结合附图及具体实施例对本专利技术作进一步详细说明。
[0032]本公开提供了一种核电工业数据仓库系统，该种核电工业数据仓库系统包括：
[0033]数据交换层：用于存放数据资源配置相关的元数据。
[0034]原始数据层，用于保存业务系统源数据，并和业务系统源数据库保持同步更新；
[0035]数据明细层：用于根据字段标准，进行数据清洗、格式转换，并按照业务领域和主题域分类，将业务系统中来自不同电厂的数据整合到对应的数据表中；
[0036]数据标准层：用于按照核电领域的数据标准，将数据明细层中经过处理后的数据进行加工和汇总，将与业务相关的字段和属性进行关联，形成统一的核电标准数据；
[0037]数据汇总层：用于以业务为导向，根据业务需求开发模型，输出数据交付物；
[0038]数据集市层：用于对DWD(Data Warehouse Detail)、STD(Standard)、DWS(Data Warehouse Summary)层中数据进行行列级处理后，对外提供应用；
[0039]以及公共维表层：DIM(Dimension)，用于存放各个业务所使用的公共字典编码表、公共维度表等映射信息，用于其他各分层数据的维度关联，方便业务人员查询数据字段含义。
[0040]本实施例中，DHP数据仓库划分为如下7个层次：
[0041]1)数据交换层：Exchange，存放数据资源配置相关的元数据。该层的元数据目录主要包括：
[0042]a本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种核电工业数据仓库系统，其特征在于，所述核电工业数据仓库系统包括：数据交换层：用于存放数据资源配置相关的元数据；原始数据层，用于保存业务系统源数据，并和业务系统源数据库保持同步更新；数据明细层：用于根据字段标准，进行数据清洗、格式转换，并按照业务领域和主题域分类，将业务系统中来自不同电厂的数据整合到对应的数据表中；数据标准层：用于按照核电领域的数据标准，将数据明细层中经过处理后的数据进行加工和汇总，将与业务相关的字段和属性进行关联，形成统一的核电标准数据；数据汇总层：用于以业务为导向，根据业务需求开发模型，输出数据交付物；数据集市层：用于对数据明细层、数据标准层、数据汇总层中数据进行行列级处理后，对外提供应用；公共维表层，用于存放各个业务所使用的公共字典编码表、公共维度表映射信息，还用于其他各分层数据的维度关联。2.根据权利要求1所述的核电工业数据仓库系统，其特征在于，所述核电工业数据仓库系统在元数据目录层级下为用户分配开发环境目录和生产环境目录，所述开发环境目录和生产环境目录中均设有所述数据明细层、所述数据标准层、所述数据汇总层、所述数据集市层以及所述公共维表层，且所述开发环境目录还包括开发加工任务目录以及开发应用交付数据目录；所述生产环境目录还包生产加工任务目录以及生产应用交付数据目录；所述核电工业数据仓库系统获取外部需求，将数据从源数据库抽取到原始数据层后，在开发环境目录下完成作业开发并测试通过后在生产环境目录下对外发布。3.根据权利要求2所述的核电工业数据仓库系统，其特征在于，所述开发环境目录用于将数据迁移、加工、稽核的工作流程运行通过并验证结果数据是否符合预期；所述生产环境目录用于将开发环境目录中验证通过的数据模型和加工任务迁移到生产环境目录并对外提供服务。4.根据权利要求1所述的核电工业数据仓库系统，其特征在于...

【专利技术属性】
技术研发人员：李敏，程敏敏，朱灿，
申请(专利权)人：中核武汉核电运行技术股份有限公司，
类型：发明
国别省市：