一种电网集中式纪检数据管理方法及系统技术方案

本发明专利技术公开了一种电网集中式纪检数据管理方法及系统，包括纪检数据管理系统，纪检数据管理系统包含数据整合模块、数据收集模块、数据治理模块和数据管理模块，数据整合模块包括数据分类和数据标签，数据收集模块包括数据收集接口、数据收集队列、查询子系统数据和文件导入四种方式，数据治理包括空值检查、规范性检查和重复性检查，数据管理模块包括数据查询、质量管控、数据备份、数据血缘和数据安全。本发明专利技术能够将分散在各个系统中纪检所需数据进行收集治理，形成统一的数据格式及标准，并对纪检关注的数据及指标建立子系统数据数据与纪检数据的血缘关系，定期对收集到的数据进行清洗，并统一进行数据备份管理，提升纪检数据的管理质量。据的管理质量。据的管理质量。

【技术实现步骤摘要】
一种电网集中式纪检数据管理方法及系统


[0001]本专利技术涉及电子信息技术及数据处理
，特别涉及一种电网集中式纪检数据管理方法及系统。

技术介绍

[0002]在现有技术中，纪检相关数据十分繁杂，纪检关注的指标数据可能在一个或多个生产系统之中，无法直观的向纪检人员化呈现数据，各系统的权限设置也可能不同，增大纪检人员检查难度；同时各系统中的数据质量各异，数据规范性及标准也都不相同，在需要跨多个系统整合数据时会出现数据格式、计量单位等不统一的情况，增大纪检指标检查难度；而且各系统对自身数据的备份方式，备份周期各不相同。无法形成对数据的统一管理，对问题的排查追溯可能造成一定的影响，针对纪检所关注指标数据来源，无法确定明确的血缘关系，无统一系统进行管理。
[0003]为此，我们提出一种电网集中式纪检数据管理方法及系统。

技术实现思路

[0004]本专利技术的目的在于提供一种电网集中式纪检数据管理方法及系统，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种电网集中式纪检数据管理方法及系统，包括纪检数据管理系统，所述纪检数据管理系统包含数据整合模块、数据收集模块、数据治理模块和数据管理模块；
[0006]所述数据整合模块包括数据分类和数据标签，对收集的数据进行标签分类，以此可以建立检索索引，提升纪检数据、指标的可查询性，所述数据收集模块包括数据收集接口、数据收集队列、查询子系统数据和文件导入四种方式，扩大数据收集的手段及途径，实现对各系统信息的收集，所述数据治理包括空值检查、规范性检查和重复性检查，对数据收集模块收集的数据进行校验，实现数据的清洗，得到真实有效数据，所述数据管理模块包括数据查询、质量管控、数据备份、数据血缘和数据安全，对纪检数据进行管理，可为其他系统提供准确有效的纪检相关数据支持，为整体纪检体系赋能。
[0007]优选的，所述数据标签是指对收集到的数据赋予纪检相关的数据标签，完善数据的意义，提升数据价值，所述数据分类是对赋予数据标签的数据根据标签分类，建立数据检索索引，提升纪检数据、指标的可查询性，即可通过标签、标签组合查询到实际数据。
[0008]优选的，所述数据治理模块是通过建立数据格式校验模块，对收集的数据进行严格的格式校验及数据清洗，保证收集到的数据真实可用，防止收集到无效或与纪检无关的数据。
[0009]优选的，所述空值检查为对数据中的空值数据、无关纪检数据等进行甄别；
[0010]所述规范性检查为对数据的计量单位、浮点型数据精度进行同一转换，对异常值数据进行处理，保证储存至纪检管理系统的数据格式统一；
[0011]所述重复性检查为对数据中重复的数据进行清理，保证数据的唯一性。
[0012]优选的，所述数据收集接口是指各个生产系统及数据中台将纪检所关注的数据，通过接口方式传递至纪检数据管理系统，所述数据收集接口需建立严格权限校验机制，防止他人利用接口恶意破坏及攻击。
[0013]优选的，所述数据收集队列是指各个生产系统及数据中台可通过消息队列机制将纪检所关联的数据推送至纪检数据管理系统。
[0014]优选的，所述查询子系统数据是指在各生产系统及数据中台运行过程中存在的数据交互的接口，按照数据系统的数据接口格式对关注的数据进行查询。
[0015]优选的，所述文件导入是指通过SQL文件、EXCEL文件、JSON格式文件等方式，将数据导入至纪检数据管理系统。
[0016]优选的，所述数据查询是指在数据管理模块中建立查询接口，可对外提供查询服务，提供标准的接口鉴权方式，保证数据及接口安全；
[0017]所述治理管控是指建立管控模块，提供可配置化的数据治理检查规则，通过脚本定期对数据质量进行自动检查，同时评估出各数据来源的质量情况；
[0018]所述数据备份是指建立备份机制，定期对纪检数据管理系统中的数据进行备份，保证数据的可用性及灾备处理；
[0019]所述数据血缘是指建立数据血缘关系，将数据来源与数据进行绑定，确定收集到的数据在各个生产系统及数据中台的位置；
[0020]所述数据安全是指通过建立的安全机制对纪检相关的敏感数据，进行加密储存，对向外数据的敏感数据进行脱敏处理。
[0021]本专利技术的技术效果和优点：
[0022]本专利技术能够将分散在各个系统中纪检所关注数据和纪检指标所关联的数据通过技术手段进行收集，并对数据进行治理，形成统一的数据格式及标准，并对纪检关注的数据及指标建立子系统数据数据与纪检数据的血缘关系，从而提升数据的可查性，对纪检数据进行统一的管理，定期对收集到的数据进行清洗，并统一进行数据备份管理，从而形成一套完善的电网集中式纪检数据管理方法及系统，提升纪检数据的管理质量。
附图说明
[0023]图1为本专利技术主体框架系统图。
[0024]图2为本专利技术数据整合模块系统图。
[0025]图3为本专利技术数据收集模块系统图。
[0026]图4为本专利技术数据治理模块系统图。
[0027]图5为本专利技术数据管理模块系统图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]本专利技术提供了如图1
‑
5所示的一种电网集中式纪检数据管理方法及系统，包括纪检数据管理系统，纪检数据管理系统包含数据整合模块、数据收集模块、数据治理模块和数据管理模块，通过数据收集模块，能够对各系统信息的收集，使得原本分散的纪检数据汇聚到统一的平台，方便了纪检数据的获取及管理，数据整合模块可为数据添加标签进行分类，使纪检数据的可查询性有所提高，可通过标签及标签组合快速查找相关纪检指标关联的数据，为纪检工作提供了有力关键数据支撑，然后通过数据治理模块，使数据格式有了统一标准，杜绝了重复数据、空数据、无效数据等情况，最后通过数据管理模块建立的纪检数据查询服务，建立数据血缘关系，可为其他系统提供准确有效的纪检相关数据支持，为整个纪检体系赋能。
[0030]数据收集模块包括数据收集接口、数据收集队列、查询子系统数据和文件导入四种方式，通过四种收集方式能够扩大数据收集的手段及途径，实现对各系统信息的收集，数据收集接口是指各个生产系统及数据中台将纪检所关注的数据，通过接口方式传递至纪检数据管理系统，数据收集接口需建立严格权限校验机制，防止他人利用接口恶意破坏及攻击；数据收集队列是指各个生产系统及数据中台可通过消息队列机制将纪检所关联的数据推送至纪检数据管理系统；查询子系统数据是指在各生产系统及数据中台运行过程中存在的数据交互的接口，按照数据系统的数据接口格式对关注的数据进行查询；文件导入是指通过SQL文件、EXCEL文件、JSON格式文件等方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电网集中式纪检数据管理方法及系统，包括纪检数据管理系统，其特征在于，所述纪检数据管理系统包含数据整合模块、数据收集模块、数据治理模块和数据管理模块；所述数据整合模块包括数据分类和数据标签，对收集的数据进行标签分类，以此可以建立检索索引，提升纪检数据、指标的可查询性，所述数据收集模块包括数据收集接口、数据收集队列、查询子系统数据和文件导入四种方式，扩大数据收集的手段及途径，实现对各系统信息的收集，所述数据治理包括空值检查、规范性检查和重复性检查，对数据收集模块收集的数据进行校验，实现数据的清洗，得到真实有效数据，所述数据管理模块包括数据查询、质量管控、数据备份、数据血缘和数据安全，对纪检数据进行管理，可为其他系统提供准确有效的纪检相关数据支持，为整体纪检体系赋能。2.根据权利要求1所述的一种电网集中式纪检数据管理方法及系统，其特征在于，所述数据标签是指对收集到的数据赋予纪检相关的数据标签，完善数据的意义，提升数据价值，所述数据分类是对赋予数据标签的数据根据标签分类，建立数据检索索引，提升纪检数据、指标的可查询性，即可通过标签、标签组合查询到实际数据。3.根据权利要求1所述的一种电网集中式纪检数据管理方法及系统，其特征在于，所述数据治理模块是通过建立数据格式校验模块，对收集的数据进行严格的格式校验及数据清洗，保证收集到的数据真实可用，防止收集到无效或与纪检无关的数据。4.根据权利要求1所述的一种电网集中式纪检数据管理方法及系统，其特征在于，所述空值检查为对数据中的空值数据、无关纪检数据等进行甄别；所述规范性检查为对数据的计量单位、浮点型数据精度进行同一转换，对异常值数据进行处理，保证储存至纪检管理系统的数据格式统一；所述重复性检查为对数据中重复的数...

【专利技术属性】
技术研发人员：赵雷雷，刘炳超，姜姝宇，苗威，于长生，余成功，周立娜，刘凌宇，张馨元，张丁文，程帅，张钰，金泽洙，
申请(专利权)人：国网吉林省电力有限公司信息通信公司，
类型：发明
国别省市：