一种电力实验室数字化过程管控系统及方法技术方案

一种电力实验室数字化过程管控系统及方法，系统包括：业务数据库，由检测资源库、检测业务库、试验数据库组成；数据指标库，包括数据指标以及指标数据库，数据指标根据数据应用对象和应用目的，基于业务数据库进行梳理、归纳和定义，并结合数据指标之间的依赖关系和聚类关系形成元数据；指标数据库定义指标数据库结构，基于元数据并通过ETL工具进行业务数据库的数据抽取、转换而形成；数据可视化组件，根据数据指标的数据特征，对指标数据库中的数据进行展示，并根据多层级应用对象经营和管理需求，对数据进行多维探索和联动交互，获得分析结果。本发明专利技术可以对数据进行聚合以及分析，并可视化展示，提升实验室过程管控的效率和效果。果。果。

【技术实现步骤摘要】
一种电力实验室数字化过程管控系统及方法


[0001]本专利技术属于数据分析领域，具体涉及一种电力实验室数字化过程管控系统及方法。

技术介绍

[0002]通常，实验室信息管理系统是以数据库为核心的信息化技术与实验室管理需求相结合的信息化管理系统。实验室是获取数据并对数据进行科学分析的场所，实验室工作流程的规范性在组织中是较好的，因此为实验室进行信息化建设和量化管理提供了可能和基础。实验室信息管理系统是实验室管理科学与现代信息技术结合的产物，是利用计算机网络技术、数据存储技术、快速数据处理技术等，对实验室进行全方位管理的计算机软件和硬件系统。
[0003]而电力大数据是大数据技术在电力行业的实践应用，涉及产、输、变、配、用、调等多个环节。电力大数据由两类数据组合而成，一类是结构化数据，另一类是非结构化数据。近年来，随着智能发电建设力度的逐步加大，以及对物联网技术的广泛应用，使得电力行业中非结构化数据的比重持续增长，在量级上己经超过了结构化数据。电力大数据具备大数据技术的典型特征，即数据量大、数据类型多、处理速度快、准确性高和价值大。这使得电力大数据中的关键技术有数据挖掘、数据可视化、高性能计算和统计分析。
[0004]目前，大部分电力科学研究实验室中的业务、体系、试验等数据都是离散存储、离散展示，相互之间几乎没有关联，数据直接通过生产数据库来提取，没有经过聚合、分析处理，无法体现出数据的价值，更无法对相关实验室的经营决策提供支撑。

技术实现思路

[0005]本专利技术的目的在于针对上述现有技术中的问题，提供一种电力实验室数字化过程管控系统及方法，通过数据指标表征检测工作，可以对数据进行聚合以及分析，并可视化展示，为实验室精细化管理各个环节提供依据，提升实验室过程管控的效率和效果。
[0006]为了实现上述目的，本专利技术有如下的技术方案：
[0007]第一方面，提供一种电力实验室数字化过程管控系统，包括：
[0008]业务数据库，由检测资源库、检测业务库、试验数据库组成；
[0009]数据指标库，包括数据指标以及指标数据库，所述数据指标根据数据应用对象和应用目的，基于业务数据库进行梳理、归纳和定义，并结合数据指标之间的依赖关系和聚类关系，形成元数据；所述指标数据库基于数据指标和多层级管理要求定义指标数据库结构，基于元数据并通过ETL工具进行业务数据库的数据抽取、转换而形成；
[0010]数据可视化组件，根据数据指标的数据特征，对指标数据库中的数据进行展示，并根据多层级应用对象经营和管理需求，对数据进行多维探索和联动交互，获得分析结果；
[0011]数据可视化终端，配合数据可视化组件通过不同类型终端向数据应用对象进行展示。
[0012]作为一种优选方案，所述数据指标包括：
[0013]指标代码：为数据指标唯一性标识；
[0014]指标名称：为数据指标名称；
[0015]指标定义：描述指标数据特征；
[0016]对口业务：包括业务管理、人员管理、设备管理、客户管理、经营管理、体系管理；
[0017]指标层级：包括院、研究所、实验室、客户、监管机构、社会公众层级；
[0018]指标类别：包括规模、效率、效益、风控；
[0019]指标属性：包括趋势和预测、相关性分析、聚类分析；
[0020]计算公式：为数据指标数据的数据源、计算方法与公式；
[0021]取数频度：包括年、季、月、周、日、近一年、近一月、当年、当月、当日、自定义。作为一种优选方案，所述指标数据库中的数据来源于关系数据库、文本数据或第三方数据接口。
[0022]更进一步的，所述指标数据库中的数据来源于关系数据库时，采用Kettle ETL工具进行数据抽取，根据数据指标定义，编写数据抽取、转换脚本，根据取数频度设置抽取时机和频度，实现数据自动抽取和转换，通过数据指标的元数据完成转换后的数据写入指标数据库。
[0023]更进一步的，所述指标数据库中的数据来源于文本数据时，采用Python进行数据抽取、清洗、转换和入库。
[0024]更进一步的，所述指标数据库中的数据来源于第三方数据接口时，通过调用第三方数据接口实现数据获取，完成数据过滤和转换，依托数据指标元数据将解析后的数据写入指标数据库。
[0025]作为一种优选方案，所述数据可视化组件包括图形组件和表格组件，所述图形组件包括柱形图、雷达图、散点图、气泡图、折线图、面积图、日历图、饼图以及圆环图。
[0026]作为一种优选方案，所述数据可视化组件采用OLAP对数据进行多维探索和联动交互，所述多维探索和联动交互包括对数据进行钻取、上卷、切片、切块、旋转、钻过及钻透。
[0027]作为一种优选方案，所述数据可视化终端包括管理视图、管理大屏、决策看板、任务看板及移动看板，采用PC、PAD或LED屏呈现。
[0028]第二方面，提供一种基于所述电力实验室数字化过程管控系统的管控方法，包括以下步骤：
[0029]从检测资源、检测业务数据和试验数据获取指标数据；
[0030]根据指标数据来源于关系数据库、文本数据源还是第三方数据接口，按如下对应方式进行数据抽取、转换，生成指标数据库：
[0031](a)当数据来源于关系数据库时，采用Kettle ETL工具进行数据抽取；根据数据指标定义，编写数据抽取、转换脚本，根据取数频度设置抽取时机和频度，实现数据自动抽取和转换，通过数据指标元数据完成转换后的数据写入指标数据库；
[0032](b)当数据来源于文本数据时，采用Python进行数据抽取、清洗、转换和入库，包括：
[0033]使用Pandas或大文本数据分析库Polars进行数据抽取，根据文件类型以及文件储存格式特点，将文件内容解析为Series或DataFrame数据结构；
[0034]进行数据清理；
[0035]根据需求使用科学计算库Numpy将分析内容转化为N维数组对象Array，进行计算；
[0036]依托数据指标元数据，使用Pandas或Numpy将解析后的数据写入到指标数据库中；
[0037](c)当数据来源于第三方数据接口时，通过调用第三方数据接口实现数据获取，完成数据过滤和转换，依托数据指标元数据将解析后的数据写入指标数据库；
[0038]根据数据指标的数据特征，对指标数据库中的数据进行展示，并根据多层级应用对象经营和管理需求，对数据进行多维探索和联动交互，获得分析结果进行展示。
[0039]相较于现有技术，本专利技术至少具有如下的有益效果：
[0040]由检测资源库、检测业务库、试验数据库组成业务数据库，将碎片化的数据进行整理、聚合，形成数据指标，通过系统化的数据指标表征检测工作，具体的，根据数据应用对象和应用目的，基于业务数据库梳理、归纳和定义数据指标，并结合数据指标之间的依赖关系和聚类关系，形成元数据。同时基于数据指标和多层级管理要求定义指标数据库结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电力实验室数字化过程管控系统，其特征在于，包括：业务数据库，由检测资源库、检测业务库、试验数据库组成；数据指标库，包括数据指标以及指标数据库，所述数据指标根据数据应用对象和应用目的，基于业务数据库进行梳理、归纳和定义，并结合数据指标之间的依赖关系和聚类关系，形成元数据；所述指标数据库基于数据指标和多层级管理要求定义指标数据库结构，基于元数据并通过ETL工具进行业务数据库的数据抽取、转换而形成；数据可视化组件，根据数据指标的数据特征，对指标数据库中的数据进行展示，并根据多层级应用对象经营和管理需求，对数据进行多维探索和联动交互，获得分析结果；数据可视化终端，配合数据可视化组件通过不同类型终端向数据应用对象进行展示。2.根据权利要求1所述电力实验室数字化过程管控系统，其特征在于，数据指标包括：指标代码：为数据指标唯一性标识；指标名称：为数据指标名称；指标定义：描述指标数据特征；对口业务：包括业务管理、人员管理、设备管理、客户管理、经营管理、体系管理；指标层级：包括院、研究所、实验室、客户、监管机构、社会公众层级；指标类别：包括规模、效率、效益、风控；指标属性：包括趋势和预测、相关性分析、聚类分析；计算公式：为数据指标数据的数据源、计算方法与公式；取数频度：包括年、季、月、周、日、近一年、近一月、当年、当月、当日、自定义。3.根据权利要求1所述电力实验室数字化过程管控系统，其特征在于，所述指标数据库中的数据来源于关系数据库、文本数据或第三方数据接口。4.根据权利要求3所述电力实验室数字化过程管控系统，其特征在于，所述指标数据库中的数据来源于关系数据库时，采用Kettle ETL工具进行数据抽取，根据数据指标定义，编写数据抽取、转换脚本，根据取数频度设置抽取时机和频度，实现数据自动抽取和转换，通过数据指标的元数据完成转换后的数据写入指标数据库。5.根据权利要求3所述电力实验室数字化过程管控系统，其特征在于，所述指标数据库中的数据来源于文本数据时，采用Python进行数据抽取、清洗、转换和入库。6.根据权利要求3所述电力实验室数字化过程管控系统，其特征在于，所述指标数据库中的数据来源于第三方数据接口时，通过调用第三方数据接口实现数据获取，完...

【专利技术属性】
技术研发人员：孟静，陈昊，白静芬，张丽，杨玉博，岑炜，段永贤，耿爱玲，宋晓卉，蒋依芹，徐熙彤，葛亚男，李华，贾福泉，李宗嵘，王猛，张争明，
申请(专利权)人：中国电力科学研究院有限公司，
类型：发明
国别省市：