一种基于PMS模型的电网海量数据质量校验方法技术

本发明专利技术公开了一种基于PMS模型的电网海量数据质量校验方法，提供一种数据质量校验系统，该系统包括依次互相连接的存储层、引擎层、处理层和展示层，所述存储层包括关系数据库和实时数据库，所述引擎层包括数据传输检测引擎、数据质量检测引擎和数据质量审计引擎，所述处理层包括数据传输检测服务、数据质量检测服务和数据质量审计服务；本发明专利技术通过实时数据交互工具，可以快速完成实时数据的接入功能；根据电网测点模型树并结合多种校验方法针对数据传输状态、数据健康状态等进行综合评价，通过数据质量校验模块，提高各业务系统中数据质量检测准确性，通过数据质量审计模块，提供了可视化、完整性的数据质量审计报告。

【技术实现步骤摘要】
一种基于PMS模型的电网海量数据质量校验方法
本专利技术属于电网运营监测
，具体是涉及一种基于PMS模型的电网海量数据质量校验方法。
技术介绍
在国家电网公司“十二五规划”指导下，海量准实时数据服务平台的建设已完成，在部分省公司，该平台将大量的实时数据导入管理信息大区中，参与信息数据的融合分析，实现对生产管理系统、SCADA、调度自动化、计量表计、在线监测等系统实时类数据的采集、存取和分析，实现了业务数据的分析和高级应用(如线损分析、负荷分析等)。但随着电网自动化系统采集量的不断增大，覆盖范围越来越广，存储数据将成倍增长，对数据的完整性、唯一性、及时性、合法性、一致性和精确性等提出了更加严格的要求以便于大数据挖掘分析促进电网大数据业务的发展。工程生产管理系统(PMS，powerproductionmanagementsystem)是基于统一应用平台PI3000构建，采用B/S和C/S混合模式的多层(具体分为数据层、服务层和表现层)架构系统。PI3000平台是根据SG186工程统一应用平台的指导原则，融合当前业务基础软件平台理念，基于模型驱动和构件化思想研发的一套面向电力行业的业本文档来自技高网...

【技术保护点】
一种基于PMS模型的电网海量数据质量校验方法，其特征在于：提供一种数据质量校验系统，该系统包括依次互相连接的存储层、引擎层、处理层和展示层，所述存储层包括关系数据库和实时数据库，所述引擎层包括数据传输检测引擎、数据质量检测引擎和数据质量审计引擎，所述处理层包括数据传输检测服务、数据质量检测服务和数据质量审计服务；所述方法包括以下步骤：S1数据采集：通过FTP传输E文件的方式采集数据，具体是数据首先进入FTP服务器形成E文件数据，然后该E文件数据进入接口服务器；S2进入存储层：接口服务器内数据随后进入存储层并被存入存储层内实时数据库中；S3进入引擎层：通过引擎层选择数据传输检测引擎；S4进入处理...

【技术特征摘要】
1.一种基于PMS模型的电网海量数据质量校验方法，其特征在于：提供一种数据质量校验系统，该系统包括依次互相连接的存储层、引擎层、处理层和展示层，所述存储层包括关系数据库和实时数据库，所述引擎层包括数据传输检测引擎、数据质量检测引擎和数据质量审计引擎，所述处理层包括数据传输检测服务、数据质量检测服务和数据质量审计服务；所述方法包括以下步骤：S1数据采集：通过FTP传输E文件的方式采集数据，具体是数据首先进入FTP服务器形成E文件数据，然后该E文件数据进入接口服务器；S2进入存储层：接口服务器内数据随后进入存储层并被存入存储层内实时数据库中；S3进入引擎层：通过引擎层选择数据传输检测引擎；S4进入处理层：根据数据传输检测引擎进入数据传输检测服务，具体是检测FTP服务器和接口服务器之间的数据传输状态并将数据传输状态存入存储层内关系数据库中；S5进入引擎层：通过引擎层选择数据质量检测引擎；S6进入处理层：根据数据质量检测引擎进入数据质量检测服务，具体是检测存储层内实时数据库中数据质量情况并将数据质量情况存入存储层内关系数据库中；S7进入引擎层：通过引擎层选择数据质量审计引擎；S8进入处理层：根据数据质量审计引擎进入数据质量审计服务，根据选择的数据源和时间参数调用关系数据库中的数据质量审计报告并查看相关数据质量情况；S9进入展示层：展示层用于展示相关数据质量情况。2.根据权利要求1所述的基于PMS模型的电网海量数据质量校验方法，其特征在于：所述步骤S4包括以下步骤：FTP服务器和接口服务器之间的数据传输状态为FTP中断时，则需报警，现场人员处理该报警...

【专利技术属性】
技术研发人员：胡健，季胜鹏，何阳，李贤慧，林瑶，
申请(专利权)人：江苏瑞中数据股份有限公司，
类型：发明
国别省市：江苏,32