一种对实时数据漏点率统计的方法技术

本发明专利技术公开了一种对实时数据漏点率统计的方法，其包括：将需要接入到实时历史数据库的所有实时数据测点信息存储到oracle表中；接口程序在每一次将断面实时数据提交数据到实时历史数据库时，对更新数据的测点进行更新数据时间点记录，对没有提交实时数据的测点，分别根据SCADA和电能量漏点率公式进行统计；接口程序将每个断面统计的漏点率写入到dss_statistics表中；对dss_statistics表中的漏点率进行全天漏点率平均值统计；当全天漏点率达到20％时，发出告警短信；生成漏点率报表信息并展示。本发明专利技术降低了运维人员的运维难度，提高了数据质量，为业务系统正常使用实时数据打下坚实的基础。

【技术实现步骤摘要】

本专利技术涉及一种对实时数据漏点率统计的方法，本专利技术属于电力系统信息通信

技术介绍
2012年，浙江公司与国网电科院共同承担了国网公司总部科技项目“分布式实时数据库管理系统研发与应用”，同时浙江公司配套了“国产分布式实时数据库管理系统的应用研究”和“海量历史/实时数据库数据服务能力智能优化研究”两个县局试点研究项目。经过试点工作开展，接入了典型应用系统数据，验证了数据接入的安全性、稳定性、可靠性以及可维护性；迁移了现有典型应用，验证了迁移的便捷性；从个性化开发和集中式开发两方面入手，分别在试点地区局以不同的模式开发典型新应用，验证了新应用开发的方便性。因此，浙江电网实时/历史数据平台在总结前期研发、试点的基础上已经具备了全面推广实施的条件。浙江电网实时历史数据管理系统已经接入全省地、市级SCADA系统、电能量系统等多个生产系统的实时数据。随着配网数据的接入，对实时告警的需求也会更多。随着项目开展，大量的实时数据测点接入到了海迅数据库，业务应用对数据质量要求越来越高，需要一种方法能够对数据接入的质量进行实时监控，并在出现问题时能够向维护人员发出告警信息。
技术实现思路
本专利技术目的是通过对数据接入接口的实时数据质量进行监控，记录每次数据写入未写入数据的测点数量，统计每天漏点率的平均值，当漏点率达到阀值时，系统向运维人员发出告警短信，通知运维人员对接口程序及数据源系统进行数据质量检查，降低运维人员的运维难度，提高数据质量，为业务系统正常使用实时数据打下坚实的基础。本专利技术的技术方案如下：一种对实时数据漏点率统计的方法，具体包括如下步骤：步骤一：将需要接入到实时历史数据库应用平台的所有实时数据测点信息，存储到oracle表中；步骤二：接口程序在每一次将断面实时数据提交数据到实时历史数据库时，对更新数据的测点进行更新数据时间点记录，对没有提交实时数据的测点，分别根据SCADA和电能量漏点率公式进行统计；步骤三：建立dss_statistics表，接口程序将每个断面统计的漏点率写入到dss_statistics表中；步骤四：对dss_statistics表中的漏点率进行全天漏点率平均值统计；步骤五：当全天漏点率达到20％时，向系统运维人员发出告警短信；步骤六：生成漏点率报表信息，进行相关信息展示。进一步，所述实时历史数据库应用平台分别和用户端和其他系统端相连；所述用户端包括企业门户单元，所述企业门户单元包括统一身份库模块、应用接入模块和单点登录模块，若干企业用户通过用户端和实时历史数据库应用平台建立联系；所述实时历史数据库应用平台包括系统鉴权服务模块、消息中心平台模块、HTTP服务模块、业务应用模块、基础应用模块、系统接口服务模块、HS数据库平台模块、Oracle数据库模块；所述企业门户的用户同步信息传输至系统鉴权服务模块，系统鉴权服务模块和消息中心平台模块以及业务应用模块相互通信，消息中心平台模块和业务应用模块相互通信；所述应用接入模块通过HTTP服务模块和业务应用模块相互通信，所述单点登录模块通过HTTP服务模块分别与业务应用模块和基础应用模块相连通，业务应用模块分别和基础应用模块、系统接口服务模块以及HS数据库平台模块相互通信，基础应用模块和系统接口服务模块以及Oracle数据库模块相互通信；所述实时历史数据库应用平台的信息输出至包括PMS生产管理系统、营销管理系统、调度管理系统的其他系统端。进一步，所述SCADA的漏点率为：(1-单数据源接口的当前E文件测点数/单数据源接口的测点总数)×100％。进一步，所述电能量的漏点率是当日最后一次补招的漏点率，为：(1-有效正向有功总/电量测点数)×100％，由于电量测点采用了分时压缩，取典型数据进行判断。进一步，数据的漏电情况包括接口名称、漏点率、开始时间和结束时间、漏点原因。本专利技术的有益效果如下：数据漏点统计即为数据质量监控的一种，通过接口运行统计工具实时监测数据接入接口运行情况。经过告警平台进行订阅之后，告警工具将数据漏点率超过20％的接口信息发送给订阅用户，从而使业务人员更好地了解数据运行情况，节约时间成本，提高工作效率。附图说明图1是系统逻辑架构图。图2是数据漏点统计应用界面图。图3是dss_statistics表结构图。图4是本专利技术的架构方案图。具体实施方式下面结合附图对本专利技术作进一步详细说明。本专利技术一种对实时数据漏点率统计的方法的数据漏点率统计方案如下：数据漏点情况展示数据接口漏点率超过20％的接口信息，SCADA的漏点率指的是(1-单数据源接口的当前E文件测点数/单数据源接口的测点总数)×100％；电能量的漏点率指的是当日最后一次补招的漏点率，计算公式：(1-有效正向有功总/电量测点数)×100％(由于电量测点采用了分时压缩，取典型数据进行判断)；数据漏点情况包括：接口名称：接入接口的名称。漏点率：如上述漏点率定义。开始时间和结束时间：统计的起始时间和结束时间。漏点原因：数据接口漏点的原因。该信息经过告警平台进行订阅之后，告警工具将数据漏点率超过20％的接口信息发送给订阅用户。漏电率统计实现方法如下：步骤一：将需要接入到实时历史数据库应用平台的所有实时数据测点信息，存储到oracle表中；步骤二：接口程序在每一次将断面实时数据提交数据到实时历史数据库时，对更新数据的测点进行更新数据时间点记录，对没有提交实时数据的测点，分别根据SCADA和电能量漏点率公式进行统计；步骤三：建立dss_statistics表，接口程序将每个断面统计的漏点率写入到dss_statistics表中；步骤四：实时历史数据库应用平台设置DSS_UPDATE2存储过程，每日凌晨DSS_UPDATE2存储过程对dss_statistics表中的漏点率进行全天漏点率平均值统计；步骤五：实时历史数据库应用平台包含告警API接口，当全天漏点率达到20％时，调用告警API接口，向系统运维人员发出告警短信；步骤六：生成漏点率报表信息，进行相关信息展示。作为本专利技术的实施例，所述实时历史数据库应用平台分别和用户端和其他系统端相连，其系统逻辑架构图如图1所示。用户端包括企业门户单元，所述企业门户单元包括统一身份库模块、应用接入模块和单点登录模块，若干企业用户通过本文档来自技高网...

【技术保护点】
一种对实时数据漏点率统计的方法，具体包括如下步骤：步骤一：将需要接入到实时历史数据库应用平台的所有实时数据测点信息，存储到oracle表中；步骤二：接口程序在每一次将断面实时数据提交数据到实时历史数据库时，对更新数据的测点进行更新数据时间点记录，对没有提交实时数据的测点，分别根据SCADA和电能量漏点率公式进行统计；步骤三：建立dss_statistics表，接口程序将每个断面统计的漏点率写入到dss_statistics表中；步骤四：对dss_statistics表中的漏点率进行全天漏点率平均值统计；步骤五：当全天漏点率达到20％时，向系统运维人员发出告警短信；步骤六：生成漏点率报表信息，进行相关信息展示。

【技术特征摘要】
1.一种对实时数据漏点率统计的方法，具体包括如下步骤：
步骤一：将需要接入到实时历史数据库应用平台的所有实时数据测点信息，存储到oracle
表中；
步骤二：接口程序在每一次将断面实时数据提交数据到实时历史数据库时，对更新数据
的测点进行更新数据时间点记录，对没有提交实时数据的测点，分别根据SCADA和电能量
漏点率公式进行统计；
步骤三：建立dss_statistics表，接口程序将每个断面统计的漏点率写入到dss_statistics
表中；
步骤四：对dss_statistics表中的漏点率进行全天漏点率平均值统计；
步骤五：当全天漏点率达到20％时，向系统运维人员发出告警短信；
步骤六：生成漏点率报表信息，进行相关信息展示。
2.根据权利要求1所述的一种对实时数据漏点率统计的方法，其特征在于：所述实时历史
数据库应用平台分别和用户端和其他系统端相连；
所述用户端包括企业门户单元，所述企业门户单元包括统一身份库模块、应用接入模块
和单点登录模块，若干企业用户通过用户端和实时历史数据库应用平台建立联系；
所述实时历史数据库应用平台包括系统鉴权服务模块、消息中心平台模块、HTTP服务
模块、业务应用模块、基础应用模块、系统接口服务模块、HS数据库平台模块、Oracle数
据库模块；...

【专利技术属性】
技术研发人员：梅峰，王志强，周升，金文德，裴旭斌，韩智伟，顾昊，李贤慧，黄俊惠，邱雄，
申请(专利权)人：国网浙江省电力公司，国网浙江省电力公司信息通信分公司，江苏瑞中数据股份有限公司，
类型：发明
国别省市：浙江;33