海量平台海迅实时库量测数据接入系统技术方案

本发明专利技术公开了一种海量平台海迅实时库量测数据接入系统，属于电力系统数据管理技术领域，包括依次对应的控制模块、接入业务模块和通用模块，其中控制模块用于与数据总线接口进行交互，并对从数据总线接口提取的接收数据进行预处理，形成业务日志；接入业务模块用于对业务日志进行加工、保存、缓存和备份，形成后端日志文件；通用模块用于将形成的后端日志文件进行前端操作处理。本发明专利技术可满足各业务应用对历史数据或准实时数据进行按需存储、整合、共享交换、计算加工以及统一和标准访问的需求。

A massive platform library Haixun real-time measurement data access system

The invention discloses a massive database platform Haixun real-time measurement data access system, belonging to the technical field of power management system includes data, corresponding control module, access service module and common module, the control module is used to interact with the data bus interface, and receive data extracted from the data bus interface for pretreatment. The formation of business log; access service module is used for processing, storage, caching and backup business log form, back-end log file; will form a universal module for back-end log file front-end processing. The invention can meet the needs of storage, integration, sharing, exchanging, computing, processing, unified and standard access of historical data or quasi real time data for each business application on demand.

【技术实现步骤摘要】
海量平台海迅实时库量测数据接入系统
本专利技术涉及一种海量平台海迅实时库量测数据接入系统，属于电力系统数据管理

技术介绍
电网运行基础数据的质量直接决定了各种高级分析与应用的实用化水平，也严重影响电力调度控制的准确性、可靠性及精益性。电力系统随着各省（市）公司和直属单位的调度EMS、电能量、输变电设备状态监测、用户用电信息采集、配电自动化等业务的建设，产生了大量准实时数据，迫切需要建立一整套量测数据接入海迅实时库的系统，以满足各业务应用对历史/准实时数据进行按需存储、整合、共享交换、计算加工以及统一和标准访问的需求。
技术实现思路
本专利技术需要解决的技术问题是提供一种海量平台海迅实时库量测数据接入系统，可满足各业务应用对历史数据或准实时数据进行按需存储、整合、共享交换、计算加工以及统一和标准访问的需求。为解决上述技术问题，本专利技术所采用的技术方案是：一种海量平台海迅实时库量测数据接入系统，包括依次对应的控制模块、接入业务模块和通用模块，其中控制模块用于与数据总线接口进行交互，并对从数据总线接口提取的接收数据进行预处理，形成业务日志；接入业务模块用于对业务日志进行加工、保存、本文档来自技高网...

【技术保护点】
一种海量平台海迅实时库量测数据接入系统，其特征在于：包括依次对应的控制模块、接入业务模块和通用模块，其中控制模块用于与数据总线接口进行交互，并对从数据总线接口提取的接收数据进行预处理，形成业务日志；接入业务模块用于对业务日志进行加工、保存、缓存和备份，形成后端日志文件；通用模块用于将形成的后端日志文件进行前端操作处理。

【技术特征摘要】
1.一种海量平台海迅实时库量测数据接入系统，其特征在于：包括依次对应的控制模块、接入业务模块和通用模块，其中控制模块用于与数据总线接口进行交互，并对从数据总线接口提取的接收数据进行预处理，形成业务日志；接入业务模块用于对业务日志进行加工、保存、缓存和备份，形成后端日志文件；通用模块用于将形成的后端日志文件进行前端操作处理。2.根据权利要求1所述的海量平台海迅实时库量测数据接入系统，其特征在于控制模块的处理步骤为：步骤2.1、数据响应分发：与数据总线接口交互对应连接，用于响应、分发接收数据，形成调用数据；步骤2.2、数据预处理：对调用数据进行预处理，首先对调用数据进行解析转换处理，然后验证调用数据的合法性、完整性和有效性，借此过滤掉非法数据，避免无谓的计算资源浪费，形成有效数据；步骤2.3、数据质量检查：根据数据质量检查规则，为有效数据对应指定检查规则，验证其是否达到接入质量要求，同时设有黑名单/白名单机制，为有特殊需求的有效数据开辟绿色通道；步骤2.4、业务调度控制：根据数据类型，将通过验证的有效数据进行对应性分发；步骤2.5、业务日志处理：处理业务调度控制步骤分发的有效数据，形成业务日志，同时对业务日志的规则进行加载，并记录业务日志的执行情况。3.根据权利要求2所述的海量平台海迅实时库量测数据接入系统，其特征在于：数据质量检查规则包括数据范围检查和数据异常值检查。4.根据权利要求1所述的海量平台海迅实时库量测数据接入系统，其特征在于接入业务模块的处理步骤为：步骤4.1、数据加工：根据数据接入的多样性需求，根据不同侧面特性对业务日志中的日志数据加以描述，为日志数据提供可配置的加工规则加载，以匹配日志数据接入时的不同需求；步骤4.2、数据周期性写入：将经加工后的日志数据，按照固定的频率向海量平台海迅实时库进行数据写入操作；步骤4.3、数据保存：将写入的日志数据适配到海量平台海迅实时库中，并进行日志数据封装；步骤4.4、数据缓存：将写入的日志数据暂时性的保存在缓存区中以供读取和再读取操作，缓存区包括本地缓存区和备机缓存区，本地缓存区用以当内存队列已满时，日志数据第一优先保存的位置，确保日志数据安全；备机缓存区，用于当本地缓存区已满时，日志数据第二优先保存的位置；步骤4.5、备份加载：用于加载经过数据缓存后的数据，包括本地数据加载区和备机数据加载区，本地数据加载区用于当主机负载下降、处理能力上升时，优先加载处理的缓存数据位置；备机数据加载区用于当主机负载下降、处理能力上升时，第二优先加载处理的缓存数据位置。5.根据权利要求4所述的海量平台海迅实时库...

【专利技术属性】
技术研发人员：吴军英，辛锐，周文芳，路欣，刘宏，高丽芳，曹明，陈连栋，陈方正，黄镜宇，
申请(专利权)人：国家电网公司，国网河北省电力公司信息通信分公司，
类型：发明
国别省市：北京,11