【技术实现步骤摘要】
本专利技术涉及一种多元异构数据同步方法及系统，尤其涉及一种变电站监控系统多元异构数据同步方法及系统。
技术介绍
1、多元异构数据作为混合型数据集合，由不同类型、不同格式的数据组合而成，包括结构化数据和非结构化数据。考虑时间因素和存储模式对数据处理的影响，结构化数据可分为持久化存储和非持久化存储两种。对于新一代变电站监控系统而言，持久化存储的结构化数据一般指核心业务系统的模型数据，包括各类电网一二次设备名称、参数等，采用传统的关系型数据库系统进行存储和访问；非持久化存储的结构化数据一般指scada系统处理的实时数据，由于数据读写性能要求较高，多采用自研实时数据库或内存实时数据库进行存储。非结构化数据主要包括模型、图形、故障录波、历史日志等文件数据，一般都需要进行持久化存储，但考虑对处理时间的要求相对较低，一般通过分布式文件系统进行统一存储。
2、新一代变电站监控系统作为典型的分布式系统，主辅一体化监控主机和综合应用主机的实时数据库处理非持久化存储的结构化数据，关系数据库处理持久化存储的结构化数据，文件数据库处理持久化存储的非结构化数据。分布式系统为保证不同节点间数据访问的一致性，各节点需要对数据库进行同步操作。实时数据库和关系数据库存储的结构化数据目前多采用面向数据库系统本身的数据同步方法，主机节点在获取数据处理请求后，利用自身的运算能力完成分析计算，并将结果存入所在节点的实时数据库或者关系数据库中，然后该节点再对待同步节点的实时数据库或者关系数据库进行数据分发和同步，从而实现各节点之间结构化数据的一致性访问。该类同步
技术实现思路
1、专利技术目的：本专利技术目的是提供一种变电站监控系统多元异构数据同步方法及系统，将待同步数据分为结构化数据和非结构化数据两类，并根据存储特性的不同，分别设计不同的同步策略。
2、技术方案：本专利技术包括：结构化数据同步和非结构化数据同步；结构化数据同步将同步源节点各应用调用的结构化数据处理接口进行统一封装，构建结构化同步数据缓存队列，通过分包模块向待同步节点发送结构化数据同步数据包，待同步节点接收到结构化数据同步数据包后进行组包处理，获得完整结构化同步数据后进行再次调用；非结构化数据同步将文件内容从关系数据库中剥离，文件内容统一存储在监控系统节点指定的磁盘目录中并通过非结构化数据同步方法进行多节点数据同步。
3、所述结构化数据同步具体包括以下步骤：结构化同步数据封装；结构化同步数据缓存和结构化同步数据分、组包处理。
4、所述结构化数据同步包含待处理数据内容本身和处理该数据内容所调用的处理过程。
5、所述结构化数据同步用到的数据模型包括结构化数据处理函数和结构化数据输入参数，通过对结构化数据处理函数和输入参数的定义，将具体调用过程和数据封装成结构化数据同步数据包。
6、所述结构化数据处理函数包括函数名称常量、函数参数个数和参数结构体数组。
7、所述结构化数据输入参数包括参数类型、参数大小以及参数内容。
8、所述结构化同步数据缓存通过共享内存方式构建，各应用提交的结构化同步数据处理请求经过封装后，统一存放在结构化同步数据缓存中。
9、所述结构化同步数据分、组包处理包括分包处理模块和组包处理模块，所述分包处理模块部署于同步源节点，获取当前结构化同步数据缓存全部数据；所述组包处理模块部署于待同步节点，依次获取结构化同步数据包。
10、所述同步源节点中，当需要同步的结构化数据处理请求产生后，首先对请求的存储类型进行判别，如果为非持久化存储类型，则采用非阻塞方式进行同步，如果为持久化存储类型，则采用阻塞方式进行同步。
11、一种变电站监控系统多元异构数据同步系统，用以实现一种变电站监控系统多元异构数据同步方法。
12、有益效果：本专利技术具有以下优点：
13、1、本专利技术将新一代变电站监控系统待同步数据分为结构化数据和非结构化数据，根据时间因素和存储模式对数据处理的影响，结构化数据可分为持久化存储和非持久化存储两种；结构化数据基于调用过程和待同步数据的统一封装，实现面向过程的主动触发式同步；非结构化数据基于改进的cdc算法，提升数据分块效率，实现差异数据的增量同步，从而有效减少重复数据发送，提高整体同步效率；
14、2、本专利技术面向的非持久化存储的结构化数据一般指scada系统处理的实时数据，支持自研实时数据库或内存实时数据库的高性能读写同步过程；非结构化数据一般指文件数据，克服原有通过关系数据库的大字段类型进行文件数据存储同步对系统整体处理性能带来的压力，满足新一代变电站监控系统大文件同步的应用需求；
15、3、本专利技术将待同步数据从源头进行同步处理，减少数据库系统的压力，支持多节点间双向触发式同步，满足新一代变电站监控系统平台对不同分区数据共享融合的需求。
本文档来自技高网...【技术保护点】
1.一种变电站监控系统多元异构数据同步方法，其特征在于，包括：结构化数据同步和非结构化数据同步；结构化数据同步将同步源节点各应用调用的结构化数据处理接口进行统一封装，构建结构化同步数据缓存队列，通过分包模块向待同步节点发送结构化数据同步数据包，待同步节点接收到结构化数据同步数据包后进行组包处理，获得完整结构化同步数据后进行再次调用；非结构化数据同步将文件内容从关系数据库中剥离，文件内容统一存储在监控系统节点指定的磁盘目录中并通过非结构化数据同步方法进行多节点数据同步。
2.根据权利要求1所述的一种变电站监控系统多元异构数据同步方法，其特征在于，所述结构化数据同步具体包括以下步骤：结构化同步数据封装；结构化同步数据缓存和结构化同步数据分、组包处理。
3.根据权利要求2所述的一种变电站监控系统多元异构数据同步方法，其特征在于，所述结构化数据同步包含待处理数据内容本身和处理该数据内容所调用的处理过程。
4.根据权利要求2所述的一种变电站监控系统多元异构数据同步方法，其特征在于，所述结构化数据同步用到的数据模型包括结构化数据处理函数和结构化数据输入参数
5.根据权利要求4所述的一种变电站监控系统多元异构数据同步方法，其特征在于，所述结构化数据处理函数包括函数名称常量、函数参数个数和参数结构体数组。
6.根据权利要求4所述的一种变电站监控系统多元异构数据同步方法，其特征在于，所述结构化数据输入参数包括参数类型、参数大小以及参数内容。
7.根据权利要求2所述的一种变电站监控系统多元异构数据同步方法，其特征在于，所述结构化同步数据缓存通过共享内存方式构建，各应用提交的结构化同步数据处理请求经过封装后，统一存放在结构化同步数据缓存中。
8.根据权利要求2所述的一种变电站监控系统多元异构数据同步方法，其特征在于，所述结构化同步数据分、组包处理包括分包处理模块和组包处理模块，所述分包处理模块部署于同步源节点，获取当前结构化同步数据缓存全部数据；所述组包处理模块部署于待同步节点，依次获取结构化同步数据包。
9.根据权利要求1所述的一种变电站监控系统多元异构数据同步方法，其特征在于，所述同步源节点中，当需要同步的结构化数据处理请求产生后，首先对请求的存储类型进行判别，如果为非持久化存储类型，则采用非阻塞方式进行同步，如果为持久化存储类型，则采用阻塞方式进行同步。
10.一种变电站监控系统多元异构数据同步系统，其特征在于，该系统用以实现权利要求1～9任一项所述的一种变电站监控系统多元异构数据同步方法。
...【技术特征摘要】
1.一种变电站监控系统多元异构数据同步方法，其特征在于，包括：结构化数据同步和非结构化数据同步；结构化数据同步将同步源节点各应用调用的结构化数据处理接口进行统一封装，构建结构化同步数据缓存队列，通过分包模块向待同步节点发送结构化数据同步数据包，待同步节点接收到结构化数据同步数据包后进行组包处理，获得完整结构化同步数据后进行再次调用；非结构化数据同步将文件内容从关系数据库中剥离，文件内容统一存储在监控系统节点指定的磁盘目录中并通过非结构化数据同步方法进行多节点数据同步。
2.根据权利要求1所述的一种变电站监控系统多元异构数据同步方法，其特征在于，所述结构化数据同步具体包括以下步骤：结构化同步数据封装；结构化同步数据缓存和结构化同步数据分、组包处理。
3.根据权利要求2所述的一种变电站监控系统多元异构数据同步方法，其特征在于，所述结构化数据同步包含待处理数据内容本身和处理该数据内容所调用的处理过程。
4.根据权利要求2所述的一种变电站监控系统多元异构数据同步方法，其特征在于，所述结构化数据同步用到的数据模型包括结构化数据处理函数和结构化数据输入参数，通过对结构化数据处理函数和输入参数的定义，将具体调用过程和数据封装成结构化数据同步数据包。
5.根据权利要求4所述的一种变电站监控系统多元异构数据同...
【专利技术属性】
技术研发人员：刁东宇，李照国，张婷，琚璐，刘泽晨，叶中玉，沈健，潘洪湘，
申请(专利权)人：国电南瑞南京控制系统有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。