基于数据动态分块的电力静态数据跨区同步方法及系统技术方案

本发明专利技术公开了一种基于数据动态分块的电力静态数据跨区同步方法及系统，其中方法包括：配置同步数据任务的数据源端与数据目的端的数据源定义以及字段映射关系；基于数据源定义和查询参数确定同步数据任务的数据量；基于同步数据任务服务器的配置信息与同步数据任务的数据量，动态建立包括同步数据任务的任务池，并将任务池分配给相关联的同步数据任务服务器；分解同步数据任务服务器相关联的任务池的同步数据任务，生成同步数据任务的多个子任务；动态构建多个子任务的同步任务队列，循环执行同步任务队列中的多个子任务，基于字段映射关系，通过同步数据任务服务器将同步数据存储到指定位置，最终将目标数据从源端完整同步到目的端。到目的端。到目的端。

【技术实现步骤摘要】
基于数据动态分块的电力静态数据跨区同步方法及系统


[0001]本专利技术涉及计算机存储
，更具体地，涉及一种基于数据动态分块的电力静态数据跨区同步方法及系统。

技术介绍

[0002]随着电力信息化的逐步发展，各类电力业务数据的积累日益庞大，尤其是分钟级量测数据的数据接入，打破异构系统的业务数据壁垒，挖掘电力数据的隐藏价值，面向行业内外提供内容增值服务，为智能电网的发展和运营提供了全景性视角和综合性分析方法。
[0003]然而，现有技术中用于面向电力静态数据的基于数据动态分块的数据跨区同步方法，存在以下问题：
[0004]1、基于电力业务数据的安全性考虑，跨区数据访问仅提供数据服务、文本文件等方式，系统需要兼容XML、E格式、JSON等多种数据格式；
[0005]2、缺乏同步任务池的管理，难以有效组织数据同步工作，尤其是在部分数据同步失败的情况下，数据一致性难以保证；
[0006]3、缺乏满足业务校验的数据校核机制，在用户同步的数据被劫持的情况下，无法保证核心数据的准确性，存在一定的安全隐患。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据动态分块的电力静态数据跨区同步方法，所述方法包括：配置同步数据任务的数据源端与数据目的端的数据源定义以及字段映射关系；基于所述数据源定义确定同步数据任务的数据量；基于同步数据任务服务器的配置信息与所述同步数据任务的数据量，动态建立包括所述同步数据任务的任务池，并将所述任务池分配给相关联的同步数据任务服务器；分解同步数据任务服务器相关联的任务池的所述同步数据任务，生成所述同步数据任务的多个子任务；动态构建多个子任务的同步任务队列，循环执行所述同步任务队列中的多个子任务，基于所述字段映射关系，通过同步数据任务服务器将同步数据存储到指定位置，直至子任务执行完毕。2.根据权利要求1所述的方法，所述数据源定义包括：Web数据服务、E格式文件、JSON字符串。3.根据权利要求1所述的方法，所述字段映射关系包括：顺序映射字段名映射、手工关联映射。4.根据权利要求1所述的方法，还包括：对所述同步数据任务进行周期触发或定时触发。5.根据权利要求1所述的方法，还包括：基于同步数据任务服务器的最佳同步数据量，动态建立包括所述同步数据任务的任务池。6.根据权利要求1所述的方法，还包括：将所述同步数据进行标准化转换处理；建立标准化转换处理后的所述同步数据的结构化信息与同步数据任务服务器存储的同步数据的关联。7.根据权利要求1所述的方法，还包括：基于所述字段映射关系，对所述同步数据进行完整性校核，判断存储的目的端的同步数据与同步数据任务中的源端的同步数据的数量是否一致；当目的端的同步数据与同步数据任务中的源端的同步数据的数量为一致时，对目的端的同步数据与同步数据任务中的源端的同步数据的核心字段进行数据校核；当目的端的同步数据与同步数据任务中的源端的同步数据的数量为不一致时，返回重新修改字段映射关系至一致，并重复上一步操作；当核心字段的数据校核结果为一致时，将所述同步数据存储至同步数据任务服务器；当核心字段的数据校核结果为不一致时，返回修改核心字段至一致，并重复上一步操作。8.一种基于数据动态分块的电力静态数据跨区同步...

【专利技术属性】
技术研发人员：郑志伟，裘微江，赵兵，王琦，严剑峰，田芳，黄彦浩，李勤新，
申请(专利权)人：中国电力科学研究院有限公司，
类型：发明
国别省市：