一种基于区块链技术和大数据的数据同步调度管控系统技术方案

本申请公开了一种基于区块链技术和大数据的数据同步调度管控系统，包括基层单位数据同步调度服务器

【技术实现步骤摘要】
一种基于区块链技术和大数据的数据同步调度管控系统


[0001]本专利技术属于大数据治理和区块链
，涉及一种基于区块链技术和大数据的数据同步调度管控系统
。

技术介绍

[0002]目前，智慧企业发展逐步向以数据资源为驱动力的方向转变，随着业务
、
信息系统的增多，面对大量历史遗留和持续新建的业务系统间数据横向共享
、
纵向交互的需求也在不断增加，为了达成按需数据双向流转与全局联动，具备海量数据收集
、
计算
、
调度
、
管控能力，并为智能分析高层应用提供海量各类数据，同时，通过数字身份实现数据资产的确权，并将数字身份与区块链的智能合约等主体关联，可以实现数据资产的管理
、
转移和交易
。
[0003]目前企业面对解决异地分散系统的数据资源流动性
、
多元异构系统的数据资源联动性及数据贯通的全量数据资源可用性三大难题，各类数据收集困难且标准不统一，数据驱动力效率低下
、
致使企业数据资产价值低
、
对企业在数字经济下提升核心竞争力形成很大阻碍
。

技术实现思路

[0004]为解决现有技术中存在的不足，本专利技术提供一种基于区块链技术和大数据的数据同步调度管控系统，可维护性强，解决了异地分散系统的数据资源流动性
、
多元异构系统的数据资源联动性及数据贯通的全量数据资源可用性三大难题，使得企业可灵活高效地将数据服务于运维保障
、
技术开发
、
业务建设等应用场景，以提高人员工作效率与重塑组织应变能力
。
[0005]本专利技术采用如下的技术方案
。
[0006]一种基于区块链技术和大数据的数据同步调度管控系统，包括基层单位数据同步调度服务器
、
集团数据同步调度服务器
、
电力专线
、
集团大数据平台；
[0007]包括基层单位数据同步调度服务器
、
集团数据同步调度服务器
、
电力专线
、
集团大数据平台；
[0008]所述基层单位数据同步调度服务器，用于部署基层单位数据同步调度系统的数据源接口适配组件和多数据源调度接口适配组件，通过内部网络和基层单位现有的各类数据资源存储层进行通信，由数据源接口适配组件连接并提供容器运行时环境的数据源适配，数据经过电力专线通信环境传输到集团并经集团数据源接口适配组件写入集团现有大数据平台的数据资源存储层中，经电力专线通信环境通过网关与各个基层单位的多数据源调度接口适配组件进行统一服务访问
。
[0009]所述集团数据同步调度服务器，用于部署集团数据同步调度系统的数据源接口适配组件和多数据源调度接口适配组件，以及数据传输同步平台和数据同步管控平台
。
[0010]所述电力专线，用于基层单位与集团数据同步调度系统的各个服务之间的电力专线通信；与基层单位内部局域网构成联盟链；
[0011]所述集团大数据平台，基于
Hadoop
框架的大数据平台，用于基本
Hadoop
集群服务，提供上层所有应用资源管控集群管理，提供分布式存储与计算，集团大数据平台统一对各数据资源进行存储
、
处理
、
分析
。
[0012]优选地，集团的数据源接口适配组件通过电力专线通信环境和基层单位的数据源接口适配组件对接，建立基层单位数据源与集团大数据平台的数据通道；集团多数据源调度接口适配组件通过电力专线通信环境与基层单位多数据源调度接口适配组件的对接；数据传输同步平台用于连通集团大数据平台和各基层单位的大数据平台，集团用户在数据流传输同步平台上方便的按需配置数据流，从基层单位大数据平台同步数据，同时具备数据过滤，数据清洗的功能，还能够通过数据流传输同步平台将集团大数据平台的数据同步到不同的基层单位大数据平台上；数据同步管控平台是集团统一部署的全局服务能力组件，并基于电力专线通信环境通过网关可以与各个基层单位的多数据源调度接口适配组件进行统一服务访问，提供数据资源流转缓存及运行过程监测数据功能；
[0013]优选地，每个基层单位数据同步调度服务器对应一个基层单位企业用户；
[0014]所述基层单位数据同步调度服务器中，数据源适配器获取基层单位数据源的数据库列表及其元数据与特征值信息和数据源连接对应数据库的数据表及其元数据与特征值信息
、
数据源连接对应数据表的行列字段及其元数据与特征值信息
、
数据源连接对应数据表或测点及其元数据与特征值信息
、
数据源连接对应数据表或测点的数据开始时间与结束时间
、
数据源连接指定数据库
、
数据表
、
测点
、
行列
、
标签
、
文件全路径
、
文件名前缀
、
文件偏移量
、
文件时间轴
、
实时数据及数据范围的数据一致性验证；
[0015]所述基层单位数据同步调度服务器中，数据源调度组件支持添加新的数据源时，用户选择和录入此数据源连接定义所必需的信息后，进行数据源连接访问验证，以确定数据源状态是否可连接，且仅当状态为可连接才能完成此数据源的保存操作，对于已添加的数据源，定时进行数据源连接访问验证，以确定数据源状态是否可连接，并更新数据源状态；
[0016]所述基层单位数据同步调度服务器中，数据调度任务组件支持将
PB
级数据从一个数据中心移动到另一个数据中心
、
支持与远程大数据平台的数据交互和同步
、
支持多种数据处理器
、
支持与
Kafka、Flink、HBase、Hive、Impala、Kudu
集成
、
支持数据流展现与编辑功能；
[0017]所述基层单位数据同步调度服务器中，数据资源接口适配组件支持对接不同数据源或终端上的身份认证机制
、
支持数据的解析
/
过滤
/
以及格式转换
、
支持数据的解压
/
压缩
/
合并
/
分割
/
加密
/
解密
、
支持在线编辑数据流，能够中断部分数据源的接入或者输出
、
支持根据优先级
/
动态
/
静态
/
基于内容或元数据的数据路由
、
支持数据溯源，跟踪数据的流向；
[0018]所述基层单位数据同步调度服务器中，数据传输计划组件提供针对集团
、
基层单位的多套同步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于区块链技术和大数据的数据同步调度管控系统，其特征在于：包括基层单位数据同步调度服务器
、
集团数据同步调度服务器
、
电力专线
、
集团大数据平台；所述基层单位数据同步调度服务器，用于部署基层单位数据同步调度系统的数据源接口适配组件和多数据源调度接口适配组件，通过内部网络和基层单位现有的各类数据资源存储层进行通信，由数据源接口适配组件连接并提供容器运行时环境的数据源适配，数据经过电力专线通信环境传输到集团并经集团数据源接口适配组件写入集团现有大数据平台的数据资源存储层中，经电力专线通信环境通过网关与各个基层单位的多数据源调度接口适配组件进行统一服务访问；所述集团数据同步调度服务器，用于部署集团数据同步调度系统的数据源接口适配组件和多数据源调度接口适配组件，以及数据传输同步平台和数据同步管控平台；所述电力专线，用于基层单位与集团数据同步调度系统的各个服务之间的电力专线通信；与基层单位内部局域网构成联盟链；所述集团大数据平台，基于
Hadoop
框架的大数据平台，用于基本
Hadoop
集群服务，提供上层所有应用资源管控集群管理，提供分布式存储与计算，集团大数据平台统一对各数据资源进行存储
、
处理
、
分析
。2.
根据权利要求1所述的一种基于区块链技术和大数据的数据同步调度管控系统，其特征在于：所述集团的数据源接口适配组件通过电力专线通信环境和基层单位的数据源接口适配组件对接，建立基层单位数据源与集团大数据平台的数据通道；集团多数据源调度接口适配组件通过电力专线通信环境与基层单位多数据源调度接口适配组件的对接；所述数据传输同步平台用于连通集团大数据平台和各基层单位的大数据平台，集团用户在数据流传输同步平台上方便的按需配置数据流，从基层单位大数据平台同步数据，同时具备数据过滤，数据清洗的功能，还能够通过数据流传输同步平台将集团大数据平台的数据同步到不同的基层单位大数据平台上；数据同步管控平台是集团统一部署的全局服务能力组件，并基于电力专线通信环境通过网关可以与各个基层单位的多数据源调度接口适配组件进行统一服务访问，提供数据资源流转缓存及运行过程监测数据功能
。3.
根据权利要求1所述的一种基于区块链技术和大数据的数据同步调度管控系统，其特征在于：每个基层单位数据同步调度服务器对应一个基层单位企业用户；所述基层单位数据同步调度服务器中，数据源适配器获取基层单位数据源的数据库列表及其元数据与特征值信息和数据源连接对应数据库的数据表及其元数据与特征值信息
、
数据源连接对应数据表的行列字段及其元数据与特征值信息
、
数据源连接对应数据表或测点及其元数据与特征值信息
、
数据源连接对应数据表或测点的数据开始时间与结束时间
、
数据源连接指定数据库
、
数据表
、
测点
、
行列
、
标签
、
文件全路径
、
文件名前缀
、
文件偏移量
、
文件时间轴
、
实时数据及数据范围的数据一致性验证；所述基层单位数据同步调度服务器中，数据源调度组件支持添加新的数据源时，用户选择和录入此数据源连接定义所必需的信息后，进行数据源连接访问验证，以确定数据源状态是否可连接，且仅当状态为可连接才能完成此数据源的保存操作，对于已添加的数据
源，定时进行数据源连接访问验证，以确定数据源状态是否可连接，并更新数据源状态；所述基层单位数据同步调度服务器中，数据调度任务组件支持将
PB
级数据从一个数据中心移动到另一个数据中心
、
支持与远程大数据平台的数据交互和同步
、
支持多种数据处理器
、
支持与
Kafka、Flink、HBase、Hive、Impala、Kudu
集成
、
支持数据流展现与编辑功能；所述基层单位数据同步调度服务器中，数据资源接口适配组件支持对接不同数据源或终端上的身份认证机制
、
支持数据的解析
/
过滤
/
以及格式转换
、
支持数据的解压
/
压缩
/
合并
/
分割
/
加密
/
解密
、
支持在线编辑数据流，能够中断部分数据源的接入或者输出
、
支持根据优先级
/
动态
/
静态
/
基于内容或元数据的数据路由
、
支持数据溯源，跟踪数据的流向；所述基层单位数据同步调度服务器中，数据传输计划组件提供针对集团
、
基层单位的多套同步调度系统之间的联动数据传输功能，并基于云边协同模式按需定义集团和基层单位数据贯通任务的全局调度计划
、
传输缓存链路
、
数据生命周期
、
数据资源范围
、
负载资源配额系统控制策略与同步调度方案，并按频率周期
、
数据...

【专利技术属性】
技术研发人员：高彦超，忽述彧，谢华，
申请(专利权)人：国能信控互联技术有限公司，
类型：发明
国别省市：