数据同步系统和方法技术方案

本发明专利技术公开了一种数据同步系统和方法。系统包括：目标数据层、源数据层和封装处理层，目标数据层和源数据层设有一个或多个数据库，封装处理层包括公共连接池、第一同步模块和第二同步模块，封装处理层用于：响应于SQL型的数据同步任务，将第一配置信息写入公共连接池，并将数据同步任务对应的第二配置信息写入目标同步模块；根据第一配置信息中的数据源类型和第二配置信息中的作业类型确定目标同步组件，根据第一配置信息中的JDBC连接信息访问数据源类型对应的数据库，并利用目标同步组件根据第二配置信息中的配置参数完成数据同步。该系统可解决增加一个作业就要增加一个配置文件的问题，能够节约开发时间和成本，利于加快项目交付进度。

【技术实现步骤摘要】

本专利技术涉及数据同步，尤其涉及一种数据同步系统和方法。

技术介绍

1、目前应用于光伏智慧运维系统的数据同步系统，包含了主要用于在hadoop与传统的关系数据库间进行数据同步的sqoop、异构数据源离线同步工具datax，以及监控数据库的日志变化，通过对行级日志的处理来达到数据同步的debezium。这些数据同步组件均由oozie调度系统统一管理，进行对应的数据同步作业。由于所有的数据同步组件所依赖的配置文件均是不同的格式，需要在后台黑窗口进行对应的文件配置操作，且在组件运维上没有进行统一的管理，这样就存在缺乏统一调度管理和增加开发复杂度的问题，大大浪费了研发的人力成本。

2、随着集中式光伏电站的规模不断扩大，传统的场站光伏智慧运维系统的数据同步系统已经不能满足实际需求，诸如数据来源的多样性以及数据同步任务开发的效率等问题日渐出现，单个数据源的作业流开发需要对应一个同步组件的配置文件，并且部分作业配置复杂繁琐，待作业流积累到一定数量后，后期维护作业也会有很大的麻烦，此类缺陷必然导致研发人员的开发进度会受到影响，耽误项目交付，影响光伏场站系统的运本文档来自技高网...

【技术保护点】

1.一种数据同步系统，其特征在于，包括：目标数据层、源数据层和封装处理层，所述目标数据层设有Hive数据库、关系型数据库和Hbase数据库中的至少一者，所述源数据层设有Hive数据库、关系型数据库和非关系型数据库中的至少一者，所述封装处理层包括公共连接池、第一同步模块和第二同步模块，所述封装处理层用于：

2.根据权利要求1所述的数据同步系统，其特征在于，

3.根据权利要求2所述的数据同步系统，其特征在于，所述数据同步为源关系型数据库至目标关系型数据库的同步时，所述封装处理层用于：

4.根据权利要求2所述的数据同步系统，其特征在于，</p>

5.根据...

【技术特征摘要】

1.一种数据同步系统，其特征在于，包括：目标数据层、源数据层和封装处理层，所述目标数据层设有hive数据库、关系型数据库和hbase数据库中的至少一者，所述源数据层设有hive数据库、关系型数据库和非关系型数据库中的至少一者，所述封装处理层包括公共连接池、第一同步模块和第二同步模块，所述封装处理层用于：

2.根据权利要求1所述的数据同步系统，其特征在于，

3.根据权利要求2所述的数据同步系统，其特征在于，所述数据同步为源关系型数据库至目标关系型数据库的同步时，所述封装处理层用于：

4.根据权利要求2所述的数据同步系统，其特征在于，

5.根据权利要求3或4所述的数据同步系统，其特征在于，所述封装处理层还用...

【专利技术属性】
技术研发人员：洪流，柴东元，李小飞，刘志飞，
申请(专利权)人：尚特杰电力科技有限公司，
类型：发明
国别省市：