数据同步方法、电子设备及存储介质技术

本申请公开了一种数据同步方法、电子设备及存储介质，应用于分布式系统中的第一节点的数据同步方法包括：通过设定调度器获取待调度的第一数据同步任务；在所述设定调度器调度所述第一数据同步任务的过程中，将所述第一数据同步任务配置为支持FlinkX执行的第一任务，并向所述分布式系统中的至少一个第二节点下发所述第一任务。所述第一任务。所述第一任务。

【技术实现步骤摘要】
数据同步方法、电子设备及存储介质


[0001]本专利技术涉及通信领域，尤其涉及一种数据同步方法、电子设备及存储介质。

技术介绍

[0002]相关技术中，分布式系统通过自带的任务调度框架或第三方任务调度框架进行任务调度，但在调度任务时，任务调度效率较低。例如，分布式系统在通过海豚调度器(Apache DolphinScheduler)调度数据同步任务时，因海豚调度器的数据同步功能仅支持端到端的数据同步，导致分布式系统的任务调度效率较低。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种数据同步方法、电子设备及存储介质，以解决现有技术中，在分布式系统中任务调度效率低的问题。
[0004]为达到上述目的，本专利技术的技术方案是这样实现的：
[0005]本申请实施例提供了一种数据同步方法，应用于分布式系统中的第一节点，所述方法包括：
[0006]通过设定调度器获取待调度的第一数据同步任务；
[0007]在所述设定调度器调度所述第一数据同步任务的过程中，将所述第一数据同步任务配置为支持Flink本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于分布式系统中的第一节点，所述方法包括：通过设定调度器获取待调度的第一数据同步任务；在所述设定调度器调度所述第一数据同步任务的过程中，将所述第一数据同步任务配置为支持FlinkX执行的第一任务，并向所述分布式系统中的至少一个第二节点下发所述第一任务。2.根据权利要求1所述的方法，其特征在于，所述将所述第一数据同步任务配置为支持FlinkX执行的第一任务，包括：基于所述第一数据同步任务的配置信息和FlinkX支持的数据格式，生成第一任务。3.根据权利要求2所述的方法，其特征在于，所述配置信息包括数据源的配置信息、数据目的地的配置信息、系统参数和任务运行参数。4.根据权利要求2或3所述的方法，其特征在于，所述基于所述第一数据同步任务的配置信息和FlinkX支持的数据格式，生成第一任务，包括：按照FlinkX支持的JSON数据格式，对所述第一数据同步任务的配置信息进行处理，得到第一任务。5.一种数据同步方法，其特征在于，应用于分布式系统中的第二节点，所述方法包括：接收第一节点下发的第一任务；其中，所述第一任务由所述第一节点在通过设定调度器调度对应的第一数据同步任务的过程中生成；所述第一任务表征由FlinkX执行的所述第一数据同步任务；调用FlinkX执行所述第一任务。6.根据权利要求5所述的方法，其特征在于，所述第一任务携带所述第一数据同步任务的配置信息，所述调用FlinkX执行所述第一任务，包括：通过所述设定调度器基于所述配置信息生成任务描述文件；通过所述设定调度器调用FlinkX，基于所述任务描述文件执行所述第一任务。7.根据权利要求5所述的方法，其特征在于，在所述接收第一节点下发的第一任务之后，所述方法还包括：将所述第一任务的日志从YARN重定向至FlinkX。8.根据权利5至7任一项所述的方法，其特征在于，所述调用FlinkX执...

【专利技术属性】
技术研发人员：赵小雄，林攀学，翟智强，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：