一种数据同步方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种数据同步方法、装置、设备及存储介质，其中，所述方法包括：获取数据同步服务系统中第一节点的连接状态；在监控到所述第一节点失去连接的情况下，获取以数据块的形式存储于区块链上的所述第一节点的任务信息；在根据所述任务信息，确定所述第一节点存在待执行数据同步任务的情况下，将所述待执行数据同步任务分配至第二节点，其中，所述第二节点的连接状态为连接。这样，当数据同步执行时，任务信息被记录在区块链中，当有节点掉线宕机时，根据任务信息完成任务的自动恢复以及再分配，保证了在一个数据同步周期内数据同步的完整性。据同步的完整性。据同步的完整性。

A data synchronization method, device, device and storage medium

【技术实现步骤摘要】
一种数据同步方法、装置、设备及存储介质


[0001]本申请实施例涉及信息
，涉及但不限于一种数据同步方法、装置、设备及存储介质。

技术介绍

[0002]随着信息技术的发展，网络用户不断积累，业务越来越多样化，数据呈爆炸性增长，企业的数据存储系统需要与时俱进，新数据存储系统不断更替原有的数据存储系统。在该过程中，需要在新数据存储系统和原有的数据存储系统之间进行数据迁移。

技术实现思路

[0003]有鉴于此，本申请实施例为解决现有技术中存在的至少一个问题而提供一种数据同步方法、装置、设备及存储介质，至少解决了现有技术当集群中某个节点宕机，该节点上分配的正在执行或者未完成的任务无法立即被重新分配到集群中其他节点继续执行，导致在当前周期内整个同步任务的失败的问题。
[0004]本申请的技术方案是这样实现的：
[0005]第一方面，本申请提供一种数据同步方法，包括：监控数据同步服务系统中第一节点的连接状态，其中，所述第一节点为所述数据同步服务系统中的任一节点；在监控到所述第一节点失去连接的情况下，获取以数据块的形式存储于区块链上的所述第一节点的任务信息；在根据所述任务信息确定所述第一节点存在待执行数据同步任务的情况下，将所述待执行数据同步任务分配至所述第二节点，其中，所述第二节点的连接状态为连接。
[0006]第二方面，本申请提供一种数据同步方法，包括：数据同步服务系统中的第一节点接收任务调度管理设备发送的数据同步分片任务，其中，所述第一节点为所述数据同步服务系统中的任一节点；在同步周期内执行所述数据同步分片任务的情况下，所述第一节点向所述任务调度管理设备发送自身的连接状态；其中，在所述任务调度管理设备在监控到所述第一节点失去连接，且根据从区块链上获取的任务信息确定所述第一节点存在待执行数据同步任务的情况下，将所述第一节点上的待执行数据同步任务分配给所述数据同步服务系统中的第二节点；所述第二节点执行所述待执行数据同步任务，以完成所述数据同步，其中，所述第二节点的连接状态为连接。
[0007]第三方面，本申请提供一种数据同步装置，所述装置包括：监控模块，用于监控数据同步服务系统中第一节点的连接状态，其中，所述第一节点为数据同步服务系统中的任一节点；第一获取模块，用于在监控到所述第一节点失去连接的情况下，获取以数据库块的形式存储于区块链上的所述第一节点的任务信息；分配模块，用于在根据所述任务信息确定所述第一节点存在待执行数据同步任务的情况下，将所述待执行数据同步任务分配至第二节点，其中，所述第二节点的连接状态为连接。
[0008]第四方面，本申请提供一种数据同步装置，所述装置包括：第二接收模块，用于接收任务调度管理设备发送的数据同步分片任务；第三发送模块，用于在同步周期内执行所
述数据同步分片任务的情况下，向所述任务调度管理设备发送自身的连接状态；其中，在所述任务调度管理设备在监控到第一节点失去连接，且根据从区块链上获取的任务信息确定所述第一节点存在待执行数据同步任务的情况下，将所述第一节点上的待执行数据同步任务分配给所述数据同步服务系统中的第二节点的执行模块，其中，所述第一节点为所述数据同步服务系统中的任一节点，所述第二节点的连接状态为连接；所述执行模块，用于执行所述待执行数据同步任务，以完成所述数据同步。
[0009]第五方面，本申请提供一种数据同步设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的数据同步方法。
[0010]第六方面，本申请提供一种数据同步存储介质，存储有可执行指令，用于引起处理器执行时，实现上述方法的数据同步方法。
[0011]本申请提供一种数据同步方法、装置、设备及存储介质，首先监控数据同步服务系统中第一节点的连接状态，然后在监控到第一节点失去连接的情况下，获取以数据块的形式存储于区块链上的第一节点的任务信息，最后在根据任务信息确定第一节点存在待执行数据同步任务的情况下，将待执行数据同步任务分配给第二节点，以完成所述数据同步。这样，可以解决节点掉线后同步任务无法自动恢复问题，能够更好的监控整个数据同步任务执行状态以及同步的文件或者表在同步周期内的追踪朔源。当数据同步执行时，任务信息被记录在区块链中，当有节点由于掉线宕机或原因而失去连接时，可以根据任务信息完成任务的自动恢复以及再分配，保证了在一个数据同步周期内数据同步的完整性。
附图说明
[0012]图1A为本申请实施例提供的一种任务调度管理设备和数据同步服务系统的架构示意图；
[0013]图1B为本申请实施例提供的一种数据同步的实现流程示意图；
[0014]图2为本申请实施例提供的一种数据同步的实现流程示意图；
[0015]图3为本申请实施例提供的一种数据同步的实现流程示意图；
[0016]图4为本申请实施例提供的一种数据同步的实现流程示意图；
[0017]图5A为本申请实施例提供的一种数据同步装置的组成结构示意图；
[0018]图5B为本申请实施例提供的一种数据同步装置的组成结构示意图；
[0019]图6为本申请实施例提供的数据同步设备的一种硬件实体示意图。
具体实施方式
[0020]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0021]应当理解，此处所描述的一些实施例仅仅用以解释本申请的技术方案，并不用于限定本申请的技术范围。
[0022]图1A为本申请实施例提供的一种任务调度管理设备和数据同步服务系统的架构示意图，如图1A所示，该架构示意图包括：任务调度管理设备101，包括任务策略配置组件1011和机器管理组件1012；数据同步服务系统102，包括同步解析组件1021和端到端的信息
记录组件1022；区块链103，包括智能合约组件1031和信息存储组件1032，其中：
[0023]任务调度管理设备101，负责整个系统的任务管理。包括任务策略配置组件1011和机器管理组件1012等。任务策略配置组件1011，包括配置节点的心跳信息，任务的执行周期等，任务的处理模式(sleep/notsleep)，任务项和自定义参数等；机器管理组件1012，负责管理分布式集群系统102中集群节点的网际互连协议(Internet Protocol，IP)地址和监听管理集群节点中各节点的状态信息。
[0024]数据同步服务系统102，包括集群节点(分布式集群系统)中的各个节点。这里节点可以是硬件物理设备，也可以是虚拟机。数据同步服务系统102，负责数据源(文件或者数据库表)的数据同步以及端到端的状态记录，按照实现功能分为同步解析组件1021和端到端的信息记录组件1022。其中，同步解析组件1021，负责抽取源文件或者源表的数据，并加载解析规则，对照规则进行源数据的解析转换并导入目标库。端到端的信息记录组件1022，负责记录文件或者表在端到端同步过程中的详细信息，如文件的同步时间，同步大小本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述方法包括：监控数据同步服务系统中第一节点的连接状态；在监控到所述第一节点失去连接的情况下，获取以数据块的形式存储于区块链上的所述第一节点的任务信息；在根据所述任务信息，确定所述第一节点存在待执行数据同步任务的情况下，将所述待执行数据同步任务分配至第二节点，其中，所述第二节点的连接状态为连接。2.如权利要求1所述的方法，其特征在于，在所述监控数据同步服务系统中第一节点的连接状态之前，所述方法还包括：获取所述第一节点的基础信息，其中，所述第一节点的基础信息包括所述第一节点的IP地址、心跳信息和同步周期；根据所述IP地址、所述心跳信息和所述同步周期配置所述第一节点。3.如权利要求1所述的方法，其特征在于，在所述监控数据同步服务系统中第一节点的连接状态之前，所述方法还包括：获取数据同步任务，其中，所述数据同步任务包括数据同步任务项和自定义参数，所述数据同步任务项是用于进行任务分配的单位，所述自定义参数包括正则表达式，用于实现所述数据同步的定制化需求；将所述数据同步任务项和所述自定义参数发送给所述数据同步服务系统中的至少一个节点；接收所述至少一个节点发送的根据所述数据同步任务项和所述自定义参数确定的数据同步分片任务标识；根据所述数据同步分片任务标识确定数据同步分片任务；将所述数据同步分片任务发送给所述数据同步服务系统中的至少一个节点，以实现所述数据同步任务的配置。4.如权利要求1至3所述的任一项方法，其特征在于，所述方法还包括：在根据所述任务信息确定所述第一节点不存在待执行数据同步任务的情况下，将所述第一节点从所述数据同步服务系统中删除；更新保存在所述区块链上的所述任务信息。5.如权利要求4所述的方法，其特征在于，所述第一节点的任务信息包括所述第一节点的分片任务和所述第一节点的状态信息，所述在根据所述任务信息，确定所述第一节点存在待执行数据同步任务的情况下，将所述待执行数据同步任务分配至第二节点，包括：在根据所述第一节点的数据同步分片任务和所述第一节点的状态信息确定所述第一节点存在待执行数据同步任务的情况下，获取所述待执行数据同步任务；根据所述待执行数据同步任务和所述数据同步服务系统中其余节点的分片任务和状态信息确定所述第二节点；将所述待执行数据同步任务分配至第二节点。6.一种数据同步方法，所述方法包括：数据同步服务系统中的第一节点接收任务调度管理设备发送的数据同步分片任务；在同步周期内执行所述数据同步分片任务的情况下，所述第一节点向所述任务调度管理设备发送自身的连接状态；其中，在所述任务调度管理设备在监控到所述第一节点失去
连接，且根据从区块链上获取的任务信息确定所述第一节点存在待执行数据同步任务的情况下，将所述第一节点上...

【专利技术属性】
技术研发人员：翁业早，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：