异构数据的同步方法、设备及计算机可读存储介质技术

技术编号:42685792 阅读:26 留言:0更新日期:2024-09-10 12:34
本发明专利技术公开了一种异构数据的同步方法、设备及计算机可读存储介质,属于数据处理领域。所述异构数据的同步方法包括以下步骤:基于系统界面接收的配置信息,配置数据集成任务的数据来源、数据去向和任务配置项,并将所述数据集成任务发布;根据所述数据集成任务的任务实例、所述数据来源和所述数据去向,生成集成同步作业和Json模板;在任务调度进程被触发时,根据所述Json模板和所述集成同步作业,生成同步作业Json;基于预设命令触发同步服务组件根据所述同步作业Json执行数据同步任务。通过以上方法,采用集成自动化与批量处理的方式,减少手工操作和工作量,提高异构数据的同步效率。

【技术实现步骤摘要】

本专利技术涉及数据同步领域,尤其涉及异构数据的同步方法、设备及计算机可读存储介质


技术介绍

1、在实现数据库的数据迁移时,为保证不同系统之间数据的一致性,异构数据库数据同步和处理是大数据发展过程中不可或缺的一部分。目前数据同步技术实现的同步任务,通常是对全量、离线异构数据或者单表进行数据集成处理,如果要针对较多数量的表进行数据迁移同步,则需要分别创建大量数据同步任务。这就意味着,如果是在多表同步的情况下,则需要提前在去向库中创建大量去向表,容易产生不必要的错误,导致同步效率较低。

2、上述内容仅用于辅助理解本专利技术的技术方案,并不代表承认上述内容是现有技术。


技术实现思路

1、本专利技术的主要目的在于提供一种异构数据的同步方法、设备及计算机可读存储介质,旨在解决目前异构数据的同步方法在多表同步的情况下,需要提前在去向库中创建大量去向表,容易产生不必要的错误,导致同步效率较低的技术问题。

2、为实现上述目的,本专利技术提供一种异构数据的同步方法,所述异构数据的同步方法包括以下步骤:<本文档来自技高网...

【技术保护点】

1.一种异构数据的同步方法,其特征在于,所述异构数据的同步方法包括以下步骤:

2.如权利要求1所述的异构数据的同步方法,其特征在于,所述基于系统界面接收的配置信息,配置数据集成任务的数据来源、数据去向和任务配置项,并将所述数据集成任务发布的步骤包括:

3.如权利要求2所述的异构数据的同步方法,其特征在于,所述将配置完成的所述数据集成任务的任务实例进行保存并发布的步骤之前,还包括:

4.如权利要求1所述的异构数据的同步方法,其特征在于,所述根据所述数据集成任务的任务实例、所述数据来源和所述数据去向,生成集成同步作业和Json模板的步骤包括:

...

【技术特征摘要】

1.一种异构数据的同步方法,其特征在于,所述异构数据的同步方法包括以下步骤:

2.如权利要求1所述的异构数据的同步方法,其特征在于,所述基于系统界面接收的配置信息,配置数据集成任务的数据来源、数据去向和任务配置项,并将所述数据集成任务发布的步骤包括:

3.如权利要求2所述的异构数据的同步方法,其特征在于,所述将配置完成的所述数据集成任务的任务实例进行保存并发布的步骤之前,还包括:

4.如权利要求1所述的异构数据的同步方法,其特征在于,所述根据所述数据集成任务的任务实例、所述数据来源和所述数据去向,生成集成同步作业和json模板的步骤包括:

5.如权利要求1所述的异构数据的同步方法,其特征在于,所述在任务调度进程被触发时,根据所述json模板和所述集成同步作业,生成同步作业json的步骤包括:

6.如权利要求1所述的异构数据的同步方法,其特征在于,所述基于预设命令触...

【专利技术属性】
技术研发人员:张晓春谭金丹黄坛琴滕一帆
申请(专利权)人:深圳市智慧城市科技发展集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1