基于算子链的数据同步方法、装置、设备及存储介质制造方法及图纸

技术编号:41094741 阅读:18 留言:0更新日期:2024-04-25 13:53
本申请涉及数据同步技术领域,公开了一种基于算子链的数据同步方法、装置、设备及存储介质,所述方法包括基于预设数据拉取模式,确定待同步对象;对待同步对象配置起始算子和结尾算子,生成算子链;基于源端数据库与目标数据库的距离,将算子链中各算子分配到工作节点中;通过工作节点与算子链,将源端数据库中的待同步对象同步至目标数据库。根据上述方式,本申请根据流模式与批模式确定对应的待同步对象后,针对待同步对象配置算子以生成算子链。根据源端数据库与目标数据库的距离将算子分配至工作节点后,实现了将源端数据库中的待同步对象同步至目标数据库中,提高了数据同步过程的效率。

【技术实现步骤摘要】

本申请涉及互联网,尤其涉及一种基于算子链的数据同步方法、装置、设备及存储介质


技术介绍

1、随着数字化转型进程加速,云计算正逐渐成为经济社会运行的数字化业务平台。全球政府和企业的云计算市场渗透率逐年上升,云计算用户已经遍及互联网、政务、金融、教育、制造等各个行业。在这一背景下,数据库上云的需求正在快速增加,作为数据库上云的重要桥梁,数据库同步工具的作用显得愈发重要。目前,传统的数据库同步工具大多存在如下问题:批和流架构不一致、扩展数据源苦难、且无法灵活配置数据处理逻辑以及同步速率低等问题。因此,如何提高数据同步过程的效率成为了亟待解决的技术问题。


技术实现思路

1、本申请提供了一种基于算子链的数据同步方法、装置、设备及存储介质,以提高数据同步过程的效率。

2、第一方面,本申请提供了一种基于算子链的数据同步方法,所述方法包括:

3、基于预设数据拉取模式,确定待同步对象,其中,所述基于预设数据拉取模式包括批模式和/或流模式;

4、对所述待同步对象配置起始算子和结尾算子,生成算本文档来自技高网...

【技术保护点】

1.一种基于算子链的数据同步方法,其特征在于,所述基于算子链的数据同步方法包括:

2.根据权利要求1所述的基于算子链的数据同步方法,其特征在于,所述预设数据拉取模式为所述批模式,所述基于预设数据拉取模式,确定待同步对象,包括:

3.根据权利要求1或2中任一项所述的基于算子链的数据同步方法,其特征在于,所述预设数据拉取模式为所述流模式,所述基于预设数据拉取模式,确定待同步对象,还包括:

4.根据权利要求3所述的基于算子链的数据同步方法,其特征在于,所述通过所述工作节点与所述算子链,将所述源端数据库中的所述待同步对象同步至所述目标数据库之后,包括:

...

【技术特征摘要】

1.一种基于算子链的数据同步方法,其特征在于,所述基于算子链的数据同步方法包括:

2.根据权利要求1所述的基于算子链的数据同步方法,其特征在于,所述预设数据拉取模式为所述批模式,所述基于预设数据拉取模式,确定待同步对象,包括:

3.根据权利要求1或2中任一项所述的基于算子链的数据同步方法,其特征在于,所述预设数据拉取模式为所述流模式,所述基于预设数据拉取模式,确定待同步对象,还包括:

4.根据权利要求3所述的基于算子链的数据同步方法,其特征在于,所述通过所述工作节点与所述算子链,将所述源端数据库中的所述待同步对象同步至所述目标数据库之后,包括:

5.根据权利要求1所述的基于算子链的数据同步方法,其特征在于,所述算子链还包括中间算子,所述对所述待同步对象配置起始算子和结尾算...

【专利技术属性】
技术研发人员:廖裕兴李超亚章锐吴远昌
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1