一种增量数据迁移的数据合并优化方法、装置、设备及存储介质制造方法及图纸

技术编号:44715511 阅读:20 留言:0更新日期:2025-03-21 17:45
本发明专利技术公开了一种增量数据迁移的数据合并优化方法、装置、设备及存储介质,涉及数据库技术领域,包括:对源端数据库进行数据采集,并将采集到的数据依次发送至消息队列;从所述消息队列中依次拉取数据,并对数据进行合并,将数据转换为数据包;对所述数据包进行执行序号分配;基于执行序号依次将所述数据包数据回放至目标端数据库。本发明专利技术通过数据合并以实现单表数据并发执行的效果,解决了单表增量数据由于时序问题而无法并行执行的难点,且不依赖于数据库自身特性,可以适用于不同数据库类型的数据迁移同步,兼容性较好。

【技术实现步骤摘要】

本专利技术涉及数据库,特别是涉及一种增量数据迁移的数据合并优化方法、装置、设备及存储介质


技术介绍

1、随着互联网在线业务的发展,业务访问的并发量成指数上升,海量的数据计算和分析需求越来越普遍,传统的单机系统在业务、成本和开放性方面面临巨大挑战,分布式数据库的出现能够更好的迎接这些挑战。因此,分布式数据库越来越得到青睐,与其他数据库之间的数据交互也越来越多,数据向分布式数据库迁移也越来普遍。随着国家对自主可控战略的深入推进,越来越多的企业响应号召,全面加速数据库国产化的替换进程。为了保证数据的完整性、一致性和操作的规范性,数据迁移工具起到了重要作用。数据如何准确高效的迁移到新数据库,对于分布式数据库具有重要意义。

2、现有的数据库数据迁移方法,一般是根据数据库自身结构特点定制的迁移方案,只能适用于具备固定架构的数据库;对于其它类型的数据库没有很好的兼容性。也有方法针对某些业务场景(电力领域)的数据特征进行分析,然后依据数据特点进行对应处理,但是不具备很好的通用性。


技术实现思路

<p>1、本专利技术所本文档来自技高网...

【技术保护点】

1.一种增量数据迁移的数据合并优化方法,其特征在于:包括:

2.根据权利要求1所述的增量数据迁移的数据合并优化方法,其特征在于:所述从消息队列中依次拉取数据,并对数据进行合并,将数据转换为数据包包括:

3.根据权利要求2所述的增量数据迁移的数据合并优化方法,其特征在于:所述采用相邻合并算法对数据进行合并,将数据转换为数据包包括:

4.根据权利要求2所述的增量数据迁移的数据合并优化方法,其特征在于:所述采用首尾合并算法对数据进行合并,将数据转换为数据包包括:

5.根据权利要求2所述的增量数据迁移的数据合并优化方法,其特征在于:所述对数据包进行...

【技术特征摘要】

1.一种增量数据迁移的数据合并优化方法,其特征在于:包括:

2.根据权利要求1所述的增量数据迁移的数据合并优化方法,其特征在于:所述从消息队列中依次拉取数据,并对数据进行合并,将数据转换为数据包包括:

3.根据权利要求2所述的增量数据迁移的数据合并优化方法,其特征在于:所述采用相邻合并算法对数据进行合并,将数据转换为数据包包括:

4.根据权利要求2所述的增量数据迁移的数据合并优化方法,其特征在于:所述采用首尾合并算法对数据进行合并,将数据转换为数据包包括:

5.根据权利要求2所述的增量数据迁移的数据合并优化方法,其特征在于:所述对数据包进行执行序号分配包括:

6.根据...

【专利技术属性】
技术研发人员:王增浩沈文宽章婷婷
申请(专利权)人:金篆信科有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1