【技术实现步骤摘要】
本专利技术涉及数据库,特别是涉及一种增量数据迁移的数据合并优化方法、装置、设备及存储介质。
技术介绍
1、随着互联网在线业务的发展,业务访问的并发量成指数上升,海量的数据计算和分析需求越来越普遍,传统的单机系统在业务、成本和开放性方面面临巨大挑战,分布式数据库的出现能够更好的迎接这些挑战。因此,分布式数据库越来越得到青睐,与其他数据库之间的数据交互也越来越多,数据向分布式数据库迁移也越来普遍。随着国家对自主可控战略的深入推进,越来越多的企业响应号召,全面加速数据库国产化的替换进程。为了保证数据的完整性、一致性和操作的规范性,数据迁移工具起到了重要作用。数据如何准确高效的迁移到新数据库,对于分布式数据库具有重要意义。
2、现有的数据库数据迁移方法,一般是根据数据库自身结构特点定制的迁移方案,只能适用于具备固定架构的数据库;对于其它类型的数据库没有很好的兼容性。也有方法针对某些业务场景(电力领域)的数据特征进行分析,然后依据数据特点进行对应处理,但是不具备很好的通用性。
技术实现思路
< ...【技术保护点】
1.一种增量数据迁移的数据合并优化方法,其特征在于:包括:
2.根据权利要求1所述的增量数据迁移的数据合并优化方法,其特征在于:所述从消息队列中依次拉取数据,并对数据进行合并,将数据转换为数据包包括:
3.根据权利要求2所述的增量数据迁移的数据合并优化方法,其特征在于:所述采用相邻合并算法对数据进行合并,将数据转换为数据包包括:
4.根据权利要求2所述的增量数据迁移的数据合并优化方法,其特征在于:所述采用首尾合并算法对数据进行合并,将数据转换为数据包包括:
5.根据权利要求2所述的增量数据迁移的数据合并优化方法,其特征在
...【技术特征摘要】
1.一种增量数据迁移的数据合并优化方法,其特征在于:包括:
2.根据权利要求1所述的增量数据迁移的数据合并优化方法,其特征在于:所述从消息队列中依次拉取数据,并对数据进行合并,将数据转换为数据包包括:
3.根据权利要求2所述的增量数据迁移的数据合并优化方法,其特征在于:所述采用相邻合并算法对数据进行合并,将数据转换为数据包包括:
4.根据权利要求2所述的增量数据迁移的数据合并优化方法,其特征在于:所述采用首尾合并算法对数据进行合并,将数据转换为数据包包括:
5.根据权利要求2所述的增量数据迁移的数据合并优化方法,其特征在于:所述对数据包进行执行序号分配包括:
6.根据...
【专利技术属性】
技术研发人员:王增浩,沈文宽,章婷婷,
申请(专利权)人:金篆信科有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。