基于WriteSet的通用数据库日志的并行回放方法及系统技术方案

技术编号:44546246 阅读:32 留言:0更新日期:2025-03-11 14:11
本申请属于数据库技术领域,具体公开了一种基于WriteSet的通用数据库日志的并行回放方法及系统,方法包括:获取日志数据,将所述日志数据以事务为单位拆分为多个有序的写集WriteSet分组,对同一个WriteSet内哈希值相同的操作进行优化处理,得到优化WriteSet以用于并行回放;根据哈希值分析所述优化WriteSet的事务间的冲突情况,基于所述冲突情况将不存在冲突的WriteSet进行封装,形成日志包;通过包分配器动态监测日志堆积情况及服务器各性能指标,根据所述日志堆积情况及服务器各性能指标动态调整包执行器数量,将所述日志包以WriteSet为单位分配给各执行器以执行并行回放。通过本申请可实现日志回放的数据一致性和性能之间的平衡。

【技术实现步骤摘要】

本申请属于数据库,更具体地,涉及一种基于writeset的通用数据库日志的并行回放方法及系统。


技术介绍

1、业界数据库日志回放通常采用以下几种方式:

2、库间并行,以库为单位进行日志回放,由于不同库之间不存在冲突,可以同时对不同的库进行并行回放;表间并行,以表为单位,对日志进行拆分,不同表的日志并行回放;表内并行,以表内记录为单位,对不同记录的日志并行回放;串行+批量,按照日志顺序分批执行。

3、这几种日志回放方法存在以下问题:依赖业务及数据库使用情况。如库间并行、表间并行,对于数据库数量较小或业务集中在少数表的时候,并行回放会退化到串行回放;数据一致性与并行回放性能互相制约,为了追求数据高一致性,并行回放性能普遍比较低。

4、因此,如何实现日志回放的数据一致性和性能的平衡,是当前亟需解决的问题。


技术实现思路

1、针对现有技术的缺陷,本申请的目的在于提供一种基于writeset的通用数据库日志的并行回放方法及系统,旨在解决现有技术中难以平衡日志并行回放的数据一致性和性能本文档来自技高网...

【技术保护点】

1.一种基于WriteSet的通用数据库日志的并行回放方法,其特征在于,包括:

2.根据权利要求1所述的基于WriteSet的通用数据库日志的并行回放方法,其特征在于,所述WriteSet的生成方法包括:

3.根据权利要求1所述的基于WriteSet的通用数据库日志的并行回放方法,其特征在于,将需要优化的WriteSet进行优化处理,得到到优化WriteSet以用于并行回放,包括:

4.根据权利要求1所述的基于WriteSet的通用数据库日志的并行回放方法,其特征在于,所述哈希值的计算方法包括:

5.根据权利要求2所述的基于WriteSet...

【技术特征摘要】

1.一种基于writeset的通用数据库日志的并行回放方法,其特征在于,包括:

2.根据权利要求1所述的基于writeset的通用数据库日志的并行回放方法,其特征在于,所述writeset的生成方法包括:

3.根据权利要求1所述的基于writeset的通用数据库日志的并行回放方法,其特征在于,将需要优化的writeset进行优化处理,得到到优化writeset以用于并行回放,包括:

4.根据权利要求1所述的基于writeset的通用数据库日志的并行回放方法,其特征在于,所述哈希值的计算方法包括:

5.根据权利要求2所述的基于writeset的通用数据...

【专利技术属性】
技术研发人员:高波姜楠许玲郑渤龙
申请(专利权)人:数翊科技北京有限公司武汉分公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1