一种WAL日志空间优化方法及装置制造方法及图纸

技术编号:45438404 阅读:15 留言:0更新日期:2025-06-04 19:19
本发明专利技术提供了一种WAL日志空间优化方法及装置,涉及日志空间优化技术领域,所述方法包括通过追加写的方式将多条I O数据的日志进行聚合,得到多个聚合日志;将多个所述聚合日志依次放入刷盘队列;根据所述刷盘队列,将多个所述聚合日志进行刷盘处理,得到所述聚合日志的关联元数据的刷盘结果,所述刷盘处理包括依次进行聚合日志刷盘和元数据刷盘;根据所述刷盘结果进行数据操作,得到WAL日志空间优化结果。本发明专利技术解决了现有WAL日志空间的二次写,导致日志空间存在浪费以及有效信息占用低的问题。

【技术实现步骤摘要】

本专利技术涉及日志空间优化,具体而言,涉及一种wal日志空间优化方法及装置。


技术介绍

1、wal日志空间在数据库系统中用于确保数据一致性和持久性。它记录所有数据修改操作,确保系统崩溃后能通过日志恢复数据,防止丢失。事务提交前,修改先写入wal日志,保证原子性和一致性。

2、对于采用易失性内存的存储系统,为保证io数据的快速恢复以及异常时数据的一致性,通常使用的一种方式是先写wal日志。wal日志是通过两次写来保证崩溃一致性的,每条io数据的完成除了相对滞后的元数据本身的更新落盘之外,还伴随着一次追加写日志的落盘,这本身就存在二次写放大的问题。因为一般日志落盘的最小单元是4k,而单次io数据的日志实际仅使用几十到几百字节,这意味着这4k的日志空间大部分都浪费了,有效信息占用很低。


技术实现思路

1、本专利技术的目的在于提供一种wal日志空间优化方法及装置,以改善上述问题。为了实现上述目的,本专利技术采取的技术方案如下:

2、第一方面,本申请提供了一种wal日志空间优化方法,包括:...

【技术保护点】

1.一种WAL日志空间优化方法,其特征在于,包括:

2.根据权利要求1所述的WAL日志空间优化方法,其特征在于,所述通过追加写的方式将多条IO数据的日志进行聚合,得到多个聚合日志,包括:

3.根据权利要求1所述的WAL日志空间优化方法,其特征在于,所述将多个所述聚合日志依次放入刷盘队列前,还包括:

4.根据权利要求2所述的WAL日志空间优化方法,其特征在于,所述进行聚合日志刷盘,包括:

5.根据权利要求3所述的WAL日志空间优化方法,其特征在于,所述根据所述刷盘结果进行数据操作,得到WAL日志空间优化结果,包括:

6.根据权利要...

【技术特征摘要】

1.一种wal日志空间优化方法,其特征在于,包括:

2.根据权利要求1所述的wal日志空间优化方法,其特征在于,所述通过追加写的方式将多条io数据的日志进行聚合,得到多个聚合日志,包括:

3.根据权利要求1所述的wal日志空间优化方法,其特征在于,所述将多个所述聚合日志依次放入刷盘队列前,还包括:

4.根据权利要求2所述的wal日志空间优化方法,其特征在于,所述进行聚合日志刷盘,包括:

5.根据权利要求3所述的wal日志空间优化方法,其特征在于,所述根据所述刷盘结果进...

【专利技术属性】
技术研发人员:陈伟
申请(专利权)人:中电云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1