一种WAL日志的拆分和重组的方法和装置制造方法及图纸

技术编号:40934746 阅读:16 留言:0更新日期:2024-04-18 14:54
本发明专利技术涉及一种WAL日志的拆分和重组的方法、装置、电子设备和存储介质,属于日志的拆分和重组技术领域,该方法包括:通过资源管理器管理不同类型的XLog;梳理资源管理器中所有类型的XLog,实现XLog的拆分和重组接口;修改函数,根据XLog的类型调用对应的拆分接口,实现XLog拆分为SLog;修改函数,根据SLog头部信息,将SLog转发到对应Segment所在存储节点;新增从存储节点根据指定LSN范围拉取SLog的接口,并注册以替换原有读取本地XLog文件的逻辑;修改函数,根据头部信息和XLog类型调用对应的重组接口,将SLog重新组合为XLog。本发明专利技术使得日志的拆分和重组相关逻辑的改动较小。

【技术实现步骤摘要】

本专利技术属于日志的拆分和重组,尤其涉及一种wal日志的拆分和重组的方法、装置、电子设备和存储介质。


技术介绍

1、postgresql等传统的关系型数据库受限于单台物理服务器的性能极限,需要通过主备wal日志复制的方式添加备机以支持读性能的扩展。同时高可用架构通常也基于备机实现。但传统主备复制模式具有以下难以解决的缺点:添加备机时需要拷贝全量数据,时效性较差;备机的数据和主机完全一样,存储上造成浪费;这些缺点难以解决的根源在于传统关系型数据库存算一体的架构。近年头部互联网厂商纷纷推出各自的基于存算分离架构的云原生数据库实现,其实现思路都可以总结为:分离计算和存储,将存储放到分布式系统中;实现主备实例共享一份存储;通过这样的设计,在完美解决传统主备架构缺点的同时,也获得了极致的弹性能力。该思路的核心技术点是如何实现主备实例共享同一份存储。传统主备架构下,主备实例维护各自的数据,更新操作由主实例通过wal日志同步到备实例,备实例接收到wal日志后再重做更新本地数据。因此从某个时间点看,主备实例的数据是不同的。对于这个问题,业界主流的解决思路是使用wal日志在本文档来自技高网...

【技术保护点】

1.一种WAL日志的拆分和重组的方法,其特征在于,包括:

2.根据权利要求1所述的一种WAL日志的拆分和重组的方法,其特征在于,所述XLog中字段的定义如下:

3.根据权利要求1所述的一种WAL日志的拆分和重组的方法,其特征在于,所述XLog插入LOG_BUFFER前拆分为SLog,包括:

4.根据权利要求3所述的一种WAL日志的拆分和重组的方法,其特征在于,所述SLogHeader中包含了Segment处理SLog时需要的信息,所述信息包括:

5.根据权利要求3所述的一种WAL日志的拆分和重组的方法,其特征在于,所述方法还包括:根据XLo...

【技术特征摘要】

1.一种wal日志的拆分和重组的方法,其特征在于,包括:

2.根据权利要求1所述的一种wal日志的拆分和重组的方法,其特征在于,所述xlog中字段的定义如下:

3.根据权利要求1所述的一种wal日志的拆分和重组的方法,其特征在于,所述xlog插入log_buffer前拆分为slog,包括:

4.根据权利要求3所述的一种wal日志的拆分和重组的方法,其特征在于,所述slogheader中包含了segment处理slog时需要的信息,所述信息包括:

5.根据权利要求3所述的一种wal日志的拆分和重组的方法,其特征在于,所述方法还包括:根据xlog中ma...

【专利技术属性】
技术研发人员:胡彬
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1