存算分离数据库的非侵入式日志下推方法技术

本发明专利技术公开了存算分离数据库的非侵入式日志下推方法，在计算节点侧实现一可插拔的I/O请求过滤器，该I/O请求过滤器会将关系型数据库发出的数据页面写入请求过滤掉，只保留重做日志的写入请求；在存储节点侧实现重做日志服务，对日志管理，定期重放日志，保证数据页面读取请求读取到页面的最新版本。本发明专利技术的存算分离数据库的非侵入式日志下推方法，解决了数据库缓冲池在网络环境下的写放大问题，能够有效节省网络I/O，同时提升数据库的事务并发处理能力，降低事务的延迟，有效改善了当前存算分离数据库的性能，为云数据库的体系结构提供新选择。

【技术实现步骤摘要】

本专利技术涉及云原生数据库，特别是涉及一种存算分离数据库的非侵入式日志下推方法。

技术介绍

1、随着大数据的蓬勃发展，数据库系统越来越多的开始承担起底层数据存储的重任。高性能的存算分离数据库的应用场景变得越来越广泛。在未来，高性能的存算分离数据库产品可以广泛应用于大数据分析领域，通过将存储和计算分开，可以更好地实现水平扩展，处理大规模数据集。

2、云原生数据库是下一代数据库发展的主要方向。云原生数据库拥有许多传统单机数据库所无法比拟的优势，如更高可用性，更强弹性伸缩能力和更好的容灾能力。存算分离是云原生数据库领域的一大创新，是未来大规模存储系统新的标准，计算节点运行数据库程序，存储节点通过装载nfs等网络文件系统暴露出文件系统接口供计算节点使用。

3、然而在这种存储与计算解耦的架构下，现有云数据库产品都是基于传统单机数据库的简单部署，本质上是将单机数据库挂载到云存储上，简单的将数据库计算层与存储层解耦，没有对传统数据库结构优化。尽管这种实现方法简单，计算性能和存储能力不再是数据库的主要瓶颈，然而网络流量会成为新的瓶颈，具体来说，存算本文档来自技高网...

【技术保护点】

1.存算分离数据库的非侵入式日志下推方法，其特征在于，基于日志即数据的思想，将重做日志流的回放操作下推到存储节点：在计算节点侧实现一个可插拔的非侵入式的I/O请求过滤器，该I/O请求过滤器会将计算节点侧发出的数据页面写入请求过滤掉，仅保留重做日志的写入请求；在存储节点侧实现重做日志服务，对日志管理，定期重放日志，以使计算节点侧的数据页面读取请求读取到数据页面的最新版本。

2.根据权利要求1所述算分离数据库的非侵入式日志下推方法，其特征在于，在存储节点侧进行日志回放时，基于两层的内存日志索引，对日志进行页面级别的索引；通过一个协调线程及多个工作线程配合构成的日志回放模块，在后台...

【技术特征摘要】

1.存算分离数据库的非侵入式日志下推方法，其特征在于，基于日志即数据的思想，将重做日志流的回放操作下推到存储节点：在计算节点侧实现一个可插拔的非侵入式的i/o请求过滤器，该i/o请求过滤器会将计算节点侧发出的数据页面写入请求过滤掉，仅保留重做日志的写入请求；在存储节点侧实现重做日志服务，对日志管理，定期重放日志，以使计算节点侧的数据页面读取请求读取到数据页面的最新版本。

2.根据权利要求1所述算分离数据库的非侵入式日志下推方法，其特征在于，在存储节点侧进行日志回放时，基于两层的内存日志索引，对日志进行页面级别的索引；通过一个协调线程及多个工作线程配合构成的日志回放模块，在后台不断的将日志索引中的日志重放，以构建页面的最新版本。

3.根据权利要求1所述算分离数据库的非侵入式日志下推方法，其特征在于，所述计算节点侧采用关系型数据库管理系统mysql，所述存储节点侧采用用户态的支持nfs协议的文件服务器nfs-ganesha。

4.根据权利要求3所述算分离数据库的非侵入式日志下推方法，其特征在于，所述的i/o过滤器实现为一个共享库libcatcher，在关系型数据库管理系统mysql启动时，通过ld_preload系统变量指定libcatcher所在的位置，实现无缝集成i/o过滤器。

5.根据权利要求1所述算分离数据库的非侵入式日志下推方法，其特征在于，计算节点侧设置有重做日志缓冲区，当mysql向存储节点写入重做日志时，将重做日志写入到存储节点磁盘上的日志文件的同时，会将日志在计算节点侧...

【专利技术属性】
技术研发人员：陈仁海，李明，邵子立，
申请(专利权)人：天津大学，
类型：发明
国别省市：