一种基于缓存优化的分布式数据库中的manifest实现的系统技术方案

本发明专利技术提供了一种基于缓存优化的分布式数据库中的manifest实现的系统，包括：manifest文件，manifest文件的格式以chunk为单位进行append only追加写，每个chunk是一系列version change的日志，每个日志均带有一个HLC时间戳；table range manager缓存，通过对分布式数据库应用中每个表的manifest文件使用lru cache进行管理，将热点表缓存在内存中；manifest管理件，若干manifest文件以及一个current文件构成manifest管理件；savepoint缓存，每次生成新的manifest文件时，都会将截至目前为止的最新版本信息，完整地保存在新的manifest文件头部；changelist缓存，在外存格式的基础上，通过lru cache将最新以及最近使用的数据快照缓存在内存中。

【技术实现步骤摘要】

本专利技术涉及分布式数据库领域，更具体的说是，涉及一种基于缓存优化的分布式数据库中的manifest实现的系统。

技术介绍

1、manifest在数据库中，是一种元信息的存储技术，可以用来帮助数据库进行多版本管理，一致性恢复，以及带条件过滤的查询优化，甚至可以用来实现时间旅行功能；但是这是个单机事务，并且manifest中的信息过于简单，仅仅能够支持recovery，无法帮助查询语句的运行时带过滤条件的查询裁剪优化；

2、单机数据库版本中(例如rocksdb)manifest记录了所有变更的事务日志，在db恢复的时候，可以容易的将数据库恢复到一致性的状态；当最新的manifest写盘成功后，就会删除所有除最新版本之外的manifest文件；虽然能够在manifest中描述详细的信息，有助于查询优化，但是作为数据湖本身是难以具的事务功能，即使是元数据，也是一个单机事务模型，因而不能支持分布式事务模型下的这些功能；

3、在数据湖应用中(例如iceberg)，同样适用manifest记录了数据的变更日志(但是不严格提供数据库的acid特性本文档来自技高网...

【技术保护点】

1.一种基于缓存优化的分布式数据库中的manifest实现的系统，其特征在于，包括：

2.根据权利要求1所述的一种基于缓存优化的分布式数据库中的manifest实现的系统，其特征在于，所述manifest文件命名格式为seq.manifest，其中seq是递增的序列号。

3.根据权利要求1所述的一种基于缓存优化的分布式数据库中的manifest实现的系统，其特征在于，version change为一次文件的创建、一次追加写记录、一次schema变更记录的其中一种。

4.根据权利要求1所述的一种基于缓存优化的分布式数据库中的manifest实现的系统，其...

【技术特征摘要】

1.一种基于缓存优化的分布式数据库中的manifest实现的系统，其特征在于，包括：

2.根据权利要求1所述的一种基于缓存优化的分布式数据库中的manifest实现的系统，其特征在于，所述manifest文件命名格式为seq.manifest，其中seq是递增的序列号。

3.根据权利要求1所述的一种基于缓存优化的分布式数据库中的manifest实现的系统，其特征在于，version change为一次文件的创建、一次追加写记录、一次schema变更记录的其中一种。

4.根据权利要求1所述的一种基于缓存优化的分布式数据库中的manifest实现的系统，其特...

【专利技术属性】
技术研发人员：严俊峰，陶征霖，常雷，姚佳丽，霍瑞龙，刘大伟，宋宜旭，
申请(专利权)人：北京偶数科技有限公司，
类型：发明
国别省市：