一种单机存储引擎及一种数据处理方法、装置制造方法及图纸

技术编号:44973346 阅读:14 留言:0更新日期:2025-04-12 01:48
本发明专利技术实施例提供了一种单机存储引擎及一种数据处理方法、装置,所述处理方法,应用于单机存储引擎,包括:将裸盘按照预设字节数分割为多个数据块;针对每个数据块按照待存储的对象数据分配存储空间,并将每个对象数据写入对应的存储空间,其中,每个数据块采用位图记录存储空间;依照每个对象数据的名称信息和数据块位图对应的位置信息构建字典树,以根据所述字典树对所述对象数据进行查询和/或读取。通过本发明专利技术实施例,实现了数据写入裸盘,提高数据写入效率,同时实现全内存索引,从而可以增强查询与遍历能力,提高数据读取效率。

【技术实现步骤摘要】

本专利技术涉及数据存储,特别是涉及一种单机存储引擎及一种数据处理方法、装置。


技术介绍

1、在目前的单机存储引擎中,其元数据一般采用kv数据库(key-value database,键值数据库)存储,数据一般采用本地文件系统存储。在面对高性能存储需求时,kv数据库会成为整个引擎的瓶颈,本地文件系统也会因为写元数据以及wal(write-ahead logging,预写日志)等而产生多次的磁盘io(磁盘输入输出),导致性能浪费。


技术实现思路

1、鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的一种单机存储引擎及一种数据处理方法、装置,包括:

2、一种单机存储引擎,所述单机存储引擎包括裸盘空间管理分配引擎和元数据引擎,其中:

3、所述裸盘空间管理分配引擎用于将裸盘按照预设字节数分割为多个数据块,针对每个数据块按照待存储的对象数据分配存储空间,将每个对象数据写入对应的存储空间,其中,每个数据块采用位图记录存储空间;

4、所述元数据引擎用于依照每个对象数据的名本文档来自技高网...

【技术保护点】

1.一种单机存储引擎,其特征在于,所述单机存储引擎包括裸盘空间管理分配引擎和元数据引擎,其中:

2.根据权利要求1所述的单机存储引擎,其特征在于,所述裸盘空间管理分配引擎在用于针对每个数据块按照待存储的对象数据分配存储空间时,具体用于:

3.根据权利要求1所述的单机存储引擎,其特征在于,所述元数据引擎在用于依照每个对象数据的名称信息和数据块位图对应的位置信息在内存中构建字典树时,具体用于:

4.根据权利要求3所述的单机存储引擎,其特征在于,所述位置信息包括数据块标识、对象数据长度、对象数据在数据块中的偏移量。

5.根据权利要求4所述的单机存...

【技术特征摘要】

1.一种单机存储引擎,其特征在于,所述单机存储引擎包括裸盘空间管理分配引擎和元数据引擎,其中:

2.根据权利要求1所述的单机存储引擎,其特征在于,所述裸盘空间管理分配引擎在用于针对每个数据块按照待存储的对象数据分配存储空间时,具体用于:

3.根据权利要求1所述的单机存储引擎,其特征在于,所述元数据引擎在用于依照每个对象数据的名称信息和数据块位图对应的位置信息在内存中构建字典树时,具体用于:

4.根据权利要求3所述的单机存储引擎,其特征在于,所述位置信息包括数据块标识、对象数据长度、对象数据在数据块中的偏移量。

5.根据权利要求4所述的单机存储引擎,其特征在于,所述元数据引擎用于获取待读取对象数据的目标名称信息,根据所述目标名称信息在所述字典树中进行遍历查询,确定所述目标名...

【专利技术属性】
技术研发人员:王明哲阮宜龙
申请(专利权)人:中电信人工智能科技北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1