【技术实现步骤摘要】
本专利技术涉及数据存储,特别是涉及一种单机存储引擎及一种数据处理方法、装置。
技术介绍
1、在目前的单机存储引擎中,其元数据一般采用kv数据库(key-value database,键值数据库)存储,数据一般采用本地文件系统存储。在面对高性能存储需求时,kv数据库会成为整个引擎的瓶颈,本地文件系统也会因为写元数据以及wal(write-ahead logging,预写日志)等而产生多次的磁盘io(磁盘输入输出),导致性能浪费。
技术实现思路
1、鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的一种单机存储引擎及一种数据处理方法、装置,包括:
2、一种单机存储引擎,所述单机存储引擎包括裸盘空间管理分配引擎和元数据引擎,其中:
3、所述裸盘空间管理分配引擎用于将裸盘按照预设字节数分割为多个数据块,针对每个数据块按照待存储的对象数据分配存储空间,将每个对象数据写入对应的存储空间,其中,每个数据块采用位图记录存储空间;
4、所述元数据引擎用于
...【技术保护点】
1.一种单机存储引擎,其特征在于,所述单机存储引擎包括裸盘空间管理分配引擎和元数据引擎,其中:
2.根据权利要求1所述的单机存储引擎,其特征在于,所述裸盘空间管理分配引擎在用于针对每个数据块按照待存储的对象数据分配存储空间时,具体用于:
3.根据权利要求1所述的单机存储引擎,其特征在于,所述元数据引擎在用于依照每个对象数据的名称信息和数据块位图对应的位置信息在内存中构建字典树时,具体用于:
4.根据权利要求3所述的单机存储引擎,其特征在于,所述位置信息包括数据块标识、对象数据长度、对象数据在数据块中的偏移量。
5.根据权
...【技术特征摘要】
1.一种单机存储引擎,其特征在于,所述单机存储引擎包括裸盘空间管理分配引擎和元数据引擎,其中:
2.根据权利要求1所述的单机存储引擎,其特征在于,所述裸盘空间管理分配引擎在用于针对每个数据块按照待存储的对象数据分配存储空间时,具体用于:
3.根据权利要求1所述的单机存储引擎,其特征在于,所述元数据引擎在用于依照每个对象数据的名称信息和数据块位图对应的位置信息在内存中构建字典树时,具体用于:
4.根据权利要求3所述的单机存储引擎,其特征在于,所述位置信息包括数据块标识、对象数据长度、对象数据在数据块中的偏移量。
5.根据权利要求4所述的单机存储引擎,其特征在于,所述元数据引擎用于获取待读取对象数据的目标名称信息,根据所述目标名称信息在所述字典树中进行遍历查询,确定所述目标名...
【专利技术属性】
技术研发人员:王明哲,阮宜龙,
申请(专利权)人:中电信人工智能科技北京有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。