一种基于多层级树组织元数据的空间优化方法和系统及设备技术方案

技术编号:45023010 阅读:24 留言:0更新日期:2025-04-18 17:04
本申请涉及元数据处理技术领域,提供一种基于多层级树组织元数据的空间优化方法和系统及设备,包括:创建多层级树组织,在多层级树组织中设置压缩标记;当向多层级树组织中插入记录时,去除对应业务类型树上的压缩标记;当删除多层级树组织中的记录时,重新为对应业务类型树设置压缩标记;当对多层树组织的数据进行序列化时,根据关联路径中的业务类型树是否存在压缩标记,对关联的业务类型树进行合并序列化或单独序列化;当读取多层树组织的数据时,根据压缩标记读取关联的业务类型树的数据;当淘汰多层树组织的业务类型树时,根据压缩标记淘汰关联的业务类型树。本申请可以在元数据由多层树组织场景下,减少元数据空间的占用。

【技术实现步骤摘要】

本申请涉及元数据处理,尤其涉及一种基于多层级树组织元数据的空间优化方法和系统及设备


技术介绍

1、在存储领域中,存储平台需要与应用层业务相对接,通常包括文件业务、对象业务和块业务,为了在底层存储上层业务的元数据,目前业界通常采用两种方式:扁平化的kv方式和多层的树形结构。因为一个集群中可能有多个文件系统,每个文件系统下有很多的目录文件,每个目录文件又有多种属性,使用多层树形结构,可以更加便利地对文件业务进行元数据组织。

2、在实际应用中,多层树形结构的元数据组织方式存在以下缺陷,即在某些场景下,元数据的写放大严重。比如某些场景下,某颗树上的存储的内容很少(例如文件的属性信息很少),但是在持久化该树时,仍然需要写入一个4k大小的数据块中(ssd磁盘读写io最小粒度是4k),导致元数据写放大特别严重,元数据空间浪费严重。

3、因此,如何实现多层树结构组织元数据的空间优化,成为亟待解决的技术问题。


技术实现思路

1、有鉴于此,为了克服现有技术的不足,本申请旨在提供一种基于多层级树组织元数据本文档来自技高网...

【技术保护点】

1.一种基于多层级树组织元数据的空间优化方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于多层级树组织元数据的空间优化方法,其特征在于,创建多层级树组织,在多层级树组织中设置压缩标记,包括:在顶层业务类型树下创建关联的业务类型树时,为创建的业务类型树的上下文设置压缩标记。

3.根据权利要求1所述的基于多层级树组织元数据的空间优化方法,其特征在于,当向多层级树组织中插入记录时,去除对应业务类型树上的压缩标记,包括:

4.根据权利要求1所述的基于多层级树组织元数据的空间优化方法,其特征在于,当删除多层级树组织中的记录时,重新为对应业务类型树设置...

【技术特征摘要】

1.一种基于多层级树组织元数据的空间优化方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于多层级树组织元数据的空间优化方法,其特征在于,创建多层级树组织,在多层级树组织中设置压缩标记,包括:在顶层业务类型树下创建关联的业务类型树时,为创建的业务类型树的上下文设置压缩标记。

3.根据权利要求1所述的基于多层级树组织元数据的空间优化方法,其特征在于,当向多层级树组织中插入记录时,去除对应业务类型树上的压缩标记,包括:

4.根据权利要求1所述的基于多层级树组织元数据的空间优化方法,其特征在于,当删除多层级树组织中的记录时,重新为对应业务类型树设置压缩标记,包括:

5.根据权利要求1所述的基于多层级树组织元数据的空间优化方法,其特征在于,当对多层树组织的数据进行序列化时,根据关联路径中的业务类型树是否存在压缩标记,对关联的业务类型树进行合并序列化或单独序列化,包括:当对顶层业务类型树或关联的业务类型树进行序列化时,判断关联路径中的下层业务类型树是否存在压缩标记,当关联路径中的下层业务类型树存在压缩标记,对该关联路径中上层业务类型树与下层业务类型树的序列化数据存储在一起。

6.根据权利要求1所述的基于多层级树组织元数据的空间优化方法,其特征在于,当对多层树组织的数据进行序列化时,根据关联路径中的业务类型树是否存在压缩标记,对关联...

【专利技术属性】
技术研发人员:罗雄
申请(专利权)人:中电云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1