数据处理方法技术

本申请实施例公开了一种数据处理方法

【技术实现步骤摘要】
数据处理方法、装置、计算机设备及存储介质


[0001]本申请实施例涉及计算机
，特别涉及一种数据处理方法
、
装置
、
计算机设备及存储介质
。

技术介绍

[0002]随着大数据和云计算的发展，分布式存储逐渐成为一种主流的数据存储方式
。
在分布式存储系统中，数据存储在存储集群的数据池，元数据存储在存储集群的元数据池
。
数据为文件或者文件夹，元数据为文件或者文件夹的名称
、
大小以及创建时间等描述数据
。
在元数据池的存储容量不足的情况下，如何保证元数据的正常存储，是一个需要解决的技术问题
。
[0003]相关技术中，在元数据池出现存储容量不足的情况时，只能将存储集群中的数据和元数据迁移到临时集群
。
然后，在存储集群中创建一个容量更大的元数据池
。
然后，再将临时集群中存储的数据和元数据，分别迁移到存储集群中的数据池和新创建的元数据池，从而实现元数据在存储集群内的跨池迁移
。
[0004]但是，数据的存储量远大于元数据的存储量，采用上述方法，会在迁移数据过程中耗费大量的时间，导致元数据跨池迁移的效率过低
。

技术实现思路

[0005]本申请实施例提供了一种数据处理方法
、
装置
、
计算机设备及存储介质，能够在第一元数据池的存储容量不足时，仅将文件系统的元数据逐层迁移到存储容量较大的第二元数据池，能够显著减小迁移的数据量，提高元数据迁移的效率
。
所述技术方案如下：一方面，提供了一种数据处理方法，所述方法包括：接收元数据迁移指令，所述元数据迁移指令用于指示将第一元数据池中存储的元数据迁移到第二元数据池，所述第一元数据池用于按照树状结构存储文件系统的元数据，所述元数据用于描述对应的文件或者文件夹，所述树状结构用于表示所述文件系统中文件和文件夹的层级，所述树状结构中位于同一层的文件或者文件夹的层级相同；基于所述树状结构，在所述第一元数据池中逐层识别所述文件系统的元数据，得到所述文件系统中各层文件的元数据和各层文件夹的元数据；将所述文件系统中各层文件的元数据和各层文件夹的元数据逐层迁移到所述第二元数据池，所述第二元数据池的存储容量大于所述第一元数据池的存储容量
。
[0006]另一方面，提供了一种数据处理装置，所述装置包括：接收模块，用于接收元数据迁移指令，所述元数据迁移指令用于指示将第一元数据池中存储的元数据迁移到第二元数据池，所述第一元数据池用于按照树状结构存储文件系统的元数据，所述元数据用于描述对应的文件或者文件夹，所述树状结构用于表示所述文件系统中文件和文件夹的层级，所述树状结构中位于同一层的文件或者文件夹的层级相同；
识别模块，用于基于所述树状结构，在所述第一元数据池中逐层识别所述文件系统的元数据，得到所述文件系统中各层文件的元数据和各层文件夹的元数据；迁移模块，用于将所述文件系统中各层文件的元数据和各层文件夹的元数据逐层迁移到所述第二元数据池，所述第二元数据池的存储容量大于所述第一元数据池的存储容量
。
[0007]在一些实施例中，所述识别模块，用于基于所述树状结构，在所述第一元数据池中，识别根节点的节点对象，所述根节点位于所述树状结构的第一层，所述根节点的节点对象中存储有至少一个第一级节点的元数据，所述第一级节点为所述根节点的子节点，所述第一级节点位于所述树状结构的第二层，所述根节点用于表示文件夹，所述第一级节点用于表示文件或者文件夹；对于任一第
i
级节点，在所述第
i
级节点用于表示文件夹的情况下，在所述第一元数据池中，识别所述第
i
级节点的节点对象，所述第
i
级节点的节点对象中存储有至少一个第
i+1
级节点的元数据，所述第
i+1
级节点为所述第
i
级节点的子节点，所述第
i+1
级节点位于所述树状结构的第
i+2
层，
i
为不小于1的整数；在所述树状结构有
n
个层级的情况下，响应于得到第
n
‑1级节点的节点对象，结束所述逐层识别的过程
。
[0008]在一些实施例中，所述识别模块，用于基于所述树状结构，在所述第一元数据池中确定根节点
、
所述根节点的索引号以及所述根节点的至少一个分片号，所述分片号用于标识所述根节点的节点对象；基于所述根节点的索引号和所述根节点的至少一个分片号，在所述第一元数据池中识别所述根节点的至少一个节点对象，所述至少一个节点对象的名称与所述至少一个分片号一一对应
。
[0009]在一些实施例中，所述装置还包括：第一获取模块，用于响应于得到所述树状结构中多级节点的节点对象，对于任一节点的节点对象，基于所述节点对象中存储的至少一个键值对，获取所述节点的至少一个子节点的元数据，所述至少一个键值对用于存储所述至少一个子节点的元数据，所述键值对中的键为对应的子节点的名称，所述键值对中的值为对应的子节点的元数据
。
[0010]在一些实施例中，对于任一子节点，在所述子节点用于表示文件夹的情况下，所述子节点对应的键值对中还存储有所述子节点的索引号和分片号；所述识别模块，用于对于任一第
i
级节点，在所述第
i
级节点用于表示文件夹的情况下，获取所述第
i
级节点对应的键值对中存储的索引号和至少一个分片号；基于所述索引号和至少一个分片号，在所述第一元数据池中识别所述第
i
级节点的至少一个节点对象
。
[0011]在一些实施例中，所述装置还包括：第二获取模块，用于在所述第一元数据池中，获取系统元数据，所述系统元数据包括所述根节点的元数据和元数据服务的元数据，所述元数据服务用于维护所述第一元数据池中的树状结构
。
[0012]在一些实施例中，所述迁移模块，用于将所述系统元数据迁移到所述第二元数据池；按照节点的层级从高到低的顺序，将所述树状结构中多个节点的节点对象迁移到所述第二元数据池，所述根节点的层级最高，第
n
级节点的层级最低；响应于将多个第
n
‑1级节点的节点对象成功迁移到所述第二元数据池，结束所述逐层迁移的过程
。
[0013]在一些实施例中，所述迁移模块，用于对于任一节点的节点对象，更新所述节点对象中的多个键值对；在所述节点对象中获取所述节点的统计信息，所述统计信息用于表示
所述节点所包含的子节点的数量；在所述节点对象中更新元数据分布信息和父节点分布信息，所述元数据分布信息用于标识存储所述节点对象的元数据池，所述父节点分布信息用于标识存储所述节点的元数据的元数据池；将更新后的多个键值对
、
所述统计信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，所述方法包括：接收元数据迁移指令，所述元数据迁移指令用于指示将第一元数据池中存储的元数据迁移到第二元数据池，所述第一元数据池用于按照树状结构存储文件系统的元数据，所述元数据用于描述对应的文件或者文件夹，所述树状结构用于表示所述文件系统中文件和文件夹的层级，所述树状结构中位于同一层的文件或者文件夹的层级相同；基于所述树状结构，在所述第一元数据池中逐层识别所述文件系统的元数据，得到所述文件系统中各层文件的元数据和各层文件夹的元数据；将所述文件系统中各层文件的元数据和各层文件夹的元数据逐层迁移到所述第二元数据池，所述第二元数据池的存储容量大于所述第一元数据池的存储容量
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述树状结构，在所述第一元数据池中逐层识别所述文件系统的元数据，得到所述文件系统中各层文件的元数据和各层文件夹的元数据，包括：基于所述树状结构，在所述第一元数据池中，识别根节点的节点对象，所述根节点位于所述树状结构的第一层，所述根节点的节点对象中存储有至少一个第一级节点的元数据，所述第一级节点为所述根节点的子节点，所述第一级节点位于所述树状结构的第二层，所述根节点用于表示文件夹，所述第一级节点用于表示文件或者文件夹；对于任一第
i
级节点，在所述第
i
级节点用于表示文件夹的情况下，在所述第一元数据池中，识别所述第
i
级节点的节点对象，所述第
i
级节点的节点对象中存储有至少一个第
i+1
级节点的元数据，所述第
i+1
级节点为所述第
i
级节点的子节点，所述第
i+1
级节点位于所述树状结构的第
i+2
层，
i
为不小于1的整数；在所述树状结构有
n
个层级的情况下，响应于得到第
n
‑1级节点的节点对象，结束所述逐层识别的过程
。3.
根据权利要求2所述的方法，其特征在于，所述基于所述树状结构，在所述第一元数据池中，识别根节点的节点对象，包括：基于所述树状结构，在所述第一元数据池中确定根节点
、
所述根节点的索引号以及所述根节点的至少一个分片号，所述分片号用于标识所述根节点的节点对象；基于所述根节点的索引号和所述根节点的至少一个分片号，在所述第一元数据池中识别所述根节点的至少一个节点对象，所述至少一个节点对象的名称与所述至少一个分片号一一对应
。4.
根据权利要求2所述的方法，其特征在于，所述方法还包括：响应于得到所述树状结构中多级节点的节点对象，对于任一节点的节点对象，基于所述节点对象中存储的至少一个键值对，获取所述节点的至少一个子节点的元数据，所述至少一个键值对用于存储所述至少一个子节点的元数据，所述键值对中的键为对应的子节点的名称，所述键值对中的值为对应的子节点的元数据
。5.
根据权利要求4所述的方法，其特征在于，对于任一子节点，在所述子节点用于表示文件夹的情况下，所述子节点对应的键值对中还存储有所述子节点的索引号和分片号；所述对于任一第
i
级节点，在所述第
i
级节点用于表示文件夹的情况下，在所述第一元数据池中，识别所述第
i
级节点的节点对象，包括：对于任一第
i
级节点，在所述第
i
级节点用于表示文件夹的情况下，获取所述第
i
级节点
对应的键值对中存储的索引号和至少一个分片号；基于所述索引号和至少一个分片号，在所述第一元数据池中识别所述第
i
级节点的至少一个节点对象
。6.
根据权利要求2所述的方法，其特征在于，所述方法还包括：在所述第一元数据池中，获取系统元数据，所述系统元数据包括所述根节点的元数据和元数据服务的元数据，所述元数据服务用于维护所述第一元数据池中的树状结构
。7.
根据权利要求6所述的方法，其特征在于，所述将所述文件系...

【专利技术属性】
技术研发人员：葛凯凯，罗维，张智，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：