数据处理方法及相关装置制造方法及图纸

本申请实施例提供一种数据处理方法及相关装置，应用于存储技术领域

【技术实现步骤摘要】
数据处理方法及相关装置


[0001]本申请涉及存储
，尤其涉及数据处理方法及相关装置
。

技术介绍

[0002]非结构化数据一般以文件或者对象的形式存储在文件系统里
(
本地文件系统或者
NAS
系统
)。
异构的文件系统，通常各自通过其访问协议来向外提供文件的读写服务，常见的访问协议例如网络文件系统
(network file system
，
NFS)
，
Hadoop
分布式文件系统
(Hadoop distributed file system
，
HDFS)
，简单存储服务
(simple storage service
，
S3)
，服务器信息块
(Server Message Block
，
SMB)
等
。
文件系统中文件的数据内容存储在存储盘中，计算设备可以通过对应的访问协议来访问存储盘中存储的文件的数据内容本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，应用于第一计算设备，所述方法包括：获取第一文件系统的第一元数据流，所述第一元数据流为流式结构且包含多条记录，所述多条记录中的每条记录包含所述第一文件系统中的一个节点的标识，所述一个节点的父节点的标识和所述一个节点的属性；所述一个节点为一个文件或一个目录；根据所述第一元数据流，确定所述第一文件系统中的多个节点的层次结构
。2.
根据权利要求1所述的方法，其特征在于，所述一个节点的属性包含以下字段中的一项或者多项：对所述一个节点执行的变更操作
、
与所述一个节点相关的事务的标识
、
所述记录的序列号
、
所述一个节点的存储布局信息
、
所述一个节点的扩展属性
。3.
根据权利要求1或2所述的方法，其特征在于，所述方法还包括：构建第一文件视图，所述第一文件视图包含所述第一文件系统中的多个节点的层次结构
。4.
根据权利要求1‑3任一项所述的方法，其特征在于，所述第一文件系统的数据存储在第一存储盘上，所述第一元数据流来自第二计算设备，所述第二计算设备与所述第一存储盘相连
。5.
根据权利要求4所述的方法，其特征在于，所述第一计算设备位于第一数据中心，所述第二计算设备和所述第一存储盘位于第二数据中心
。6.
根据权利要求4或5任一项所述的方法，其特征在于，所述方法还包括：获取第一输入输出
IO
请求，所述第一
IO
请求指示对第一节点执行变更操作；在所述第一元数据流的末端追加第一记录，所述第一记录中包含所述第一节点的标识，所述第一节点的父节点的标识和所述第一节点的第一属性，所述第一属性包括所述变更操作的类型
。7.
根据权利要求6所述的方法，其特征在于，所述变更操作的类型为新增，所述第一节点是在所述第一文件系统中的新增的文件或目录
。8.
根据权利要求6所述的方法，其特征在于，所述第一节点是所述第一文件系统中已经存在的文件或目录，所述第一记录中还包括所述第一记录的序列号；所述第一元数据流中还包含第二记录，所述第二记录包含所述第一节点的标识
、
所述第一节点的父节点的标识
、
所述第一节点的第二属性和所述第二记录的序列号；其中，所述第一记录的序列号和所述第二记录的序列号用于指示所述第一记录产生在所述第二记录之后；所述变更操作的类型为更新
、
删除或移动
。9.
根据权利要求6‑8任一项所述的方法，其特征在于，所述方法还包括：向所述第二计算设备发送消息，所述消息指示所述第一元数据流发生变化，以使得所述第二计算设备根据所述第一元数据流中的所述第一记录对所述第一节点执行所述变更操作
。10.
根据权利要求4‑9任一项所述的方法，其特征在于，所述第一元数据流中包含第三记录，所述第三记录包含所述第一文件系统中的第二节点的属性，所述第二节点为文件；所述第二节点的属性包含所述第二节点的存储布局信息，所述第二节点的存储布局信
息指示所述第一存储盘所属的存储设备；所述方法还包括：获取第二
IO
请求，所述第二
IO
请求指示读取所述第二节点；从所述第一存储盘所属的存储设备获取所述第二节点的数据
。11.
根据权利要求3所述的方法，其特征在于，所述方法还包括：在所述第一元数据流的末端出现新增加的记录的情况下，根据更新后的所述第一元数据流，更新所述第一文件视图，更新后的所述第一文件视图包含更新后的第一文件系统中的多个节点的层次结构
。12.
根据权利要求1‑
11
任一项所述的方法，其特征在于，所述方法还包括：对所述第一元数据流执行合并操作，所述合并操作指示对所述第一元数据流中的同一个节点对应的多条记录合并为一条记录
。13.
根据权利要求1‑
12
任一项所述的方法，其特征在于，所述方法还包括：获取第二文件系统的第二元数据流，所述第二文件系统的数据存储在第二存储盘，其中，所述第二元数据流来自与所述第二存储盘连接的所述第二计算设备，或来自与所述第二设备存储盘连接的第三计算设备，所述第二计算设备不同于所述第三计算设备；所述第二元数据流为流式结构且包含多条记录，所述第二元数据流的多条记录中的每条记录包含所述第二文件系统中的一个节点的标识
、
所述第二文件系统中的所述一个节点的父节点的标识和所述第二文件系统中的所述一个节点的属性；构建第二文件视图，所述第二文件视图包含所述第一文件系统中的多个节点的层次结构和所述第二文件系统中的多个节点的层次结构，所述第二文件系统中的多个节点的层次结构基于所述第二元数据流得到
。14.
根据权利要求1‑
13
任一项所述的方法，其特征在于，所述方法还包括：扫描第三文件系统的多个节点的层次结构，所述第三文件系统的数据存储在与所述第一计算设备连接的第三存储盘上；根据所述第三文件系统的多个节点的层次结构，构建第三元数据流，所述第三元数据流为流式结构且包含多条记录，所述第三元数据流的多条记录中的每条记录包含所述第三文件系统中的一个节点的标识
、
所述第三文件系统中的所述一个节点的父节点的标识和所述第三文件系统中的所述一个节点的属性；向所述第二计算设备发送所述第三元数据流，以使得所述第二计算设备根据所述第三元数据流确定所述第三文件系统中的多个节点的层次结构
。15.
根据权利要求
14
所述的方法，其特征在于，所述方法还包括：构建第三文件视图，所述第三文件视图包括所述第一文件系统中的多个节点的结构层次和所述第三文件系统中的多个节点的层次结构
。16.
根据权利要求
14
或
15
所述的方法，其特征在于，所述第二计算设备和所述第一存储盘包含于第一存储设备，所述第一计算设备和所述第三存储盘包含于第二存储设备，所述第一存储设备和所述第二存储设备是异构的
。17.
根据权利要求
14
‑
16
任一项所述的方法，其特征在于，所述第一文件系统通过第一访问协议被主机访问，所述第三文件系统通过第二访问协议被主机访问，所述第一访问协议与所述第二访问协议不同
。
18.
根据权利要求1‑
17
任一项所述的方法，其特征在于，所述第一数据流中包含第四记录，所述第四记录包含节点标识字段
、
父节点标识字段和第三节点的属性，其中，所述第四记录中的节点标识字段为第三节点的标识，所述第四记录中父节点标识字段为第四节点的标识，所述第四节点为目录；所述方法还包括：接收第三
IO
请求，所述第三
IO
请求指示在第五节点下创建所述第三节点的硬链接节点，所述第五节点为目录；在所述第一元数据流的末端追加第五记录
、
第六记录和第七记录，其中：所述第五记录包含节点标识字段
、
父节点标识字段和所述第三节点的属性，其中，所述第五记录中节点标识字段为所述第三节点的标识，所述第五记录中父节点标识字段为所述第三节点的标识；所述第六记录包含节点标识字段和父节点标识字段，其中，所述第六记录中节点标识字段为所述第三节点的标识，所述第六记录中父节点标识字段为所述第四节点的标识；所述第七记录包含节点标识字段和父节点标识字段，其中，所述第七记录中节点标识字段为所述第三节点的标识，所述第六记录中父节点标识字段为所述第五节点的标识
。19.
根据权利要求
18
所述的方法，其特征在于，所述方法还包括：获取第四
IO
请求，所述第四
IO
请求指示删除所述在第五节点下的所述第三节点的硬链接节点；在所述第一元数据流的末端追加第八记录，其中：所述第八记录包含节点标识字段
、
父节点标识字段和所述第三节点的属性，其中，所述第八记录中节点标识字段为所述第三节点的标识，所述第八记录中父节点标识字段为所述第五节点的...

【专利技术属性】
技术研发人员：兰龙文，程卓，潘浩，周文，程桢，苏毅，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：