元数据处理方法、装置及电子设备制造方法及图纸

技术编号:24497636 阅读:25 留言:0更新日期:2020-06-13 03:40
本公开是关于一种元数据处理方法、装置、电子设备和计算机可读存储介质。其中元数据处理方法应用于元数据服务器,元数据服务器包括非易失性内存,该方法包括:响应于接收到元数据编辑请求,在编辑日志中生成与元数据编辑请求指示的编辑操作信息相关的编辑日志条目;基于编辑日志条目,根据编辑日志条目相关的编辑操作信息来编辑非易失性内存中存储的原始元数据,以获得更新后的元数据;在对原始元数据编辑成功之后,从编辑日志中删除编辑日志条目。通过使用非易失性内存来存储元数据,提高了分布式文件系统的性能。

Metadata processing methods, devices and electronic equipment

【技术实现步骤摘要】
元数据处理方法、装置及电子设备
本公开涉及分布式文件系统领域,尤其涉及分布式文件系统的元数据处理方法、元数据处理装置及电子设备和计算机可读存储介质。
技术介绍
在典型的分布式文件系统中,会有元数据服务器、数据服务器以及客户端。元数据服务器保存文件系统的“元”信息。这些信息大体可以分为三类,第一类是名字空间信息,所谓名字空间就是文件系统目录的树状结构,在实际实现中,根目录会有一个固定的位置,然后从根目录开始,每个目录保存一个指向它的所有子目录或文件的索引指针,通过这些索引指针就组织起了整个文件系统的名字空间,使得可以从根目录一层一层找到任意目录或文件;第二类是属性信息,即目录或文件的各种属性数据,比如创建时间、最后修改时间、访问控制权限、文件所有者等;第三类信息是文件数据的位置信息,每个文件的数据分割成一个个固定大小的“块”(文件最后一个块的大小可能小于或等于该固定大小),而每个块的副本可能分布在多个数据节点上,元数据服务器会记录各个副本所在的节点。在通常的分布式文件系统的实现中,元数据信息都保存在内存(DRAM)中。包含元数据信息的内存本文档来自技高网...

【技术保护点】
1.一种元数据处理方法,其特征在于,所述方法应用于元数据服务器,所述元数据服务器包括非易失性内存,所述方法包括:/n响应于接收到元数据编辑请求,在编辑日志中生成与所述元数据编辑请求指示的编辑操作信息相关的编辑日志条目;/n基于所述编辑日志条目,根据所述编辑日志条目相关的所述编辑操作信息来编辑所述非易失性内存中存储的原始元数据,以获得更新后的元数据;/n在对所述原始元数据编辑成功之后,从所述编辑日志中删除所述编辑日志条目。/n

【技术特征摘要】
1.一种元数据处理方法,其特征在于,所述方法应用于元数据服务器,所述元数据服务器包括非易失性内存,所述方法包括:
响应于接收到元数据编辑请求,在编辑日志中生成与所述元数据编辑请求指示的编辑操作信息相关的编辑日志条目;
基于所述编辑日志条目,根据所述编辑日志条目相关的所述编辑操作信息来编辑所述非易失性内存中存储的原始元数据,以获得更新后的元数据;
在对所述原始元数据编辑成功之后,从所述编辑日志中删除所述编辑日志条目。


2.根据权利要求1所述的元数据处理方法,其特征在于,所述方法还包括:
在所述元数据服务器或与所述元数据编辑请求相关的应用程序重启时,判断所述编辑日志中是否存在保留的编辑日志条目;
在存在保留的编辑日志条目的情况下,根据所述保留的编辑日志条目相关的编辑操作信息来编辑所述非易失性内存中存储的所述原始元数据,以获得更新后的元数据。


3.根据权利要求2所述的元数据处理方法,其特征在于,判断所述编辑日志中是否存在保留的编辑日志条目包括:
判断所述编辑日志中是否存在编辑日志条目;
在不存在编辑日志条目的情况下,判断所述编辑日志中不存在保留的编辑日志条目;
在存在编辑日志条目的情况下,判断存在的编辑日志条目是否完整;
如果所述存在的编辑日志条目完整,则确定所述编辑日志中存在保留的编辑日志条目;
如果所述存在的编辑日志条目不完整,则确定所述编辑日志中不存在保留的编辑日志条目,并且丢弃不完整的编辑日志条目。


4.根据权利要求1所述的元数据处理方法,其特征在于,所述方法还包括:
判断所述更新后的元数据与所述编辑操作信息的预期编辑结果是否一致;
在判断所述更新后的元数据与所述编辑操作信息的预期编辑结果一致的情况下,确定对所述原始元数据编辑成功。


5.根据权利要求1所述的元数据处理方法,其特征在于,所述编辑日志存储在非易失性内存和/或持久存储器上。


6.根据权利要求1所述的元数据处理方法,其特征在于,所述方法应用于分布式文件系统。


7.一种元数据处理装置,其特征在于,所述装置应用于元数据服务器,所述元数据服务器包括非易失性内存,所述装置包括:
编辑日志条目生成单元,用于响应于接收到元数据编辑请求,在编辑日志中生成与所述元数据编辑请求指示的编辑操作信息相关的编辑日志条目;...

【专利技术属性】
技术研发人员:周应超
申请(专利权)人:北京松果电子有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1