元数据处理方法、装置、设备、存储介质及产品制造方法及图纸

本申请提供一种元数据处理方法、装置、设备、存储介质及产品。该方法包括：响应于接收到客户端设备发送的对包括多个预设目录组的分布式文件系统中元数据的操作请求，根据操作请求中目标元数据的存储路径确定存储目标元数据的目标目录组；目标元数据包括目标目录访问元数据和/或其所在目录下的目标文件元数据，目标目录组用于存储目标元数据及其父目录时间戳元数据；针对每个预设目录组，分别存储在一个对应的非统一内存访问节点中，多个非统一内存访问节点位于对应的元数据服务器中，各预设目录组中的数据包括预设元数据及其父目录时间戳元数据；根据操作请求中操作类型对目标元数据进行操作，并对目标元数据的父目录时间戳元数据进行更新。戳元数据进行更新。戳元数据进行更新。

【技术实现步骤摘要】
元数据处理方法、装置、设备、存储介质及产品


[0001]本申请涉及数据处理
，尤其涉及一种元数据处理方法、装置、设备、存储介质及产品。

技术介绍

[0002]分布式文件系统(Distributed File System，DFS)通过高速网络将多个物理节点连接在一起，实现多节点资源的统一管理，并向用户提供了文件系统访问接口和统一的文件系统命名空间。分布式文件系统通常基于客户端/服务器(Client/Server)的模式而设计，客户端为应用程序提供标准的文件系统访问接口，服务器存储了文件系统中所有的数据与元数据。分布式文件系统通常采用数据与元数据分离的设计架构，数据存储在多台数据服务器上，元数据存储在多台元数据服务器上，元数据包括目录元数据和文件元数据。
[0003]在现有技术中，以分布式文件系统的目录层级为单位，将位于同一层级目录下的元数据放置在同一非统一内存访问节点，也即不同层级目录下的元数据可能位于不同非统一内存访问节点。当某一目录层级下的元数据发生更新(例如创建、删除等)时，需要对应更新该目录层级的父目录元数据。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种元数据处理方法，应用于元数据处理设备，其特征在于，所述方法包括：响应于接收到客户端设备发送的对分布式文件系统中元数据的操作请求，所述操作请求中包括目标元数据的存储路径及操作类型；根据所述目标元数据的存储路径确定存储所述目标元数据的目标目录组；所述目标元数据包括目标目录访问元数据和/或所述目标目录访问元数据所在目录下的目标文件元数据，所述目标目录组用于存储所述目标元数据和所述目标元数据的父目录时间戳元数据；所述分布式文件系统包括多个预设目录组，针对每个预设目录组，分别存储在一个对应的非统一内存访问节点中，多个非统一内存访问节点位于对应的元数据服务器中，各预设目录组中的数据包括预设元数据、以及预设元数据的父目录时间戳元数据；根据所述操作类型对所述目标元数据进行操作，并对所述目标目录组中的目标元数据的父目录时间戳元数据进行更新。2.根据权利要求1所述的方法，其特征在于，所述根据所述操作类型对所述目标元数据进行操作，并对所述目标目录组中的目标元数据的父目录时间戳元数据进行更新，包括：响应于所述目标元数据的操作类型为目标元数据创建，将所述目标元数据写入所述目标目录组；将写入所述目标元数据时的系统时间戳确定为所述目标元数据的创建时间；在写入所述目标元数据之后，根据所述目标元数据的创建时间更新所述目标元数据的父目录时间戳元数据。3.根据权利要求2所述的方法，其特征在于，在所述根据所述操作类型对所述目标元数据进行操作，并对所述目标目录组中的目标元数据的父目录时间戳元数据进行更新之后，所述方法还包括：响应于检测到所述分布式文件系统异常且所述目标元数据的创建时间后于所述目标元数据的父目录时间戳元数据中的对应时间，根据所述目标元数据的创建时间更新所述目标元数据的父目录时间戳元数据。4.根据权利要求1所述的方法，其特征在于，所述根据所述操作类型对所述目标元数据进行操作，并对所述目标目录组中的目标元数据的父目录时间戳元数据进行更新，包括：响应于所述操作类型为删除操作，标记所述目标元数据为无效；将标记所述目标元数据为无效时的系统时间戳确定为所述目标元数据的删除时间；根据所述目标元数据的删除时间更新所述目标元数据的父目录时间戳元数据；在更新所述目标元数据的父目录时间戳元数据之后，删除所述目标元数据。5.根据权利要求4所述的方法，其特征在于，在所述根据所述操作类型对所述目标元数据进行操作，并对所述目标目录组中的目标元数据的父目录时间戳元数据进行更新之后，所述方法还包括：响应于所述分布式文件系统异常、且所述目标元数据的删除时间后于所述目标元数据的父目录时间戳元数据中的对应时间，根据所述目标元数据的删除时间更新所述目标元数据的父目录时间戳元数据；响应于所述分布式文件系统异常、且所述目标元数据的删除时间与所述目标元数据的父目录时间戳元数据中的对应时间相同、且所述目标元数据未被删除，删除所述目标元数据。
6.根据权利要求1所述的方法，其特征在于，在所述根据所述操作类型对所述目标元数据进行操作，并对所述目标目录组中的目标元数据的父目录时间戳元数据进行更新时，所述方法还包括：响应于对所述分布式文件系统中目标元数据同时触发的操作包括至少两个，确定同时触发的操作对应的操作类型；其中，所述同时触发的操作对应的操作类型包括时间戳更新操作、写操作和读操作中的至少一个，所述时间戳更新操作为在所述目标元数据的创建或删除过程中对所述目标目录元数据的父目录时间戳元数据进行更新的操作，所述写操作为除所述时间戳更新操作外的对所述目标元数据进行更新的操作，所述读操作为对目标元数据进行读取的操作；响应于同时触发的操作对应的操作类型包括写操作，采用预设读写锁算法对所述同时触发的操作进行并发控制；响应于多个所述时间戳更新操作同时触发，采用预设无锁原子更新算法对多个所述时间戳更新操作进行并发控制；响应于所述时间戳更新操作与所述读操作同时触发，采用预设乐观并发控制算法对所述时间戳更新操作与所述读操作进行并发控制。7.根据权利要求6所述的方法，其特征在于，同时触发的操作对应的操作类型包括时间戳更新操作、所述读操作中的至少一个以及写操作；所述采用预设读写锁算法对所述同时触发的操作进行并发控制，包括：获取预设读写锁算法中的当前锁状态；响应于所述当前锁状态为写操作持有写锁，执行所述写操作，并在所述写操作执行完成后，配置所述时间戳更新操作和/或所述读操作持有读锁，以便执行所述时间戳更新操作和/或所述读操作；或响应于所述当前锁状态为所述时间戳更新操作和/或所述读操作持有读锁，执行所述时间戳更新操作和/或所述读操作，并在所述时间戳更新操作和/或所述读操作执行完成后，配置所述写操作持有写锁，以便执行所述写操作。8.根据权利要求6所述的方法，其特征在于，所述目标元数据的父目录时间戳元数据包括最后数据修改时间和最后元数据修改时间；所述采用预设无锁原子更新算法对多个所述时间戳更新操作进行并发控制，包括：获取多个所述时间戳更新操作对应的待更新时间和所述父目录时间戳元数据中记录的最后数据修改时间和最后元数据修改时间；其中，所述待更新时间为所述目标元数据的创建时间或所述目标元数据的删除时间；利用多个所述时间戳更新操作对应的待更新时间、所述最后数据修改时间和所述最后元数据修改时间中的最大值更新所述目标元数据的父目录时间戳元数据中记录的最后数据修改时间和最后元数据修改时间。9.根据权利要求6所述的方法，其特征在于，所述父目录时间戳元数据包括最后元数据修改时间；所述采用预设乐观并发控制算法对所述时间戳更新操作与所述读操作进行并发控制，包括：执行所述时间戳更新操作；
在执行所述读操作之前，读取所述父目录时间戳元数据，以获得第一最后元数据修改时间；在执行所述读操作之后，读取所述父目录时间戳...

【专利技术属性】
技术研发人员：陆游游，郭昊，舒继武，
申请(专利权)人：清华大学，
类型：发明
国别省市：