分布式元数据管理一致性保证方法、装置、系统及应用制造方法及图纸

本发明专利技术公开了一种分布式元数据管理一致性保证方法、装置、系统及应用，本发明专利技术在元数据集群中部署一致性节点，客户端向一致性节点发送元数据更新请求，一致性节点向客户端返回元数据更新成功的消息并顺序记录元数据更新请求，将旧元数据标记为作废，且和元数据服务器进行异步的数据同步后作废标记；客户端元数据服务器发送元数据读操作，如果元数据读操作的对象被标记为作废，则通过一致性节点返回尚未完成异步的数据同步的读数据；否则，通过元数据所在的元数据服务器直接返回读数据。本发明专利技术能够保证分布式元数据管理的一致性，在保证元数据更新的一致性的同时，尽可能提升元数据访问性能。

Consistency Guarantee Method, Device, System and Application of Distributed Metadata Management

The invention discloses a method, device, system and application of consistency assurance for distributed metadata management. The consistency node is deployed in the metadata cluster, the client sends metadata update request to the consistency node, the consistency node returns the successful message of metadata update to the client and records the metadata update request sequentially, and marks the old metadata as invalid. Asynchronous data synchronization with the metadata server is scrapped; the client metadata server sends metadata reading operations. If the object of metadata reading operations is marked as scrapped, the read data that has not yet completed asynchronous data synchronization is returned through the consistency node; otherwise, the read data is directly returned through the metadata server where the metadata is located. The invention can ensure the consistency of distributed metadata management and improve the metadata access performance as much as possible while ensuring the consistency of metadata update.

【技术实现步骤摘要】
分布式元数据管理一致性保证方法、装置、系统及应用
本专利技术涉及大规模数据存储的文件系统领域，具体涉及一种分布式元数据管理一致性保证方法、装置、系统及应用，用于通过在分布式文件系统的元数据集群中引入一致性节点，从而以很低的开销保证元数据一致性。
技术介绍
随着人类社会积累的数据量不断增长，存储系统的规模越来越大，构建可扩展的存储系统逐步受到学术界和工业界的重视。分布式文件系统作为实现可扩展存储的一种重要手段已引起广泛的关注。传统的分布式文件系统如GFS、Lustre、GPFS、PVFS等均采用一个元数据服务器，这种方式集中式的元数据管理方法成为分布式文件系统实现性能扩展的主要障碍。近年来，多种文件系统推出分布式元数据管理手段。例如，改进版本的Lustre能够支持多个元数据服务器，且采用子树划分的方式将文件系统目录树分布到各个元数据服务器上；CephFS以子树划分为基础，还能在各个元数据服务器之间实现子树的动态迁移；GlusterFS则采用无中心架构，文件系统集群中任意节点都可用作元数据服务器。以上各种方法为实现可扩展的元数据服务提供了解决方案，但很少关注多个元数据服务器之间的数据一致本文档来自技高网...

【技术保护点】
1.一种分布式元数据管理一致性保证方法，其特征在于实施步骤包括：1）截获来自客户端的元数据操作请求，如果元数据操作请求为元数据更新操作，则跳转执行步骤2）；否则如果元数据操作请求为针对已标记作废元数据的元数据读操作，则跳转执行步骤3）；2）向客户端返回元数据更新成功的消息并顺序记录元数据更新请求，并将元数据所在元数据服务器中存储的旧元数据标记为作废；并将顺序记录的元数据更新请求异步同步到元数据所在的元数据服务器并删除完成同步的元数据的作废标记；退出；3）向客户端返回尚未完成异步同步的元数据，退出。

【技术特征摘要】
1.一种分布式元数据管理一致性保证方法，其特征在于实施步骤包括：1）截获来自客户端的元数据操作请求，如果元数据操作请求为元数据更新操作，则跳转执行步骤2）；否则如果元数据操作请求为针对已标记作废元数据的元数据读操作，则跳转执行步骤3）；2）向客户端返回元数据更新成功的消息并顺序记录元数据更新请求，并将元数据所在元数据服务器中存储的旧元数据标记为作废；并将顺序记录的元数据更新请求异步同步到元数据所在的元数据服务器并删除完成同步的元数据的作废标记；退出；3）向客户端返回尚未完成异步同步的元数据，退出。2.根据权利要求1所述的分布式元数据管理一致性保证方法，其特征在于，步骤2）的详细步骤包括：2.1）向客户端返回元数据更新成功的消息；2.2）将元数据更新操作封装到一个日志中，并以一个原子写操作将日志持久化到存储设备上，使得元数据更新请求至此已经在保证一致性的条件下持久化到元数据集群中；2.3）向元数据所在的元数据服务器发送作废消息，将元数据所在元数据服务器中存储的旧元数据标记为作废；2.4）周期性地将顺序记录的元数据更新请求异步同步到元数据所在的元数据服务器并删除完成同步的元数据的作废标记；退出。3.一种分布式元数据管理一致性保证装置，其特征在于包括：操作请求判断程序单元，用于截获来自客户端的元数据操作请求，如果元数据操作请求为元数据更新操作，则跳转执行更新操作处理程序单元；否则如果元数据操作请求为元数据读操作，则跳转执行读操作处理程序单元；更新操作处理程序单元，用于向客户端返回元数据更新成功的消息并顺序记录元数据更新请求，并将元数据所在元数据服务器中存储的旧元数据标记为作废；并将顺序记录的元数据更新请求异步同步到元数据所在的元数据服务器并删除完成同步的元数据的作废标记；读操作处理程序单元，用于向客户端返回尚未完成异步同步的元数据。4.一种分布式元数据管理一致性保证装置，包括至少一台计算机设备构成的一致性保证节点，其特征在于：所述一致性保证节点被编...

【专利技术属性】
技术研发人员：卢宇彤，陈志广，肖侬，刘芳，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44