一种分布式数据管理方法技术

本发明专利技术公开了一种分布式数据管理方法，属于分布式储存领域。本发明专利技术技术方案将元数据管理功能分散到多个节点，并建立映射关系，在元数据树结构设计中，选择普通多叉树与哈希表结合的实现结构，在元数据的数据结构里加入全路径字段，写数据时将日志写在新数据之后；获取到文件元数据后通过映射方式获得文件数据的存储位置；同时支持文件元数据副本和文件数据副本，当使用文件元数据副本或文件数据副本时，采用不同的映射关系，确保副本被分布到不同的节点，在读写文件元数据或文件数据时，当主存储端失效时，副本存储端能够迅速接替主存储端工作。本发明专利技术技术方案能有效提高分布式数据管理的性能和可靠性。

A distributed data management method

The invention discloses a distributed data management method, which belongs to the distributed storage field. The technical scheme of the invention will be distributed to a plurality of metadata management nodes, and establish the mapping relation in metadata tree structure design, choice of common tree and hash table with the realization structure, add the full path field in a data structure of metadata, data will be written in the log after access to new data; where to save the file data file metadata through the mapping mode; at the same time support file metadata and file copy copy of the data when using the metadata of files or file data copy copy, the mapping between different, to ensure that the copies are distributed to different nodes in the read and write file metadata or file data, when the main storage end the failure when the end can store a copy of the reservoir is rapidly replacing. The technical scheme of the invention can effectively improve the performance and reliability of the distributed data management.

【技术实现步骤摘要】
一种分布式数据管理方法
本专利技术属于分布式数据存储领域，更具体地，涉及一种分布式数据管理方法。
技术介绍
分布式数据管理，是指通过网络，以类似本地文件系统的方式访问其它节点上的数据。存取文件实际对应的是存取文件的各个块，在获得文件的元数据信息后，需要继续获得文件的块信息。传统做法是基于块分布表的方式，即在内存中维护一个块分布表，表中存放了文件块的存储位置，通过查询块分布表来获得文件块信息。在存取文件的时候，先获取到文件的元数据信息，然后再存取对应文件数据。元数据意指描述数据的数据，一般包括文件大小、位置、创建时间等信息。传统的分布式数据管理采用的是单个节点存放元数据的方式，即存取文件时，首先访问存放元数据的节点，获取到文件元数据后，再根据元数据存取文件。这样元数据管理带来的内存、计算等开销将由一个特点的节点承担，系统的资源及性能将受到限制。在获取元数据信息的时侯，需要根据该元数据对应的文件的文件名，来定位元数据所在位置。元数据通常以文件树的形式组织，这样便于查找。在传统的文件系统中，查找元数据需要从根节点开始，根据名称逐层匹配路径。当文件系统的目录深度过大，这无疑会带来较大的性能开本文档来自技高网...

【技术保护点】
一种分布式数据管理方法，其特征在于，所述方法包括：建立文件信息和多个节点的映射关系；在所述多个节点中，其中一个节点存储该文件的元数据，其他每个节点都存储有该文件的元数据副本；建立文件元数据信息和多个节点的映射关系；在所述多个节点中，其中一个节点存储该文件数据，其他每个节点都存储有该文件数据副本；所述元数据树结构采用普通多叉树与哈希表相结合的结构，在元数据的数据结构中加入全路径字段；在写文件时，直接将日志追加在文件数据之后。

【技术特征摘要】
1.一种分布式数据管理方法，其特征在于，所述方法包括：建立文件信息和多个节点的映射关系；在所述多个节点中，其中一个节点存储该文件的元数据，其他每个节点都存储有该文件的元数据副本；建立文件元数据信息和多个节点的映射关系；在所述多个节点中，其中一个节点存储该文件数据，其他每个节点都存储有该文件数据副本；所述元数据树结构采用普通多叉树与哈希表相结合的结构，在元数据的数据结构中加入全路径字段；在写文件时，直接将日志...

【专利技术属性】
技术研发人员：万胜刚，曾良咀，方俊涛，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42