元数据结构和基于其的操作方法、定位方法、切分方法技术

本发明专利技术公开了一种元数据结构和基于其的操作方法、定位方法、切分方法，该结构包括：目录元数据结构，所述目录元数据包括：目录索引；多个目录元数据，其中，所有目录元数据的数据字段为定长字段；文件元数据结构，所述文件元数据包括：文件索引；多个文件元数据，其中，所有文件元数据的数据字段为定长字段。本发明专利技术的元数据结构具有如下优点：实现元数据在内存与外存的统一表示，无需对元数据字段进行序列化和反序列化操作。

【技术实现步骤摘要】
元数据结构和基于其的操作方法、定位方法、切分方法
本专利技术涉及计算机领域，具体涉及一种元数据结构和基于其的操作方法、定位方法、切分方法。
技术介绍
分布式文件系统是一种普遍使用的存储系统。具有很多优点，如可扩展性强，维护简单，成本较低等，因此，很适合存储大量的，且增长很快的数据。但是，分布式文件系统也存在一些不足，如延迟较高，对元数据访问的可扩展性差等特点。分布式文件系统中最为重要的就是关于元数据的管理，一种广泛使用的方法就是将元数据存放在键值存储(Key-ValueStore)系统中。这种键值系统能够高效的完成元数据的查询，并且可以保证数据的一致性(Consistency)，持久性(Durability)。由于键值系统是目前被广泛应用的系统，所以采用键值系统存储分布式文件系统的元数据是非常适合的。为了支持高效的元数据访问，在使用键值存储的系统中，需要在键值存储之上构建结构化元数据缓存层，将非结构化的元数据在内存中进行结构化。即对于一次创建或者更改元数据的操作，客户端首先将请求发送到元数据服务器，元数据服务器在接收到请求后，首先将元数据缓存在元数据服务器的结构化元数据缓存层，之后序列化到键值存储系统中，键值存储系统最后将对于元数据的更改持久化到硬盘。而对于一次读取元数据的操作，客户端首先将请求发送到元数据服务器，元数据服务器接收到请求后，如果元数据在结构化缓存中，则直接返回结果，如果不在结构化缓存中，则从键值存储中读取结果，并且反序列化到结构化缓存中。这种方法虽然能够在缓存命中的时候提供快速的数据处理，存在内存空间不能充分利用和序列化反序列化开销较大的问题。其中内存不能充分利用主要体现在结构化缓存和键值数据库中的非结构化缓存在数据的内容上具有一致性，但是却以不同的形态存储了两份内容。序列化和反序列化的开销体现在在缓存不命中的情况下，每一次对于一个文件元数据中一个部分的修改或者读取，都需要对整个文件的元数据进行序列化和反序列化操作，这种方式导致数据的处理比较低下。
技术实现思路
本专利技术旨在至少解决上述技术问题之一。为此，本专利技术的一个目的在于提出一种元数据结构，实现元数据在内存与外存的统一表示，无需对元数据字段进行序列化和反序列化操作。为了实现上述目的，本专利技术的实施例公开了一种元数据结构，包括：目录元数据结构，所述目录元数据包括：目录索引；多个目录元数据，其中，所有目录元数据的数据字段为定长字段；文件元数据结构，所述文件元数据结构包括：文件索引；多个文件元数据，其中，所有文件元数据的数据字段为定长字段。进一步地，所述目录索引为目录的路径，所述目录元数据包括目录的访问权限标识、目录的用户标识、目录的用户组标识、目录的访问时间和目录的全局唯一标识。进一步地，所述文件索引包括目录元数据的父目录的全局唯一标识和目录文件名，所述文件元数据包括访问时间、访问模式、用户标识、组标识、修改时间、文件的内容的访问时间、文件的大小、文件块的大小和文件元数据的全局唯一标识。根据本专利技术实施例的元数据结构，实现元数据在内存与外存的统一表示，无需对元数据字段进行序列化和反序列化操作。本专利技术的另一个目的在于提出一种对上述实施例的元数据结构的操作方法，包括：所述目录元数据结构在存储过程中，使用所述目录的路径作为键，多个目录元数据作为值；所述文件元数据结构在存储过程中，使用目录元数据的父目录的全局唯一标识和目录文件名作为键，使用所述多个文件元数据作为值。进一步地，还包括：从内存写回外存时将元数据的内存字段直接拼接写入到键值数据库中；在从外存读取元数据到内存时从键值数据库中读出，在内存中直接填入元数据的内存结构表示。根据本专利技术实施例的元数据结构的操作方法，实现了无序列化和反序列的高效键值存储。本专利技术的另一个目的在于提出一种对上述实施例的元数据结构的定位方法，包括：根据文件元数据结构的大小和块大小确定文件内容存储的具体位置；根据外部输入的偏移量获取文件块的偏移；根据所述文件的全局唯一标识和所述文件块的偏移得到所述文件块在存储集群中的位置。根据本专利技术实施例的元数据结构的定位方法，可以通过文件的大小和文件的块大小直接定位文件。本专利技术的另一个目的在于提出一种对上述实施例的元数据结构的切分方法，包括：A1：将元数据操作分为访问控制型操作和文件定位型操作；A2：将元数据字段分为访问控制类型的元数据和描述文件空间分布的元数据字段，其中，所述访问控制类型的元数据包括所述访问时间、访问模式、用户标识和组标识，所述描述文件空间分布的元数据字段包括：修改时间、文件的内容的访问时间、文件的大小、文件块的大小和文件元数据的全局唯一标识；A3：将文件系统元数据操作分为需要访问所有的元数据操作、需要改变访问控制类型的操作和需要改变描述文件空间分布的元数据操作，其中，所述需要访问所有的元数据操作包括获取文件元数据操作、删除文件操作和重命名文件操作，所述需要改变访问控制类型的操作包括改变用户组操作、改变用户权限操作、创建文件操作和打开文件操作，所述需要改变描述文件空间分布的元数据操作包括读文件内容操作、写文件内容操作和改变文件大小操作；A4：基于A1-A3的分类，将元数据字段进行聚集，聚集访问控制类型的元数据字段为访问控制元数据块，聚集描述文件空间分布的元数据字段为文件空间描述元数据块。进一步地，还包括：对所述需要改变访问控制类型的操作和所述需要改变描述文件空间分布的元数据操作时，每次的更改和读取将读取和修改的一种类型的元数据；当处理一个修改类型的元数据操作时，从键值系统中获得需要修改的元数据，替换数据后直接写入键值数据库。根据本专利技术实施例的元数据结构的切分方法，对基本的元数据操作进行分类，将其按照所需要修改的元数据字段进行划分，减少的每次元数据操作所访问的字段的长度。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1是本专利技术一个实施例的目录元数据的结构图；图2是本专利技术一个实施例的与访问控制相关的元数据的结构图；图3是本专利技术一个实施例的与文件数据布局相关的元数据结构图；图4是本专利技术一个实施例的文件操作与文件元数据的对应关系图；图5是本专利技术一个实施例的总体结构图；。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。参照下面的描述和附图，将清楚本专利技术的实施例的这些和其他方面。在这些描述和附图中，具体公开了本专利技术的实施例中的一些特定实施方式，来表示实施本专利技术的实施例的原理的一些方式，但是应当理解，本专利技术的实施例的范围不受此限制。相反，本专利技术的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。以下结合附图描述本专利技术。根据本专利技术实施例的元数据结构，包括目录元数据结构和文件元数据结构。其中，目录元数据包括目录索引和多个目录元数据，所有目录元数据的数据字段为定长字段。图1是本专利技术一个实施例的目录元数据的结构图。如图1所示，本文档来自技高网...

【技术保护点】
一种元数据结构，其特征在于，包括：目录元数据结构，所述目录元数据包括：目录索引；多个目录元数据，其中，所有目录元数据的数据字段为定长字段；文件元数据结构，所述文件元数据结构包括：文件索引；多个文件元数据，其中，所有文件元数据的数据字段为定长字段。

【技术特征摘要】
1.一种元数据结构，其特征在于，包括：目录元数据结构，所述目录元数据包括：目录索引；多个目录元数据，其中，所有目录元数据的数据字段为定长字段；文件元数据结构，所述文件元数据结构包括：文件索引；多个文件元数据，其中，所有文件元数据的数据字段为定长字段。2.如权利要求1所述的元数据结构，其特征在于，所述目录索引为目录的路径，所述目录元数据包括目录的访问权限标识、目录的用户标识、目录的用户组标识、目录的访问时间和目录的全局唯一标识。3.如权利要求2所述的元数据结构，其特征在于，所述文件索引包括目录元数据的父目录的全局唯一标识和目录文件名，所述文件元数据包括访问时间、访问模式、用户标识、组标识、修改时间、文件的内容的访问时间、文件的大小、文件块的大小和文件元数据的全局唯一标识。4.一种对权利要求3所述的元数据结构的操作方法，其特征在于，包括：所述目录元数据结构在存储过程中，使用所述目录的路径作为键，多个目录元数据作为值；所述文件元数据结构在存储过程中，使用目录元数据的父目录的全局唯一标识和目录文件名作为键，使用所述多个文件元数据作为值。5.如权利要求4所述的方法，其特征在于，还包括：从内存写回外存时将元数据的内存字段直接拼接写入到键值数据库中；在从外存读取元数据到内存时从键值数据库中读出，在内存中直接填入元数据的内存结构表示。6.一种对权利要求3所述的元数据结构的定位方法，其特征在于，包括：根据文件元数据结构的大小和块大小确定文件内容存储的具体位置；根据外部输入的偏移量获取文件块的偏移...

【专利技术属性】
技术研发人员：陆游游，舒继武，李思阳，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11