分布式文件系统元数据的组织方法及装置制造方法及图纸

本申请涉及计算机领域，公开了一种分布式文件系统元数据的组织方法，包括：根据待创建文件的内容，建立默认的文件块组合索引表，用于反映待创建文件的文本块组合与构成文本块组合的所有文本块的映射关系；如果待创建文件包含其它已有的文件或已有的文本块组合，则将对待创建文件中的已有的文件或已有的文本块组合中的每一个文本块的引用，替代为对已有的文件的文本块组合或已有的文本块组合的引用，并据此更新文件块组合索引表；根据更新的文件块组合索引表生成并维护待创建文件。本发明专利技术无需关注底层文本块结构的变化，组织方式更加方便，组织效率更高，对文本块的利用和组织更加合理，使得系统资源利用率更高。

Organization Method and Device of Distributed File System Metadata

【技术实现步骤摘要】
分布式文件系统元数据的组织方法及装置
本申请涉及计算机
，特别涉及数据的组织技术。
技术介绍
计算机通过文件系统管理、存储数据，而信息爆炸时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。而分布式文件系统可以有效解决数据的存储和管理难题。具体的，分布式文件系统将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。在这种情况下，人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。但是，根据现有的技术，在分布式文件系统中，文件创建后与底下的文本块(Chunk)关系是绑定的。在这种情况下，存在一些问题，例如，若要将文件中的某几段内容由其它文件的内容进行替换、删除(如一些文件合并、垃圾回收的场景)，需要从别的文件复制一份数据进来，因此，性能受到影响。具体的，文本块(Chunk)被创建后，只能一直属于一个文件，不同文本块(Chunk)组成新文件时必须要完整复制一份。并且，文件和文本块(Chunk)无法嵌套，即，文本块(Chunk)创建后其位置不能被其它内容替代。还有，文件和文本块(Chunk)的生命周期同步，文件删除时文本块(Chunk)也相应消失。可见，根据现有的分布式文件系统元数据的组织技术，需要关注底层文本块(Chunk)结构的变化，组织方式不够方便，组织效率不高，对文本块(Chunk)的利用和组织也不够合理，使得系统资源利用率也不高。
技术实现思路
本申请的目的在于提供一种分布式文件系统元数据的组织方法及装置，无需关注底层文本块(Chunk)结构的变化，组织方式更加方便，组织效率更高，对文本块(Chunk)的利用和组织更加合理，使得系统资源利用率更高。为了解决上述问题，本申请公开了一种分布式文件系统元数据的组织方法，包括：根据待创建文件的内容，建立默认的文件块组合索引表，用于反映该待创建文件的文本块组合与构成该文本块组合的所有文本块的映射关系；如果该待创建文件包含其它已有的文件或已有的文本块组合，则将对该待创建文件中的该已有的文件或已有的文本块组合中的每一个文本块的引用，替代为对该已有的文件的文本块组合或已有的文本块组合的引用，并据此更新该文件块组合索引表；根据更新的文件块组合索引表生成并维护该待创建文件。在一个优选例中，该如果该待创建文件包含其它已有的文件或已有的文本块组合，则将对该待创建文件中的该已有的文件或已有的文本块组合中的每一个文本块的引用，替代为对该已有的文件的文本块组合或已有的文本块组合的引用，并据此更新该文件块组合索引表的步骤中，还包括：用户对该待创建文件中的多个文本块新创建一个文本块组合，将对该多个文本块中的每一个文本块的引用，替代为对该新文本块组合的引用，并据此更新该文件块组合索引表。在一个优选例中，还包括：建立文件块索引表，用于映射每一个文本块的标识与存储位置的对应关系；收到创建文件的请求时，根据该待创建文件的内容确定该待创建文件所包含的文本块，并根据该建立文件块索引表确定每一个文本块所对应的存储位置。在一个优选例中，还包含：根据该文件块组合索引表，建立文件块的引用关系索引表，用于反映待创建的文件中的每一个文件块组合或文件块与引用它的上一层文件块组合的映射关系。在一个优选例中，该根据该文件块组合索引表，建立文件块的引用关系索引表，用于反映待创建的文件中的每一个文件块组合或文件块与引用它的上一层文件块组合的映射关系的步骤之后，还包括：根据该文件块的引用关系索引表，对每一个该文件块进行引用计数，并且，当该文本块的引用计数为0时，在该文本块的存储位置上物理删除该文本块。本申请还公开了一种分布式文件系统元数据的组织装置，包括：默认的文件块组合索引表模块，用于根据待创建文件的内容，建立默认的文件块组合索引表，该默认的文件块组合索引表用于反映该待创建文件的文本块组合与构成该文本块组合的所有文本块的映射关系；引用文本块组合更新及文件块组合索引表更新模块，用于如果该待创建文件包含其它已有的文件或已有的文本块组合，则将对该待创建文件中的该已有的文件或已有的文本块组合中的每一个文本块的引用，替代为对该已有的文件的文本块组合或已有的文本块组合的引用，并据此更新该文件块组合索引表；生成及维护创建文件模块，用于根据更新的文件块组合索引表生成并维护该待创建文件。在一个优选例中，该引用文本块组合更新及文件块组合索引表更新模块，还用于由用户对该待创建文件中的多个文本块新创建一个文本块组合，将对该多个文本块中的每一个文本块的引用，替代为对该文本块组合的引用，并据此更新该文件块组合索引表。在一个优选例中，还包括：文件块索引表建立模块，用于建立文件块索引表，该文件块索引表用于映射每一个文本块的标识与存储位置的对应关系；文本块存储位置确定模块，用于在收到创建文件的请求时，根据该待创建文件的内容确定所包含的文本块，并根据该建立文件块索引表确定每一个文本块所对应的存储位置。在一个优选例中，文件块的引用关系索引表模块，用于根据该文件块组合索引表，建立文件块的引用关系索引表，用于反映待创建的文件中的每一个文件块组合或文件块与引用它的上一层文件块组合的映射关系；文本块引用技术及删除模块，用于根据该文件块的引用关系索引表，对每一个该文件块进行引用计数，并且，当该文本块的引用计数为0时，在该文本块的存储位置上物理删除该文本块。本申请还公开了一种分布式文件系统元数据的组织设备，包括：存储器，用于存储计算机可执行指令；以及，处理器，用于在执行该计算机可执行指令时实现如前文描述的方法中的步骤。本申请还公开了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现如前文描述的方法中的步骤。增加了文件块组合索引表(ChunkListTable)和文件块的引用关系索引表(Reference)，相应地，数据的具体组织方式也有变化，原先一个文本块(chunk)仅被一个文件应用，因此，不需要处理引用关系，即，引用计数永远是1。而根据本专利技术，可以被多个文件同时应用，每次增加一个引用关系或删除一个引用关系，都需要更新文件块的引用关系索引表(Reference)，当引用计数为0时，在文本块的存储位置上物理删除该文本块。并且，根据本专利技术，如果待创建文件中存在已有的文件的文本块组合或已有的文本块组合，且用户需要直接引用这些已有的文件的文本块组合或已有的文本块组合，则先据此建立一个文本块组合(ChunkList)，再建立待创建文件与已有的文件的文本块组合或已有的文本块组合的引用关系，因此，中间多了一层对应关系。在这种情况下，首先，通过将待创建文件中已有的文件或已有的文本块组合(ChunkList)所对应的每一个文本块，用它们相应的已有的文件或已有的文本块组合(ChunkList)替代，可以实现直接替换待创建文件中的一部分数据的效果，不需要再进行专门的复制，因此，使组织方法更加方便，效率更高本文档来自技高网...

【技术保护点】
1.一种分布式文件系统元数据的组织方法，其特征在于，包括：根据待创建文件的内容，建立默认的文件块组合索引表，用于反映所述待创建文件的文本块组合与构成所述文本块组合的所有文本块的映射关系；如果所述待创建文件包含其它已有的文件或已有的文本块组合，则将对所述待创建文件中的所述已有的文件或已有的文本块组合中的每一个文本块的引用，替代为对所述已有的文件的文本块组合或已有的文本块组合的引用，并据此更新所述文件块组合索引表；根据更新的文件块组合索引表生成并维护所述待创建文件。

【技术特征摘要】
1.一种分布式文件系统元数据的组织方法，其特征在于，包括：根据待创建文件的内容，建立默认的文件块组合索引表，用于反映所述待创建文件的文本块组合与构成所述文本块组合的所有文本块的映射关系；如果所述待创建文件包含其它已有的文件或已有的文本块组合，则将对所述待创建文件中的所述已有的文件或已有的文本块组合中的每一个文本块的引用，替代为对所述已有的文件的文本块组合或已有的文本块组合的引用，并据此更新所述文件块组合索引表；根据更新的文件块组合索引表生成并维护所述待创建文件。2.如权利要求1所述的方法，其特征在于，所述如果所述待创建文件包含其它已有的文件或已有的文本块组合，则将对所述待创建文件中的所述已有的文件或已有的文本块组合中的每一个文本块的引用，替代为对所述已有的文件的文本块组合或已有的文本块组合的引用，并据此更新所述文件块组合索引表的步骤中，还包括：用户对所述待创建文件中的多个文本块新创建一个文本块组合，将对所述多个文本块中的每一个文本块的引用，替代为对所述新文本块组合的引用，并据此更新所述文件块组合索引表。3.如权利要求1所述的方法，其特征在于，还包括：建立文件块索引表，用于映射每一个文本块的标识与存储位置的对应关系；收到创建文件的请求时，根据所述待创建文件的内容确定该待创建文件所包含的文本块，并根据所述建立文件块索引表确定每一个文本块所对应的存储位置。4.如权利要求3所述的方法，其特征在于，还包含：根据所述文件块组合索引表，建立文件块的引用关系索引表，用于反映待创建的文件中的每一个文件块组合或文件块与引用它的上一层文件块组合的映射关系。5.如权利要求4所述的方法，其特征在于，所述根据所述文件块组合索引表，建立文件块的引用关系索引表，用于反映待创建的文件中的每一个文件块组合或文件块与引用它的上一层文件块组合的映射关系的步骤之后，还包括：根据所述文件块的引用关系索引表，对每一个所述文件块进行引用计数，并且，当所述文本块的引用计数为0时，在所述文本块的存储位置上物理删除所述文本块。6.一种分布式文件系统元数据的组织装置，其特征在于，包括：默认的文件块组合索引表模块，用于根据待创建文件的内...

【专利技术属性】
技术研发人员：陈骁杰，刘俊峰，姚文辉，沈健，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY