海量元数据分片分布的方法及装置制造方法及图纸

本发明专利技术属于文件系统海量元数据分布技术领域，公开了一种海量元数据分片分布的方法，包括将单目录的元数据数据块划分为多个元数据分片；元数据数据块依据预定规则分布在不同的元数据分片上；将不同的元数据分片分别存储在多个存储设备上。本发明专利技术还公开了一种海量元数据分片分布的装置，包括单目录元数据数据块划分模块、第一元数据数据块分布模块和元数据分片存储模块。本发明专利技术解决了单目录海量数目的文件，文件系统元数据管理效率低的问题，本发明专利技术将单目录的元数据数据块划分为多个元数据分片，元数据分片大小的减小，能够实现元数据缓存的加载、同步。

【技术实现步骤摘要】
海量元数据分片分布的方法及装置
本专利技术属于文件系统海量元数据分布
，特别是涉及一种海量元数据分片分布的方法及装置。
技术介绍
任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据，而元数据指用来描述一个文件的特征的系统数据，诸如访问权限、文件拥有者以及文件数据块的分布信息（inode…）等等。在分布式文件系统中，分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。用户需要操作一个文件必须首先得到它的元数据，才能定位到文件的位置并且得到文件的内容或相关属性。用户使用文件系统过程中，文件系统元数据请求占据了所有请求50%以上的比例，诸如（readdir、getattr、open、close、setattr…）文件系统元数据对整个文件系统有着重要的影响。大数据时代非结构化的数据成爆炸式的增长，采用文件系统管理海量数据的方式越来越广泛，但是文件数目巨大，例如，大规模传感器会产生海量的数据片段，形成数量庞大的小数据文件。通常的元数据都要加载到内存缓存，才能完成文件系统的基本功能，但是数据量巨大的元数据加载到内存缓存过程慢、冲突检测困难。传统的文件系统元数据管理方法已经本文档来自技高网...

【技术保护点】
一种海量元数据分片分布的方法，其特征在于，包括以下步骤：将单目录的元数据数据块划分为多个元数据分片；元数据数据块依据预定规则分布在不同的元数据分片上；将不同的元数据分片分别存储在多个存储设备上。

【技术特征摘要】
1.一种海量元数据分片分布的方法，其特征在于，包括以下步骤：将单目录的元数据数据块划分为多个元数据分片；元数据数据块依据预定规则分布在不同的元数据分片上；将不同的元数据分片分别存储在多个存储设备上。2.根据权利要求1所述的海量元数据分片分布的方法，其特征在于，元数据数据块依据预定规则分布在不同的元数据分片上，进一步包括：元数据数据块依据名称哈希到不同的元数据分片上；同一个元数据分片对应具有相同哈希值的元数据数据块。3.根据权利要求2所述的海量元数据分片分布的方法，其特征在于，依据名称的哈希值，获得存储在不同存储设备上的元数据分片。4.一种海量元数据分片分布的装置，其特征在于，包括：单目录元数据数据块划分模块，用于将单目录...

【专利技术属性】
技术研发人员：李雪生，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41