【技术实现步骤摘要】
本专利技术属于元数据管理领域，尤其涉及一种应用于分布式文件系统的元数据管理方法及系统。
技术介绍
1、随着互联网的行业发展与用户增长，需要存储的数据量也在飞速增长，单一的数据中心已经不能满足当前需求，因此将数据分散至多个存储服务器的分布式存储技术以其高可靠、高性能和高可用等特性被广泛应用。而随着数据量的增多，分布式存储服务器需求也在增加，庞大的数据量导致元数据管理更加困难。据统计，多数文件系统的工作负载会集中在元数据相关操作上，占比超过60％。元数据的大量访问是造成文件系统性能瓶颈的主要原因。而由于同一文件系统下的元数据之间依赖性较强，提高分布式mds性能也十分困难。
2、挑战1：分布式存储的主要思想是将数据进行分区管理，存储在不同的服务器上。常规的分区方式如哈希分区和子树分区都有较多不足。哈希分区保证了服务器的负载均衡，但是损失了局部性，导致客户端的一个操作请求可能需要对多个服务器进行访问，而子树分区将文件系统中连续的子树存储在同一个服务器上，会导致服务器负载不平衡，现有分区方案难以兼顾这两种特性。
3、挑战2...
【技术保护点】
1.一种应用于分布式文件系统的元数据管理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种应用于分布式文件系统的元数据管理方法，其特征在于，S1中所述按照设定的规则进行分组的步骤，具体包括：从根节点代表的目录起始，将所述目录与所有子目录进行关联，作为同一分组，再将所述目录的所有子节点作为新的根节点重复上述操作，直至所有目录和文件都被分组。
3.根据权利要求1所述的一种应用于分布式文件系统的元数据管理方法，其特征在于，所述目录id为元数据的标记方式，具体的，将目录的元数据进行拆分，分为目录的访问元数据和实体元数据，访问元数据包含目录名...
【技术特征摘要】
1.一种应用于分布式文件系统的元数据管理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种应用于分布式文件系统的元数据管理方法，其特征在于，s1中所述按照设定的规则进行分组的步骤，具体包括：从根节点代表的目录起始，将所述目录与所有子目录进行关联，作为同一分组，再将所述目录的所有子节点作为新的根节点重复上述操作，直至所有目录和文件都被分组。
3.根据权利要求1所述的一种应用于分布式文件系统的元数据管理方法，其特征在于，所述目录id为元数据的标记方式，具体的，将目录的元数据进行拆分，分为目录的访问元数据和实体元数据，访问元数据包含目录名称与权限，实体元数据包含目录的目录项和时间戳，且两种元数据的标记方式均为目录id。
4.根据权利要求1所述的一种应用于分布式文件系统的元数据管理方法，其特征在于，所述客户端缓存优化包含客户端缓存存储与淘汰以及客户端上传元数据两个步骤。
5.根据权利要求4所述的一种应用于分布式文件系统的元数据管理方法，其特征在于，所述客户端缓存存储与淘汰的步骤，具体包括：将客户端通过模拟树形结构进行缓存，并通过多级map记录每个节点的索引，每层模拟树对应一个map，根据文件系统中的文件深度对应缓存树的层数，其中树中节点记录对应文件或目录的id作为索引，对应map中根据该索引作为key，将元数据存入value中；并结合元数据缓存的最近访问时间和所在层数，确定权重进行淘汰，权重逐层递减；新建一个vecto...
【专利技术属性】
技术研发人员：慕文洋，李家伟，刘秉润，任俊霖，徐米，朱培猛，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。