【技术实现步骤摘要】
本专利技术涉及一种应用于分布式文件系统的元数据分簇管理方法和模块,该方法应用于分布式文件系统的元数据服务器集群中,属于计算机科学与
技术介绍
随着云时代的到来,大数据也吸引了越来越多的关注,每天互联网上的数据以数亿的速度激增。这种数量级的数据量已经超出了一台计算机的处理能力,基于此,分布式文件系统技术被提出,它将元数据和数据分离,现有的分布式文件系统一般使用多台数据服务器存储具体数据,使用一台元数据服务器将数据的元数据信息(包括名字、大小、储存位置等)储存在内存中。由于用户每次访问文件之前,都要先向元数据服务器请求获取该文件的元数据,并发访问量巨大;同时随着元数据的激增,元数据服务器内存容量有限,这两方面的限制都导致单台元数据服务器将成为分布式文件系统的瓶颈。基于此,需要将单元数据服务器扩展成为一个元数据服务器集群,然而,对服务器集群中存储的元数据(服务器集群元数据)进行统一管理是一个挑战性的问题。在服务器集群元数据管理方面,哈希和目录子树分割是分布式文件系统中管理元数据的两个常用方法。哈希方法是以文件目录、名字或者其他相关属性值为键值,通过哈希函数计 ...
【技术保护点】
本专利技术提出使用“簇编号+文件编号”作为每个元数据在整个分布式文件系统中的唯一标识。
【技术特征摘要】
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。