一种应用于分布式文件系统的元数据分簇管理方法和模块技术方案

技术编号:8907200 阅读:280 留言:0更新日期:2013-07-11 04:53
本发明专利技术提出一种应用于分布式文件系统的元数据分簇管理方法和模块。提出了簇的概念,即一棵独立的子树即是一个簇。在分布式文件系统中添加簇服务器,集中管理全局的元数据目录子树。簇服务器包括簇映射关系表、簇计数器和记录每台元数据服务器簇数的元数据簇数管理表,同时在元数据服务器上添加目录计数表,用以记录存在于本台服务器的每个簇下的目录数。通过这些模块的协作,解决了分布式文件系统中单台元数据服务器扩展为元数据服务器集群的元数据管理问题以及服务器集群元数据目录子树分割方法存在的负载不均衡的问题。

【技术实现步骤摘要】

本专利技术涉及一种应用于分布式文件系统的元数据分簇管理方法和模块,该方法应用于分布式文件系统的元数据服务器集群中,属于计算机科学与

技术介绍
随着云时代的到来,大数据也吸引了越来越多的关注,每天互联网上的数据以数亿的速度激增。这种数量级的数据量已经超出了一台计算机的处理能力,基于此,分布式文件系统技术被提出,它将元数据和数据分离,现有的分布式文件系统一般使用多台数据服务器存储具体数据,使用一台元数据服务器将数据的元数据信息(包括名字、大小、储存位置等)储存在内存中。由于用户每次访问文件之前,都要先向元数据服务器请求获取该文件的元数据,并发访问量巨大;同时随着元数据的激增,元数据服务器内存容量有限,这两方面的限制都导致单台元数据服务器将成为分布式文件系统的瓶颈。基于此,需要将单元数据服务器扩展成为一个元数据服务器集群,然而,对服务器集群中存储的元数据(服务器集群元数据)进行统一管理是一个挑战性的问题。在服务器集群元数据管理方面,哈希和目录子树分割是分布式文件系统中管理元数据的两个常用方法。哈希方法是以文件目录、名字或者其他相关属性值为键值,通过哈希函数计算相应的哈希值,然后本文档来自技高网...

【技术保护点】
本专利技术提出使用“簇编号+文件编号”作为每个元数据在整个分布式文件系统中的唯一标识。

【技术特征摘要】

【专利技术属性】
技术研发人员:陆月明及莹解晓伟
申请(专利权)人:北京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1