基于GFS的分布式文件系统的元数据分级存储方法和系统技术方案

本发明专利技术公开了基于GFS的分布式文件系统的元数据分级存储方法和系统，减少主服务器master的内存压力和瓶颈，从而提高分布式文件系统的存储访问性能和可靠性。并且将元数据信息分级存储，既能最大限度地满足用户需求，又可使存储成本最小化。其技术方案为：采用分布式文件系统提供源站服务，通过分级存储主服务器master的元数据信息，也就是在主服务器master启动时将最近一段时间的文件的元数据信息这部分保存在内存中，一些暂时不会被使用到的元数据信息保存在固盘中，还有一些长期都不会被访问的数据还可以直接存储在磁盘中，通过这种元数据存储的分级来减少了master大量元数据信息造成的内存压力和瓶颈。

【技术实现步骤摘要】

本专利技术涉及分布式存储相关的技术，尤其涉及内容分发网络中基于GFS的分布式文件系统中和元数据相关的分级存储方法和系统。
技术介绍
随着互联网应用的种类越来越多，面对不断增长的互联网用户，也带来了不同的不断增长的海量数据。如何提高存储和处理这些海量数据的能力，对于互联网企业是一个巨大的技术挑战。为了解决海量数据存储问题，分布式文件系统应运而生。基于分布式文件系统架构提供存储服务能够充分利用现有的低端硬件设备的处理能力，并提高了用户访问存储的效率和存储服务的可靠性。市面上各种分布式文件系统种类繁多，层出不穷，其中包括了 Google的核心存储平台 GFS (Google 文件系统)，Apache 开源社区的 Hadoop,以及 glusterFS、lustre、GPFS(General Parallel File System)等。分布式文件系统的元数据处理方式包括三大类,如GFS、lustre使用的是中央控制元数据服务器，GPFS使用的是分布式元数据服务器模型，glusterFS使用的是无元数据模型。其中以GFS为典型代表的分布式文件系统采用的是服务器/客户端结构，如图1所示，主要本文档来自技高网...

【技术保护点】
一种基于GFS的分布式文件系统的元数据分级存储方法，包括：客户端连接存储元数据信息的主服务器，发送询问读取文件位置信息的请求包；主服务器解析接收到的请求包；若请求的操作为读取文件位置信息的请求，主服务器检查内存中是否存在文件的元数据信息，若有则直接将文件的元数据信息返回给客户端；若内存中不存在文件的元数据信息，则主服务器加载固盘中的元数据信息到内存中，并判断固盘中是否存在文件的元数据信息，若存在则将文件的元数据信息返回给客户端，若不存在则返回错误信息给客户端；客户端根据主服务器返回的元数据信息，连接对应的数据服务器，向数据服务器发送读取数据的请求；数据服务器接收到请求后，向客户端提供真实的数据...

【技术特征摘要】
1.一种基于GFS的分布式文件系统的元数据分级存储方法，包括: 客户端连接存储元数据信息的主服务器，发送询问读取文件位置信息的请求包； 主服务器解析接收到的请求包； 若请求的操作为读取文件位置信息的请求，主服务器检查内存中是否存在文件的元数据信息，若有则直接将文件的元数据信息返回给客户端； 若内存中不存在文件的元数据信息，则主服务器加载固盘中的元数据信息到内存中，并判断固盘中是否存在文件的元数据信息，若存在则将文件的元数据信息返回给客户端，若不存在则返回错误信息给客户端； 客户端根据主服务器返回的元数据信息，连接对应的数据服务器，向数据服务器发送读取数据的请求； 数据服务器接收到请求后，向客户端提供真实的数据。2.根据权利要求1所述的基于GFS的分布式文件系统的元数据分级存储方法，其特征在于，近期使用的文件的元数据信息存储在主服务器的内存中，暂时不会被使用到的文件的元数据信息存储在固盘中，长期不会被访问的文件的元数据信息存储在磁盘中。3.一种基于GFS的分布式文件系统的元数据分级存储系统，包括主服务器、客户端、多个数据服务器，其中: 客户端包括主服务器交互模块、数据服务器交互模块，其中: 主服务器交互模块连接主服务器，向存储元数据信息的主服务器发送询问读取文件位置信息的请求...

【专利技术属性】
技术研发人员：洪珂，陈进贤，周国美，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：