分布式文件系统及数据访问方法技术方案

本发明专利技术实施例提供了一种分布式文件系统及数据访问方法，其中，分布式文件系统包括文件数据节点及其挂载的第一存储磁盘、元数据节点及其挂载的第二存储磁盘及配置中心；文件数据节点和第一存储磁盘均包括多个，每个文件数据节点挂载至少一个第一存储磁盘，每个第一存储磁盘挂载于至少两个文件数据节点，第一存储磁盘中存储文件数据；配置中心用于存储第一存储磁盘与文件数据节点的挂载关系；元数据节点用于接收客户端的文件操作请求，将从挂载的第二存储磁盘中获取的文件的元数据，或者，将从配置中心获取的与文件操作请求相匹配的文件数据节点的信息发送给客户端，以使客户端访问第一存储磁盘通过其进行文件操作请求所请求的文件操作。

【技术实现步骤摘要】
分布式文件系统及数据访问方法
本专利技术实施例涉及网络
，尤其涉及一种分布式文件系统及数据访问方法。
技术介绍
分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与本地节点相连。基于分布式文件系统，越来越多的高层应用或框架也应运而生，例如，Hadoop框架就是目前被广泛应用的一种。Hadoop框架是一个由Apache基金会所开发的分布式系统基础架构，通过Hadoop，用户可以在不了解分布式底层细节的情况下，开发分布式程序。Hadoop框架主要包括HDFS(HadoopDistributedFileSystem)和MapReduce。其中，HDFS是一个分布式文件系统，为海量的数据提供存储，而MapReduce则为海量的数据提供计算。随着用户将数据和计算越来越多地迁移到云端，基于ECS(ElasticComputeService)构建的HDFS文件系统的规模也越来越大，这包含了直接提供HDFS服务或者像HBase，Spark这样基于HDFS的产品。ECS上部署HDFS在磁盘上选择的是云盘，但相本文档来自技高网...

【技术保护点】
1.一种分布式文件系统，包括：文件数据节点及其挂载的第一存储磁盘、元数据节点及其挂载的第二存储磁盘、以及配置中心；/n其中，/n所述文件数据节点和所述第一存储磁盘均包括多个，每个文件数据节点挂载有至少一个第一存储磁盘，每个第一存储磁盘挂载于至少两个文件数据节点，第一存储磁盘中存储有所述分布式文件系统的文件的文件数据；/n所述配置中心，用于存储第一存储磁盘与文件数据节点的挂载关系；/n所述元数据节点，用于接收客户端的文件操作请求，将从挂载的第二存储磁盘中获取的所述文件操作请求所请求的文件的元数据，或者，将从所述配置中心获取的与所述文件操作请求相匹配的文件数据节点的信息发送给所述客户端，以使所述客...

【技术特征摘要】
1.一种分布式文件系统，包括：文件数据节点及其挂载的第一存储磁盘、元数据节点及其挂载的第二存储磁盘、以及配置中心；
其中，
所述文件数据节点和所述第一存储磁盘均包括多个，每个文件数据节点挂载有至少一个第一存储磁盘，每个第一存储磁盘挂载于至少两个文件数据节点，第一存储磁盘中存储有所述分布式文件系统的文件的文件数据；
所述配置中心，用于存储第一存储磁盘与文件数据节点的挂载关系；
所述元数据节点，用于接收客户端的文件操作请求，将从挂载的第二存储磁盘中获取的所述文件操作请求所请求的文件的元数据，或者，将从所述配置中心获取的与所述文件操作请求相匹配的文件数据节点的信息发送给所述客户端，以使所述客户端通过所述文件数据节点的信息所指示的文件数据节点访问所述第一存储磁盘，并通过所述第一存储磁盘进行所述文件操作请求所请求的文件操作。


2.根据权利要求1所述的系统，其中，
当所述文件操作请求为文件读取请求时，所述元数据节点在接收到客户端的所述文件读取请求后，从挂载的第二存储磁盘中获取所述文件读取请求所请求的文件的元数据，其中，所述元数据中包括有所请求的文件所在的第一存储磁盘的信息；将所述元数据发送给所述配置中心，以使所述配置中心根据所述第一存储磁盘的信息和所述挂载关系，确定挂载所述第一存储磁盘的文件数据节点的信息；将获取的所述元数据和确定的所述文件数据节点的信息发送给所述客户端。


3.根据权利要求2所述的系统，其中，
所述客户端在接收到所述元数据节点发送的所述元数据和所述文件数据节点的信息后，从所述文件数据节点的信息指示的至少两个文件数据节点中选择一个文件数据节点，通过选择的所述文件数据节点访问所述元数据中的第一存储磁盘的信息所指示的第一存储磁盘，并从所述第一存储磁盘中读取所请求的文件的文件数据。


4.根据权利要求2所述的系统，其中，
所述所请求的文件的元数据包括所请求的文件的物理地址，其中，所述物理地址包括：所请求的文件所在的第一存储磁盘的信息、所请求的文件在所述第一存储磁盘中的存储路径的信息、所请求的文件的唯一标识信息。


5.根据权利要求1所述的系统，其中，
当所述文件操作请求为文件写入请求时，所述元数据节点在接收到客户端的所述文件写入请求后，获取所述文件写入请求中携带的待写入文件的第一存储磁盘的信息；将所述待写入文件的第一存储磁盘的信息发送给所述配置中心，以使所述配置中心根据所述待写入文件的第一存储磁盘的信息和所述挂载关系，确定挂载所述待写入文件的第一存储磁盘的文件数据节点的信息；将确定的所述文件数据节点的信息发送给所述客户端。


6.根据权利要求5所述的系统，其中，
所述客户端在接收到所述元数据节点发送的所述文件数据节点的信息后，从所述文件数据节点的信息指示的至少两个文件数据节点中选择一个文件数据节点，通过选择的所述文件数据节点访问所述文件写入请求中的第一存储磁盘的信息所指示的第一存储磁盘，并向所述第一存储磁盘写入所述文件写入请求所请求写入的文件数据。


7.根据权利要求3或6所述的系统，其中，
所述客户端若通过选择的所述文件数据节点访问所述第一存储磁盘失败，则从所述文件数据节点的信息指示的其它文件数据节点中重新选择一个文件数据节点，并通过重新选择的所述文件数据节点访问所述第一存储磁盘。


8.根据权利要求1-6任一项所述的系统，其中，
所述元数据节点包括至少两个，所述第二存储磁盘包括至少一个，每个元数据节点挂载一个或一个以上的第二存储磁盘，每个第二存储磁盘挂载于两个或两个以上的元数据节点；所述第二存储磁盘中存储有所述分布式文件...

【专利技术属性】
技术研发人员：孟庆义，梁俊飞，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY