一种分布式文件系统、数据访问和数据存储的方法及装置制造方法及图纸

本申请涉及数据处理领域，尤其涉及一种分布式文件系统、数据访问和数据存储的方法及装置，用以解决现有技术中HDFS集群的架构在NameNode出现故障的情况下会导致整个HDFS无法正常工作的问题；本申请实施例提供的系统包括：上层名字节点，多个下层名字节点以及多个数据节点；上层名字节点，用于接收客户端发送的数据访问请求，基于客户端与下层名字节点的映射关系将数据访问请求转发至与客户端对应的下层名字节点；下层名字节点，用于接收由上层名字节点转发的数据访问请求，并查找数据访问请求对应的数据节点，将查找到的数据节点的信息返回至客户端；数据节点，用于向客户端提供与数据访问请求相对应的数据信息。

A distributed file system, data access and data storage method and device

This application relates to the field of data processing, in particular a method and device for a distributed file system, data access and data storage to solve the problem that the architecture of the HDFS cluster in the existing technology causes the entire HDFS to not work normally in the case of a failure of the NameNode; the system provided in the application embodiment includes: The upper name node, multiple lower name nodes and multiple data nodes; the upper name node is used to receive the data access request sent by the client. Based on the mapping relationship between the client and the lower name node, the data access request is forwarded to the lower name byte corresponding to the client; the lower layer name node is used to connect the data access request. The data access request which is forwarded by the upper name node, and the data node that corresponds to the data access request, returns the information of the found data node to the client, and the data node provides the data information that corresponds to the data access request to the client.

【技术实现步骤摘要】
一种分布式文件系统、数据访问和数据存储的方法及装置
本申请涉及数据处理领域，尤其涉及一种分布式文件系统、数据访问和数据存储的方法及装置。
技术介绍
随着网络技术的不断发展，我们迎来了大数据时代。在大数据时代下，分布式存储、大文件的读写都成为热点话题。分布式文件系统(HadoopDistributedFileSystem，HDFS)是针对大数据而存在的，HDFS能够提供高吞吐量的数据访问，适合有着超大规模数据集的应用程序。目前，HDFS集群是由一个名字节点(NameNode)和上千个数据节点(DataNode)组成，其中，NameNode作为一个中心服务器，负责管理文件系统的命名空间(如打开、关闭、重命名文件或目录)以及客户端对文件的访问，也负责确定数据块到具体DataNode的映射。DataNode上真正存储数据块，负责处理文件系统客户端的读写请求，同时也会周期性向NameNode发送心跳信号和块状态报告(当一个DataNode启动时，它会扫描本地文件系统，产生一个这些本地文件对应的所有HDFS数据块的列表，然后作为报告发送到NameNode，这个报告就是块状态报告)。由于在HDFS本文档来自技高网...

【技术保护点】
一种分布式文件系统，其特征在于，该系统包括：上层名字节点HNameNode，多个下层名字节点NameNode以及多个数据节点DataNode；所述HNameNode，用于接收客户端发送的数据访问请求，基于客户端与NameNode的映射关系将所述数据访问请求转发至与所述客户端对应的NameNode；所述NameNode，用于接收由所述HNameNode转发的数据访问请求，并查找所述数据访问请求对应的DataNode，将查找到的所述DataNode的信息返回至所述客户端；所述DataNode，用于向所述客户端提供与所述数据访问请求相对应的数据信息。

【技术特征摘要】
1.一种分布式文件系统，其特征在于，该系统包括：上层名字节点HNameNode，多个下层名字节点NameNode以及多个数据节点DataNode；所述HNameNode，用于接收客户端发送的数据访问请求，基于客户端与NameNode的映射关系将所述数据访问请求转发至与所述客户端对应的NameNode；所述NameNode，用于接收由所述HNameNode转发的数据访问请求，并查找所述数据访问请求对应的DataNode，将查找到的所述DataNode的信息返回至所述客户端；所述DataNode，用于向所述客户端提供与所述数据访问请求相对应的数据信息。2.如权利要求1所述的系统，其特征在于，所述HNameNode还用于：接收客户端发送的数据存储请求；基于各个DataNode上报的本地存储资源的可用情况信息，选择用于存储数据的DataNode，并将选择的用于存储数据的DataNode的信息发送至所述客户端。3.如权利要求1所述的系统，其特征在于，所述NameNode还用于：向所述HNameNode上报自身的运行状态信息；所述HNameNode还用于：根据所述NameNode上报的运行状态信息，调整NameNode辖区内分配的DataNode。4.如权利要求1所述的系统，其特征在于，所述数据访问请求中携带有身份认证信息；所述HNameNode具体用于：在确定所述身份认证信息合法之后，将所述数据访问请求转发至与所述客户端对应的NameNode。5.如权利要求4所述的系统，其特征在于，所述HNameNode具体用于：在确定所述身份认证信息合法之后，基于记录有所述客户端的访问权限的权限控制表，进行访问权限检查；在访问权限检查通过之后，将所述数据访问请求转发至与所述客户端对应的NameNode。6.如权利要求5所述的系统，其特征在于，所述HNameNode具体用于根据以下步骤进行访问权限检查：确定执行所述数据访问请求的操作对象，并判断该操作对象是否具有执行与所述数据访问请求对应的数据操作的权限。7.一种分布式文件系统的数据访问方法，其特征在于，该方法包括：上层名字节点HNameNode接收客户端发送的数据访问请求；基于客户端与下层名字节点NameNode的映射关系将所述数据访问请求转发至与所述客户端对应的NameNode。8.如权利要求7所述的方法，其特征在于，所述数据访问请求中携带有身份认证信息；所述HNameNode将所述数据访问请求转发至与所述客户端对应的NameNode，包括：在确定所述身份认证信息合法之后，将所述数据访问请求转发至与所述客户端对应的NameNode。9.如权利要求8所述的方法，其特征在于，所述HNameNode在确定所述身份认证信息合法之后，还包括：基于记录有所述客户端的访问权限的权限控制表，进行访问权限检查；在访问权限检查通过之后，将所述数据访问请求转发至与所述客户端对应的NameNode。10.如权利要求9所述的方法，其特征在于，所述基于...

【专利技术属性】
技术研发人员：任兰芳，张星，
申请(专利权)人：中国移动通信有限公司研究院，中国移动通信集团公司，
类型：发明
国别省市：北京,11