一种数据获取方法和分布式文件系统技术方案

本发明专利技术实施例公开了一种数据获取方法和分布式文件系统，所述方法包括：获取待访问文件的文件目录，并获取预定义的根节点的节点值；根据所述根节点的节点值的散列值获取所述根节点的区块信息；当所述根节点的节点值对应所述区块中的文件时，根据所述区块中存储的块列表和块列表位置信息获取数据文件；当所述根节点的节点值对应所述区块中的文件夹时，根据所述文件目录从所述区块中存储的文件列表和所述文件列表中的文件对应的节点值中获取下一级节点的节点值，再根据所述下一级节点的节点值获取所述下一级节点的区块信息，直至最终获取数据文件。采用本发明专利技术，可解决HDFS中的单点问题，提高HDFS集群任务的并发处理能力。

【技术实现步骤摘要】

本专利技术涉及一种分布式数据处理领域，尤其涉及一种数据获取方法和分布式文件系统。
技术介绍
Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是一种适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS能提供高吞吐量的数据 访问，非常适合大规模数据集上的应用。对外部客户机而言，HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。HDFS的架构是基于一组特定的节点构建的，这些节点包括NameNode (仅一个)，其在HDFS内部提供元数据服务；DataNode，其为HDFS提供存储块。其中，NameNode是一个通常在HDFS实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。NameNode决定是否将文件映射到DataNode上的复制块上。对于最常见的3个复制块，第一个复制块存储在同一机架的不同节点上，最后一个复制块存储在不同机架的某个节点上。NameNode在一个文件中存储所有关于文件系统名称空间的信息。这个文件和一个包含所有事务的记录文件将存储在本文档来自技高网...

【技术保护点】
一种分布式文件系统中的数据获取方法，其特征在于，所述方法包括：获取待访问文件的文件目录，并获取预定义的根节点的节点值；根据所述根节点的节点值的散列值获取所述根节点的区块信息，所述区块中存储有文件，或/和文件夹中的文件列表及所述文件列表中的文件对应的节点值；当所述根节点的节点值对应所述区块中的文件时，根据所述区块中存储的块列表和块列表位置信息获取数据文件；当所述根节点的节点值对应所述区块中的文件夹时，根据所述文件目录从所述区块中存储的文件列表和所述文件列表中的文件对应的节点值中获取下一级节点的节点值，再根据所述下一级节点的节点值获取所述下一级节点的区块信息，直至最终获取数据文件。

【技术特征摘要】

【专利技术属性】
技术研发人员：史晓峰，蔡斌，张文郁，宫振飞，崔小丰，韩欣，肖桂菊，邱翔虎，崔晓春，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：