分散HADOOP集群制造技术

在一些示例中，描述了分布式文件系统。所述分布式文件系统可以包括多个数据节点以及导向器单元。所述多个数据节点可以各自包括一个或更多个数据块。所述导向器单元可以包括多个主节点，所述多个主节点以对等分布式架构来进行构造并且与所述多个数据节点可操作地联接。所述多个主节点中的每一个主节点可以被构造为：接收与针对所述分布式文件系统来管理数据相关的任务；管理所述任务在所述多个主节点中的一个或更多个主节点当中的分发；以及向其它主节点中的每一个其它节点传送任务状态以及所述分布式文件系统的至少一部分的状态。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】
技术介绍
除非在本文中另外说明，否则本文中描述的材料不是针对本申请中的权利要求的现有技术，并且不应认为包括在本部分中即为现有技术。可以将计算机系统构造为分布式文件系统。一般来说，分布式文件系统可以使得能够从多个主机访问存储在这些分布式文件系统中的文件。主机可以被远程地定位，并且可以经由例如计算机网络与分布式文件系统通信地联接。对文件的访问可以使得客户端能够读取或修改存在于分布式文件系统中的文件和/或使得客户端能够向分布式文件系统添加新文件。分布式文件系统可以通过复制文件来提供一些优势(诸如可靠性)。通过具有文件的多个副本，即使分布式文件系统的某些部分被损坏，用户也可以访问这些文件。计算机集群通常包括被构造为一起操作的一组连接节点。作为连接成集群的结果，可以将节点视为单个单元并且作为单个单元来操作。可以通过例如计算机网络来连接节点。包括计算机集群的一种类型的分布式文件系统是Hadoop分布式文件系统。Hadoop分布式文件系统可以包括单个主节点(该单个主节点可以被称为名称节点)以及工作节点的集群。主节点可以操作以协调对文件的访问。工作节点可以存储文件和/或执行与访问和/或修改存储在Hadoop分布式文件系统中的文件相关的各种动作。
技术实现思路
本文中所描述的技术总体上涉及分布式文件系统中的数据管理。在一些不例中，描述了一种分布式文件系统。该分布式文件系统可以包括多个数据节点以及导向器(director)单元。所述多个数据节点可以各自包括一个或更多个数据块。所述导向器单元可以包括以对等分布式架构来进行构造的多个主节点，并且可以与所述多个数据节点可操作地联接。所述多个主节点中的每一个主节点可以被构造为:接收与针对所述分布式文件系统来管理数据相关的任务；管理所述任务在所述多个主节点中的一个或更多个主节点当中的分发；以及向其它主节点中的每一个其它主节点传送任务状态以及所述分布式文件系统的至少一部分的状态。在一些示例中，描述了一种管理分布式文件系统的方法。该方法可以包括以下操作:接收与针对所述分布式文件系统来管理数据相关的任务。所述方法还可以包括以下操作:从多个主节点中选择一个或更多个主节点来管理所述任务。所述多个主节点可以以对等分布式架构来进行构造，并且与多个数据节点可操作地联接。所述方法还可以包括以下操作:管理所述任务在所述多个数据节点中的一个或更多个数据节点当中的分发。可以由所选择的主节点来执行管理所述任务的所述分发的操作。此外，所述方法还可以包括以下操作:在所述多个主节点中的至少一些主节点当中传送任务状态以及所述分布式文件系统的至少一部分的状态。前述概要仅是说明性的，并且不旨在以任何方式进行限制。除了上述说明性方面、实施方式和特征之外，另外的方面、实施方式和特征还将参照附图和以下详细描述而变得显而易见。【附图说明】在附图中:图1是示例分布式文件系统的框图；图2是管理分布式文件系统的示例方法的流程图；以及图3是例示了根据本文中所描述的至少一些实施方式全部布置的、被布置为用于管理分布式文件系统的示例主节点的框图。【具体实施方式】在以下详细描述中，参照附图，附图形成所述详细描述的一部分。在附图中，除非上下文另外规定，否则相似的符号通常标识相似的组件。在详细的说明书、附图以及权利要求中描述的说明性实施方式不意指进行限制。在不脱离本文中所提出的主题的精神或范围的情况下，可以利用其它实施方式，并且可以做出其它改变。将容易理解的是，如在本文中总体上描述的以及在图中例示的，可以以各种不同的构造来布置、替换、组合、分离和设计本专利技术的方面，这些构造全部都在本文中明确地考虑到。本文中描述的一些实施方式总体上涉及分布式文件系统。所述分布式文件系统可以包括与导向器单元可操作地联接的多个数据节点。所述多个数据节点可以各自包括一个或更多个数据块，在所述一个或更多个数据块上可以存储文件。导向器单元可以包括以对等分布式架构进行构造的多个主节点。通常，主节点管理对存储在数据块上的文件的访问。此外，主节点中的每一个主节点可以接收与针对分布式文件系统来管理数据相关的任务，可以管理任务在主节点当中的分发；并且可以向其它主节点中的每一个其它主节点传送任务状态以及分布式文件系统的至少一部分的状态。图1是根据本文中所描述的至少一些实施方式布置的示例分布式文件系统100的框图。分布式文件系统100可以包括第一数据节点110A、第二数据节点IlOB和第三数据节点110C(总称为一个数据节点110或多个数据节点110)，该第一数据节点110A、第二数据节点IlOB和第三数据节点IlOC还分别包括第一数据块112A、第二数据块112B和第三数据块112C (总称为一个数据块112或多个数据块112)，在该第一数据块112A、第二数据块112B和第三数据块112C中可以分别存储第一文件114A、第二文件114B和第三文件114C (总称为一个文件114或多个文件114)。数据节点110中的每一个数据节点110可以包括诸如服务器这样的任何计算装置，在所述计算装置上可以存储、访问和/或修改文件114。数据块112可以包括数据节点110中的任一个数据节点110的任何部分。如图1中所描述的，分布式文件系统100可以包括三个数据节点110，每个数据节点包括一个数据块112和一个文件114。然而，这种描述不意指进行限制。在另选的实施方式中，分布式文件系统100可以包括任何数目的数据节点110，所述数据节点110中的每一个数据节点110可以包括任何数目的数据块112和/或任何数目的文件114。图1中包括省略号是为了指示分布式文件系统100内的数据节点110的数目、数据块112的数目以及文件112的数目可以大于三个。另外，在一些实施方式中，数据块112的数目、数据节点110的数目以及文件114的数目可以改变。例如，当超过第一数目的数据节点110的初始存储容量时，可以向分布式文件系统100添加一个或更多个数据节点110。分布式文件系统100还可以包括导向器单元102。通常，导向器单元102可以与客户端106进行通信。例如，导向器单元102可以从客户端106接收一个或更多个任务，并且可以向例如客户端106传送响应。另外，导向器单元102可以管理和/或访问文件114、属于文件114的信息、包括在文件114中的数据或者其一些组合。导向器单元102可以包括第一主节点104A、第二主节点104B和第三主节点104C (总称为一个主节点104或多个主节点104)。图1表示导向器单元102的非限制性示例。导向器单元102可以包括任何数目的主节点104。另外，主节点104的数目可以在导向器单元102中改变。例如，当数据节点110的数目增加时，包括在分布式文件系统100中的主节点104的数目也可以增加。添加附加的主节点104的能力可以能够使得分布式文件系统100可扩展。主节点104可以以对等分布式架构来进行构造。在对等分布式架构中，主节点104中的每一个主节点104可以允许在没有中央计算系统或管理计算系统的情况下对主节点文件和/或主节点外围设备(peripherals)的共享访问。另外，在对等分布式架构中，主节点104可以划分分布式文件系统100的任务或工作量，并且可以本文档来自技高网...

【技术保护点】
一种分布式文件系统，该分布式文件系统包括：多个数据节点，所述多个数据节点各自包括一个或更多个数据块；以及导向器单元，该导向器单元包括多个主节点，所述多个主节点以对等分布式架构来进行构造并且与所述多个数据节点可操作地联接，所述多个主节点中的每一个主节点被构造为：接收与针对所述分布式文件系统来管理数据相关的任务；管理所述任务在所述多个主节点中的一个或更多个主节点当中的分发；以及向其它多个主节点中的每一个主节点传送任务状态以及所述分布式文件系统的至少一部分的状态。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：应励志，宋学锋，
申请(专利权)人：英派尔科技开发有限公司，
类型：发明
国别省市：美国;US