分布式文件系统的版本间映射技术方案

本文描述了一种向大规模处理框架(LSPF)集群中的LSPF节点提供数据的系统、方法及软件。在一个示例中，一种用于提供数据的方法包括：从LSPF节点接收根据分布式文件系统的版本访问数据的访问请求。该方法还包括：响应于该访问请求，根据该分布式文件系统的不同版本访问针对LSPF节点的数据；以及根据由LSPF节点使用的分布式文件系统的版本将数据呈送给该LSPF节点。

Mapping between versions of a distributed file system

This paper describes a system, method and software for providing data to LSPF nodes in a large scale processing framework (LSPF) cluster. In one example, a method for providing data includes receiving an access request from a LSPF node to access data in accordance with a version of a distributed file system. The method also includes: in response to the access request, according to the different versions of the distributed file system access to the LSPF node data; and according to the distributed file system used by the LSPF node version of the data will be presented to the LSPF node.

【技术实现步骤摘要】
【国外来华专利技术】分布式文件系统的版本间映射
本公开内容的诸方面涉及计算硬件和软件技术，尤其涉及分布式文件系统的版本间映射。
技术介绍
越来越多的数据密集型分布式应用正在被开发以服务诸如处理通常不能由单个计算机处理的非常大的数据集的各种需要。相反，计算机集群被用于分配诸如组织和访问数据以及执行关于数据的相关操作的各种任务或作业。已经开发了包括Hive、HBase、Hadoop、AmazonS3和CloudStore等的各种应用和框架来与这样的大数据集交互。这些应用和框架通常采用允许更快地访问在集群内启动的计算机的各种分布式文件系统。然而，随着对文件系统和框架的创新，不同版本的框架可能不能访问不同版本的文件系统。除了分布式应用和框架的进步之外，虚拟化技术已经变得普及并且在数据中心和其他环境中是常见的，其中，在前述数据中心和其他环境中提高使用计算资源的效率是有用的。在虚拟化环境中，一个或更多个虚拟机在底层计算机(或另一虚拟机)上实例化并共享底层计算机的资源。因此，不是使每个计算设备具有单个处理节点，而是集群可以采用每个计算设备多个虚拟机以更有效地分配工作负荷。
技术实现思路
本文提供了一种向大规模处理框架(LSPF)集群中的LSPF节点提供数据的系统、方法及软件。在一个示例中，一种提供数据的方法包括：从LSPF节点接收根据分布式文件系统的版本访问数据的访问请求。该方法还包括：响应于访问请求，根据分布式文件系统的不同版本访问针对LSPF节点的数据；以及根据由LSPF节点使用的分布式文件系统的版本将数据呈送给LSPF节点。在另一实例中，一种向LSPF集群中的LSPF节点提供数据的计算机装置包括处理指令，处理指令当由数据服务计算系统执行时指示数据服务计算系统从LSPF节点接收用于根据分布式文件系统的版本访问数据的访问请求。处理指令还指示数据服务计算系统：响应于访问请求，根据分布式文件系统的不同版本访问针对LSPF节点的数据；以及根据由LSPF节点使用的分布式文件系统的版本将数据呈送给LSPF节点。计算机装置还包括一个或更多个非暂态计算机可读介质，一个或更多个非暂态计算机可读介质存储处理指令。在另一示例中，一种向LSPF集群中的LSPF节点提供数据的系统包括LSPF节点，该LSPF节点被配置成发起用于根据分布式文件系统的版本访问数据的访问请求。该系统还包括数据服务，该数据服务被配置成：识别访问请求；以及响应于访问请求，根据分布式文件系统的不同版本访问针对LSPF节点的数据。数据服务还被配置成根据由LSPF节点使用的分布式文件系统的版本将数据呈送给LSPF节点。附图说明参照下面的附图可以更好地理解本公开内容的多个方面。虽然结合附图描述了若干实现方式，但是本公开内容不限于本文所公开的实现方式。相反，意在涵盖所有替代、修改和等同方式。图1图示出了向大规模处理框架集群中的大规模处理框架节点提供数据的计算环境。图2图示出了向大规模处理框架集群中的大规模处理框架节点提供数据的方法。图3图示出了虚拟大规模处理框架集群。图4图示出了用于向大规模处理框架集群中的大规模处理框架节点提供数据的概况。图5图示出了用于向虚拟大规模处理框架集群中的大规模处理框架节点提供数据的概况。图6图示出了用于向大规模处理框架集群中的大规模处理框架节点提供数据的计算系统。图7图示出了用于向多个虚拟大规模处理框架集群中的大规模处理框架节点提供数据的概况。具体实施方式本文中所描述的各种实现方式提供了向大规模处理框架(LSPF)集群中的LSPF节点提供数据的系统、方法和软件。特别地，已经开发了应用和框架以使用一个或更多个处理系统来处理来自存储卷的大量数据。这些处理系统可以包括诸如服务器计算机、台式计算机等的真实处理系统，以及在这些真实处理系统或主机处理系统内的虚拟机。在至少一个实现方式中，在主机环境内实例化一个或更多个虚拟机。虚拟机可以由在主机环境中运行的管理程序来实例化，该管理程序可以在具有或不具有在其下的操作系统的情况下运行。例如，在一些实现中，管理程序可以在主机操作系统之上的层处实现，而在其他实现中，管理程序可以与操作系统集成。其他管理程序是可能的，并且可以认为在本公开内容的范围内。由管理程序执行的虚拟机可以包括消费和执行对数据的处理的诸如客户操作系统及其组件的各种客户元件、客户应用等。虚拟机还可以包括诸如客户存储器、客户存储系统和客户处理器的各种计算组件的虚拟表示。在一个示例中，在虚拟机内运行的客户元件(诸如用于处理大数据集的映射缩减应用或框架)可能需要用于处理的数据。该应用或框架用于访问来自一个或更多个存储卷的数据，并且与一个或更多个其他真实计算节点或虚拟计算节点并行地处理数据。在本示例中，LSPF集群可以包含能够使用分布式文件系统的特定版本来处理数据的一个或更多个节点。因此，当LSPF集群内的节点需要数据时，节点可以使用特定分布式文件系统发起访问请求。响应于该请求，数据服务进程可以识别访问请求，并且使用分布式文件系统的不同版本来访问适当的数据。进而，数据服务进程可以根据由LSPF集群中的节点使用的分布式文件系统的特定版本将数据呈送给LSPF节点。现在参照图1，图1图示出了向LSPF集群中的LSPF节点提供数据的计算环境100。计算环境100包括数据存储库110、LSPF集群120和数据服务160。LSPF集群120还包括LSPF节点121-123，LSPF节点121-123使用第一分布式文件系统(DFS)版本来从数据存储库110请求数据。虽然在本示例中图示有三个节点，但是应当理解，LSPF集群120可以包括任何数量的节点以支持大数据集的并行处理。在操作中，LSPF节点121-123可以表示由管理员或某其他管理实体发起以与其他节点并行处理大量数据的真实机或虚拟机。在本示例中，LSPF节点121-123中的每个节点可以被配置有诸如Hadoop、Spark、Disco或某其他数据处理框架的处理或映射缩减框架。当节点121-123被启动时，节点可能需要来自数据存储库110的用于处理的数据。如在计算环境100中所图示的，使用与LSPF集群120中的各个节点使用的分布式文件系统版本不同的分布式文件系统版本来访问数据储存库110内的数据。因此，负责收集用于处理的数据的数据服务160以各个节点可接受的形式提供内容。为了进一步说明向LSPF集群中的节点提供数据，图2被包括。图2图示出了向LSPF集群中的LSPF节点提供数据的方法200。如图2所描绘的，方法200包括：从LSPF节点接收根据分布式文件系统的版本访问数据的访问请求(201)。该方法包括：响应于访问请求，根据分布式文件系统的不同版本访问数据(203)；以及根据由LSPF节点使用的分布式文件系统的版本将数据呈送给LSPF节点(205)。如之前图1中所描述的，可以在LSPF集群内启动一个或更多个LSPF节点以处理大数据集。一旦节点启动，节点可能需要来自诸如数据存储库110的存储库的数据。例如，节点121可以使用第一DFS版本请求数据。响应于该请求，数据服务160或节点121与数据存储库110之间的另一类似进程访问用于节点121的所请求的数据。在本示例中，用于该节点的分布式文件系统版本与用于访问数据存储库110中的数据本文档来自技高网...

【技术保护点】
一种向大规模处理框架(LSPF)集群中的LSPF节点提供数据的方法，所述方法包括：从所述LSPF节点接收用于根据分布式文件系统的版本访问数据的访问请求；响应于所述访问请求，根据所述分布式文件系统的不同版本访问针对所述LSPF节点的数据；以及根据由所述LSPF节点使用的所述分布式文件系统的版本将所述数据呈送给所述LSPF节点。

【技术特征摘要】
【国外来华专利技术】2014.05.28 US 14/288,5061.一种向大规模处理框架(LSPF)集群中的LSPF节点提供数据的方法，所述方法包括：从所述LSPF节点接收用于根据分布式文件系统的版本访问数据的访问请求；响应于所述访问请求，根据所述分布式文件系统的不同版本访问针对所述LSPF节点的数据；以及根据由所述LSPF节点使用的所述分布式文件系统的版本将所述数据呈送给所述LSPF节点。2.根据权利要求1所述的方法，其中，所述分布式文件系统包括Hadoop分布式文件系统。3.根据权利要求1所述的方法，其中，所述LSPF节点包括Hadoop框架节点。4.根据权利要求1所述的方法，其中，所述分布式文件系统包括Gluster文件系统。5.根据权利要求1所述的方法，其中，所述LSPF集群包括虚拟LSPF集群。6.根据权利要求5所述的方法，其中，所述虚拟LSPF集群包括执行一个或更多个LSPF节点的一个或更多个主机。7.根据权利要求6所述的方法，其中，执行所述一个或更多个LSPF节点包括在所述一个或更多个主机上执行管理程序，以提供所述一个或更多个LSPF节点。8.根据权利要求1所述的方法，还包括：从所述LSPF节点接收用于根据所述分布式文件系统的版本访问第二数据的第二访问请求；响应于所述第二访问请求，根据所述分布式文件系统的第三版本访问针对所述LSPF节点的所述第二数据；以及根据由所述LSPF节点使用的所述分布式文件系统的版本将所述第二数据呈送给所述LSPF节点。9.一种向大规模处理框架(LSPF)集群中的LSPF节点提供数据的计算机装置，所述计算机装置包括：处理指令，所述处理指令当由数据服务计算系统执行时指示所述数据服务计算系统：从所述LSPF节点接收用于根据分布式文件系统的版本访问数据的访问请求；响应于所述访问请求，根据所述分布式文件系统的不同版本访问针对所述LSPF节点的数据；以及根据由所述LSPF节点使用的所述分布式文件系统的版本将数据呈送给所述LSPF节点；以及一个或更多...

【专利技术属性】
技术研发人员：托马斯·A·费伦，古纳西兰·拉克希米纳拉亚南，迈克尔·莫雷蒂，乔尔·巴克斯特，拉克什曼·希纳科特拉，
申请(专利权)人：蓝数据软件有限公司，
类型：发明
国别省市：美国,US