资源供应系统及方法技术方案

描述了示例资源供应系统和方法。在一个实现中，执行平台访问多个远程存储设备。执行平台包括多个虚拟仓库，每个虚拟仓库包括用于存储从远程存储设备检索的数据的缓存以及独立于远程存储设备的处理器。资源管理器耦合到执行平台并且监控所接收的数据处理请求和资源利用率。基于数据处理请求和资源利用率，资源管理器还确定是否需要附加的虚拟仓库。如果需要附加的虚拟仓库，那么资源管理器供应新的虚拟仓库。

Resource supply system and method

Sample resource supply system and method are described. In one implementation, the execution platform accesses multiple remote storage devices. The execution platform includes a plurality of virtual warehouses, each of which includes a cache for storing data retrieved from the remote storage device and a processor independent of the remote storage device. The resource manager is coupled to the execution platform and monitors the received data processing request and resource utilization ratio. Based on the data processing request and resource utilization, the resource manager determines whether additional virtual warehouses are required. If additional virtual warehouses are needed, the resource manager provides a new virtual repository.

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求于2014年2月19日提交的标题为“Apparatus and method for enterprise data warehouse data processing on cloud infrastructure”的美国临时申请序列第61/941,986号的权益，该申请的公开内容通过引用以其整体并入本文。
本公开涉及管理有关数据处理和数据存储的资源的资源管理系统及方法。背景目前，许多现有的数据存储和检索系统是可用的。例如，在共享磁盘系统中，所有数据被存储在共享的存储设备上，其从数据集群中的所有处理节点是可访问的。在这种类型的系统中，所有的数据变化被写入到共享的存储设备，以确保数据集群中的所有的处理节点访问一致版本的数据。由于在共享磁盘系统中处理节点的数目增加，因此共享的存储设备(以及处理节点和共享的存储设备之间的通信链路)变成了减缓数据读取和数据写入操作的瓶颈。随着更多的处理节点的添加，进一步地加剧这种瓶颈。因此，由于该瓶颈问题，现有的共享磁盘系统具有有限的可扩展性。另一个现有的数据存储和检索系统被称为“无共享架构”。在此架构中，数据被分布在多个处理节点上，使得每个节点在整个数据库中存储数据的子集。当新的处理节点被添加或移除时，无共享架构必须重新排列在多个处理节点上的数据。这种数据的重新排列可以是费时的并且对在数据重新排列期间执行的数据读取和写入操作具有破坏性。并且，数据对特定节点的亲和度可以在对于流行数据的数据集群上创建“热点”。此外，由于每个处理节点也执行存储功能，因此该架构需要至少一个处理节点来存储数据。因此，如果所有的处理节点都被移除，则无共享架构无法存储数据。另外，由于在许多不同的处理节点上的数据的分布，无共享架构中的数据的管理是复杂的。本文所描述的系统及方法提供了对数据存储和数据检索的改进的方法，其缓解了上面确定的现有系统的局限性。附图简述参考以下附图描述了本公开的非限制性且非穷举性的实施例，其中除非另有说明，贯穿各个附图的相似的参考数字指代相似的部件。图1是描绘本文所描述的系统和方法的示例实施例的方框图。图2是描绘资源管理器的实施例的方框图。图3是描绘执行平台的实施例的方框图。图4是描绘示例操作环境的方框图，其中多个用户通过多个虚拟仓库访问多个数据库。图5是描绘另一个示例操作环境的方框图，其中多个用户通过负载平衡器和在虚拟仓库组中包含的多个虚拟仓库访问多个数据库。图6是描绘另一个示例操作环境的方框图，其具有多个分布式虚拟仓库和虚拟仓库组。图7是描绘用于管理数据存储和检索操作的方法的实施例的流程图。图8是描绘用于供应新的虚拟仓库的方法的实施例的流程图。图9A和图9B描绘用于扩展资源的方法的实施例的流程图。图10是描绘用于扩展资源的另一个方法的实施例的流程图。图11是描绘示例计算设备的方框图。详细描述本文所描述的系统和方法提供用于存储和检索数据的新的平台而不存在现有系统所面临的问题。例如，这种新的平台支持新的节点的添加而无需按照无共享架构所要求重新排列数据文件。另外，节点可以被添加到平台而不会产生在共享磁盘系统中常见的瓶颈。这种新的平台始终可用于数据读取和数据写入操作，即使节点中的一些离线维护或发生故障。所描述的平台将数据存储资源与计算资源分开，使得数据可以被存储而无需要求专用计算资源的使用。这相对于无共享架构是一个改进，如果所有的处理节点被移除则该无共享架构无法存储数据。因此，新的平台继续存储数据，即使计算资源不再可用或者正在执行其它任务。在以下的描述中，参照形成其的一部分的附图，并且在附图中通过实例说明示出了本公开可以在其中被实践的具体示例性实施例。足够详细地对这些实施例进行描述以使本领域的技术人员能够实践本文所公开的概念，并且应该理解的是，在不脱离本公开的范围的情况下可以对各种公开的实施例做出修改，并且可以利用其它实施例。因此，以下详细的描述不应以限制意义被采用。贯穿本说明书，对“一个实施例”、“实施例”、“一个示例”或“示例”的引用意味着结合实施例或示例描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。因此，贯穿本说明书，在各个位置中的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”的出现并不一定都指的是相同的实施例或示例。另外，应该认识到，这里提供的附图对本领域的技术人员是出于解释目的，并且附图并不一定按比例绘制。根据本公开的实施例可以被体现为装置、方法或计算机程序产品。因此，本公开可采用完全硬件组成的实施例、完全软件组成的实施例(包括固件、常驻软件、微代码等等)或结合软件和硬件方面的实施例的形式，其可在本文中通常全部被称为“电路”、“模块”或“系统”。此外，本公开的实施例可采用计算机程序产品的形式，该计算机程序产品被体现在具有在介质中体现的计算机可用程序代码的任何有形介质表示中。一个或多个计算机可用或计算机可读介质的任何组合可被使用。例如，计算机可读介质的可包括便携式计算机磁盘、硬盘、随机存取存储器(RAM)设备、只读存储器(ROM)设备、可擦除可编程只读存储器(EPROM或闪存)设备、便携式光盘只读存储器(CDROM)、光学存储设备以及磁存储设备中的一个或多个。用于执行本公开的操作的计算机程序代码可以以一个或多个编程语言的任何组合来编写。这样的代码可以从计算机可读汇编语言的源代码或者适合于在其上将执行该代码的设备或计算机的机器代码编译。实施例还可在云计算环境中实施。在本说明书和以下权利要求中，“云计算”可以被定义为模型，用于实现对可配置计算资源(例如，网络、服务器、存储器、应用和服务)的共享池的普遍存在的、方便的、按需的网络访问，该可配置计算资源可经由虚拟化被迅速地供应并以最小管理努力或服务提供商交互而被释放，并然后被相应地扩展。云模型可由各种特征(例如，按需自助、宽带网络访问、资源池、快速弹性以及可计量的服务)、服务模型(例如，软件即服务(“SaaS”)、平台即服务(“PaaS”)和基础设施即服务(“IaaS”))，以及部署模型(例如，私有云、社区云、公共云以及混合云)组成。所附附图中的流程图和框图根据本公开的各种实施例图示了系统、方法和计算机程序产品的可能的实施方式的架构、功能性和操作。在这点上，流程图或框图中的每个块可以代表代码的模块、片段或部分，其包括一个或多个用于实施指定的逻辑功能的可执行指令。还将指出的是，在框图和/或流程图中的每个块以及框图和/或流程图中块的组合可以由执行指定功能或行为的专用的基于硬件的系统或专用硬件和计算机指令的组合来实现。这些计算机程序指令还可存储在计算机可读介质中，其可指导计算机或其他可编程数据处理装置以特定方式起作用，使得存储在计算机可读介质中的指令产生制造品，其包括实施流程图和/或方框图的一个或多个方框中所指定的功能/行为的指令装置。本文所描述的系统和方法提供使用新的数据处理平台的灵活且可扩展的数据仓库。在一些实施例中，所描述的系统和方法利用云基础设施，该云基础设施支持基于云的存储资源、计算资源等。示例性的基于云的存储资源以低成本提供按需可用的大量存储容量。此外，这些基于云的存储资源可以是容错且高度可扩展的，其在私人数据存储系统中实现可以是成本高昂的。本文档来自技高网...

【技术保护点】
一种装置，包括：执行平台，其被配置为访问多个远程存储设备，所述执行平台包括多个处理器和被配置为存储从所述远程存储设备检索的数据的多个缓存，其中，所述多个缓存和所述多个处理器独立于所述远程存储设备；以及资源管理器，其被耦合到所述执行平台并且被配置为：监控所接收的数据处理请求；监控所述多个处理器的当前利用率；基于所述数据处理请求，确定是否需要附加的数据存储容量；响应于确定需要附加的数据存储容量，分配新的数据存储容量；基于所述数据处理请求和所述多个处理器的所述当前利用率，确定是否需要附加的处理资源；以及响应于确定需要附加的处理资源，分配附加的处理资源。

【技术特征摘要】
【国外来华专利技术】2014.02.19 US 61/941,986;2014.10.20 US 14/518,8981.一种装置，包括：执行平台，其被配置为访问多个远程存储设备，所述执行平台包括多个处理器和被配置为存储从所述远程存储设备检索的数据的多个缓存，其中，所述多个缓存和所述多个处理器独立于所述远程存储设备；以及资源管理器，其被耦合到所述执行平台并且被配置为：监控所接收的数据处理请求；监控所述多个处理器的当前利用率；基于所述数据处理请求，确定是否需要附加的数据存储容量；响应于确定需要附加的数据存储容量，分配新的数据存储容量；基于所述数据处理请求和所述多个处理器的所述当前利用率，确定是否需要附加的处理资源；以及响应于确定需要附加的处理资源，分配附加的处理资源。2.根据权利要求1所述的装置，其中，所述资源管理器还被配置为监控查询响应率，以及其中，确定是否需要附加的处理资源还基于所述查询响应率。3.根据权利要求1所述的装置，其中，所述资源管理器还被配置为监控查询响应率，以及其中，确定是否需要附加的存储容量还基于所述查询响应率。4.根据权利要求1所述的装置，其中，所述资源管理器还被配置为响应于确定不再需要所述新的数据存储容量，释放所述新的数据存储容量。5.根据权利要求1所述的装置，其中，所述资源管理器还被配置为响应于确定不再需要所述附加的处理资源，释放所述附加的处理资源。6.根据权利要求1所述的装置，其中，所述资源管理器还被配置为监控所述多个远程存储设备中的当前数据分配，其中，确定是否需要附加的数据存储容量还基于所述多个远程存储设备中的当前数据分配。7.根据权利要求1所述的装置，其中，所述多个缓存和所述多个处理器被包含在布置在多个虚拟仓库中的多个执行节点中。8.根据权利要求7所述的装置，其中，所述多个虚拟仓库被分组为多个虚拟仓库组，以及其中，所述多个虚拟仓库组中的每一个与不同的用户组相关联。9.根据权利要求7所述的装置，其中，所述多个虚拟仓库被分组为多个虚拟仓库组，以及其中，所述多个虚拟仓库组中的每一个与不同的实体相关联。10.一种方法，包括：监控所接收的数据处理请求，其中所述数据处理请求与存储在多个远程存储设备中的数据相关联；监控所述多个远程存储设备中的当前数据分配；监控多个处理器的当前利用率，其中所述多个处理器独立于所述远程存储设备；基于所述数据处理...

【专利技术属性】
技术研发人员：本诺特·戴奇维勒，蒂埃里·克吕安斯，马尔辛·祖科夫斯基，
申请(专利权)人：斯诺弗雷克计算公司，
类型：发明
国别省市：美国;US