存储器池结构的多租户存储器服务制造技术

存储器管理服务占据分解计算环境中的整个存储器系统的可配置部分。该服务在系统可访问的实际存储器池中提供优化的数据组织功能。该服务使各种类型的数据存储能够以硬件实现，包括在数据结构级别。通过在存储器池中创建和管理高性能，可重用的数据结构实现，然后使用分析(例如，多租户相似性和重复检测)来确定何时应该使用数据组织，从而实现存储容量节省。该服务还可以将存储器重新调整到不同的数据结构，这些数据结构在给定数据使用和分布模式的情况下可能会更有效。该服务还有利地有效地管理自动备份。

Multi-tenant Memory Service with Memory Pool Architecture

Memory management services occupy the configurable part of the entire memory system in the decomposition computing environment. The service provides optimized data organization function in the actual memory pool accessible to the system. This service enables various types of data storage to be implemented in hardware, including at the data structure level. By creating and managing high-performance, reusable data structures in memory pools, and then using analysis (e.g., multi-tenant similarity and duplicate detection) to determine when data organization should be used, storage capacity savings can be achieved. The service can also re-adjust memory to different data structures that may be more efficient for given data usage and distribution patterns. The service also facilitates effective management of automatic backups.

【技术实现步骤摘要】
【国外来华专利技术】存储器池结构的多租户存储器服务
本申请总体上涉及在数据中心操作环境中的数据处理系统。
技术介绍
众所周知的信息技术(IT)传递模型是云计算，通过该云计算，可以通过因特网向计算机和其他设备按需提供共享资源，软件和信息。云计算可显著降低IT成本和复杂性，同时改善工作负载优化和服务交付。利用这种方法，托管应用程序实例并使其可从基于因特网的资源获得，例如通过HTTP上的传统Web浏览器可访问这些资源。云计算资源通常位于运行一个或多个网络应用程序的大型服务器场(largeserverfarms)中，通常使用虚拟化体系结构，其中应用程序在虚拟服务器内运行，或称为“虚拟机”(VM)，映射到数据中心设施备中的物理服务器中。在数据中心本身内，数据中心网络通常根据包括若干层电气开关(即，访问，聚合和核心层)的分层设计来架构。在数据中心的前端，内容和负载均衡交换机通过网关路由器连接到因特网(Internet)，而在后端，它们链接到核心交换机。通常，核心交换机链接到聚合交换机，聚合交换机连接到机架交换机。每个机架交换机都连接到机架中的服务器。数据中心网络中的交换机通常通过电子交换结构运行，它们之间的链路可以是铜缆或光纤。当请求来自外部网络时，它首先来到负载平衡和内容交换机，它们将请求路由到适当的服务器。为了满足请求，服务器可以与相同或不同机架内的其他服务器协调。例如，应用程序服务器可以与数据库服务器协调以处理请求。完成请求后，响应将通过网关路由器发送到外部网络。诸如所描述的传统数据中心架构面临许多挑战，包括但不限于可扩展性，容错性和能量效率。由于这些挑战，许多数据中心架构难以应对云计算不断增长的需求。此外，由于服务器(尤其是它们的存储器)是独立管理的，因此这些体系结构在存储器管理，数据复制和低效的存储器分配方面具有显著的低效率。在先前已知的是提供“存储器池”，其可以被数据中心中的其他处理资源访问和使用以充当扩展存储器。这些方法旨在促进复制方案。这样的方案将存储器块从扩展存储器复制或分页到直接放置并连接到处理刀片上的处理器的较小存储器。然而，这种直接和固定存储器阻止了整个切换不同实例的存储器内容，因为它产生了性能问题，因为与寻呼机制相关的延迟会干扰某些代码。期望实现和管理存储器池以解决与这些和其他现有技术方法相关联的低效率。
技术实现思路
通过提供存储器管理服务来增强“分解服务器”架构。在分解的服务器方法中，数据中心中的类似类型的服务器资源在各个池中聚合，例如计算池，存储器池(memorypool)和存储池(storagepool)。然后，通过从池中分配适当数量的资源来动态构建服务器，以满足租户工作负载的要求。与传统数据中心架构相比，分解服务器方法提供更高的资源利用率，因为存储器组件可以在不同租户和处理组件之间使用，重用或共享。根据本公开，独立于其他系统组件管理存储器，从而提供创建可以提供显著益处的独特管理能力的机会。根据本公开的第一方面，提供了一种用于管理多租户计算环境中的存储器的方法。该方法首先提供存储器资源池。对于给定的工作负载，来自存储器资源池的存储器资源被分配给一组处理器。根据诸如散列表，链表等的数据结构，在分配的存储器资源中组织给定工作负载的数据。当处理工作负载时，该方法然后确定(例如，基于分析)对于给定工作负载的数据结构中的数据的重新组织是否会增加数据结构所使用的存储器的性能或者节省存储器。在确定重新组织将提高性能或节省存储器时，然后采取给定的存储器管理动作来管理数据。根据本公开的第二方面，描述了一种用于在计算环境中分配资源的装置。该装置包括一组一个或多个硬件处理器，以及保存由硬件处理器执行的计算机程序指令的计算机存储器，以执行一组操作，例如上述步骤。根据本公开的第三方面，描述了一种用于在数据处理系统中使用的用于在计算环境中分配资源的非暂时性计算机可读介质中的计算机程序产品。该计算机程序产品保存在数据处理系统中执行的计算机程序指令，并且可操作以执行诸如上述步骤的操作。根据本公开的第四方面，描述了一种数据中心设施。数据中心包括存储器池，光学互连和存储器管理器。存储器管理在硬件元件中执行，并且可操作以管理从存储器资源池到多个租户工作负载的一组处理器的存储器资源的分配。管理器还可以根据数据结构组织给定租户工作负载的数据，并有选择地重新组织数据结构中的数据，以提高数据结构的性能并减少服务给定租户工作负载所需的存储器。本专利技术的存储器服务优选地占据整个存储器系统的一些可配置部分，使其余部分空闲以用于典型的高性能加载存储操作。该服务在系统可访问的实际存储器池中提供优化的数据组织功能。为此，存储器服务提供了在硬件中实现某些类型的数据存储的能力，包括在数据结构级别。在一个实施例中，存储器服务通过实现跨存储器池的高性能，可重用数据结构实现的创建和管理以及使用各种分析的能力(例如，多租户相似性，重复检测等)来提供数据结构性能管理和存储容量节省(conservation)，以确定数据组织是否以及何时值得做。因此，服务优选地通过数据结构中的相似性和重复检测(甚至在工作负载之间)来利用和减少容量需求，以节省存储器空间。当需要时，服务还可以改变或调整数据结构本身，例如，基于监视的数据使用模式或数据分布，以持续改进数据结构性能。另一个特征是提供自动备份的能力，优选地不需要数据副本以通过硬件处理器。前面已经概述了所公开的主题的一些更相关的特征。这些特征应该被解释为仅仅是说明性的。通过以不同方式应用所公开的主题或通过修改将要描述的主题，可以获得许多其他有益结果。附图说明为了更完整地理解本主题及其优点，现在参考以下结合附图的描述，其中：图1描绘了其中可以实现本公开的示例性方面的计算系统环境的示例性框图；图2是光学连接的存储器系统的硬件结构的示例性框图，其中可以实现说明性实施例的各方面；图3描绘了图2中的光学连接的存储器系统中的处理器设计的硬件结构的框图；图4是说明用于在处理器处访问存储器的硬件结构的框图；图5描绘了根据本公开的分散的计算系统；图6描绘了可替换的数据中心架构，其中可以实现本公开的技术；图7描绘了图6中的数据中心，其扩展到包括根据本公开的第一实施例的存储器管理服务；图8描绘了根据本公开的第二实施例的数据中心；和图9描绘了用于容量保存例程的处理流程，其使用数据结构中的相似性和重复检测来节省存储器空间。具体实施方式本公开的技术优选地在“分解的”计算系统环境的上下文中实现，其中“分解的服务器”-在本文中有时称为“服务器实体”-是被组成或构成的服务器资源，其是选自(或被分配自)共享服务器资源池，即，以下中的一个或多个：计算池，存储器池，加速器池(例如，GPU加速器，网络加速器等)，存储池等。正如命名法所暗示的，“计算”池通常构成物理处理器(例如多个CPU)，“存储器”池通常构成物理存储器设备(例如双列直插式存储器模块(DIMM))等。给定的共享池优选地，仅包括特定资源类型，但是特定资源池可以由一个或多个资源子类型组成。“池”的概念不是限制性的，因为可以以任何合适的方式收集，聚合或以其他方式组合公共资源。此外，“池”可以是具有共同类型或子类型的专用资源集，或者这些资源的一些临时集合。优选地，特定服务器实体包括来自一个或多个服务器资源池的服本文档来自技高网...

【技术保护点】
1.一种在多租户计算环境中管理存储器的方法，包括：提供存储器资源池；对于给定的工作负载，将存储器资源从存储器资源池分配给一组处理器；根据数据结构在分配的存储器资源中组织给定工作负载的数据；和确定在给定工作负载的数据结构中重新组织数据是否会提高数据结构的性能或节省数据结构使用的存储器；和在确定重组将提高性能或节省存储器时，采取给定动作来管理数据。

【技术特征摘要】
【国外来华专利技术】2016.04.07 US 15/092,6991.一种在多租户计算环境中管理存储器的方法，包括：提供存储器资源池；对于给定的工作负载，将存储器资源从存储器资源池分配给一组处理器；根据数据结构在分配的存储器资源中组织给定工作负载的数据；和确定在给定工作负载的数据结构中重新组织数据是否会提高数据结构的性能或节省数据结构使用的存储器；和在确定重组将提高性能或节省存储器时，采取给定动作来管理数据。2.如权利要求1所述的方法，其中所述给定动作检测数据相似性或重复，并且响应于此，从所分配的存储器资源中消除给定数据。3.如权利要求2所述的方法，其中通过以下方式检测数据相似性或重复：识别多个租户或多个进程公共数据块；在识别公共数据块时，根据可配置的阈值确定公共数据块是否稳定；在确定公共数据块是稳定的时，消除重复的公共数据块；将公共数据块的实例关联为共享公共数据块；和为多个租户或多个进程提供指向共享公共数据块的指针。4.如权利要求3所述的方法，还包括：确定第一个租户的共享公共数据块的值已经改变；确定为第一个租户存储共享公共数据块的增量值是否在计算上更便宜；知在确定计算上较便宜时，为第一个租户存储共享公共数据块的增量值。5.如权利要求4所述的方法，还包括：确定为第一个租户存储共享公共数据块的新值是否在计算上更便宜；和一旦确定存储新值在计算上更便宜，则为第一个租户存储共享公共数据块的新值。6.如权利要求1所述的方法，其中管理数据的给定动作包括：监控数据的数据分布或使用模式；和基于监控，应用优化来调整数据结构。7.如权利要求1所述的方法，还包括：分析数据集以生成数据集模式；在不使用处理器的情况下定期备份数据集；和在备份操作之前将缓存的数据刷新到主存储器。8.如权利要求1所述的方法，其中，所述数据结构基于给定工作负载的访问要求来组织数据。9.一种在多租户计算环境中管理存储器的装置，包括：一个或多个硬件处理器；计算机存储器，保存由硬件处理器执行的计算机程序指令，并用于：组织存储器资源池；对于给定的工作负载，将存储器资源从存储器资源池分配给一组处理器；根据数据结构组织分配的存储器资源中给定工作负载的数据；和确定在给定工作负载的数据结构中重新组织数据是否会提高数据结构的性能或节省数据结构使用的存储器；和在确定重组将提高性能或节省存储器时，采取给定动作来管理数据。10.如权利要求9所述的装置，其中所述给定动作检测数据相似性或重复，并且响应于此，从所分配的存储器资源中消除给定数据。11.如权利要求10所述的装置，其中通过以下方式检测数据相似性或重复：识别多个租户或多个进程公共数据块；在识别公共数据块时，根据可配置的阈值确定公共数据块是否稳定；在确定公共数据块是稳定的时，消除重复的公共数据块；将公共数据块的实例关联为共享公共数据块；和为多个租户或多个进程提供指向共享公共数据块的指针。12.如权利要求11所述的装置，其中所述计算机程序指令还用于：确定第一个租户的共享公共数据块的值已更改；确定为第一个租户存储共享公共数据块的增量值是否在计算上更便宜；和在确定计算上更便宜时，存储第一租户的共享公共数据块的增量...

【专利技术属性】
技术研发人员：E申菲尔德，JA比文斯，K达斯，李旻，R马欣德鲁，HV拉马萨米，阮耀平，V萨拉普拉，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国,US