用于多租户高速缓存系统中的多层级数据存储的技术技术方案

本发明专利技术的实施例涉及用于在多租户高速缓存系统中利用多层级高速缓存架构的系统和方法。存储器内高速缓存的一部分可被分配为各自专用于特定租户的专用份额(例如，专用分配)，而所述存储器内高速缓存的另一部分(例如，共享分配)可由所述系统中的所有租户共享。当自最后一次访问存储在专用分配中的数据以来已经过阈值时间段时，所述数据可被迁移到所述共享分配。如果从所述共享分配访问数据，则可将所述数据迁移回到所述专用分配。利用所述技术为多租户高速缓存系统提供多层级方法可提高性能并减小关于常规高速缓存系统的时延。性能并减小关于常规高速缓存系统的时延。性能并减小关于常规高速缓存系统的时延。

【技术实现步骤摘要】
【国外来华专利技术】用于多租户高速缓存系统中的多层级数据存储的技术

技术介绍

[0001]各种系统可利用大数据集来执行操作。举例来说，处理数据交易的系统可以利用历史交易数据来执行各种操作。此数据中的一些可缓存在计算装置的本地存储器中，使得比起通过访问数据的主存储位置(例如，通常位于磁盘存储装置中)而可能的情况，对所述数据的未来请求可被执行得更快。高速缓存允许系统通过减少访问底层较慢存储层的需要来提高数据检取性能。
[0002]一些存储器内高速缓存系统可能被多个租户使用。此类系统中的高速缓存管理可能较复杂。当向租户提供将数据存储在共享高速缓存中的任何位置的能力时，一些租户可能使用超过合理份额的高速缓存，这可能增大关于其它租户的访问操作的时延。然而，出于公平原因向租户提供高速缓存的专用份额也可能导致高速缓存的低效利用，因为有些租户可能不会利用其全部专用存储器。因此，常规存储器内高速缓存系统和其管理呈现了许多缺点并且效率低下。
[0003]本公开的实施例单独地以及共同地解决了这些和其它问题。

技术实现思路

[0004]本专利技术的一个实施例涉及一种方法。所述方法可包括由计算装置提供高速缓存的多个专用分配，高速缓存的每个专用分配对应于多个实体中的实体，利用随机存取存储器提供所述高速缓存。所述方法还可包括由所述计算装置提供所述高速缓存的共享分配，所述共享分配可供所述多个实体中的每一者用于存储。所述方法还可包括由所述计算装置标识自最后一次访问存储在所述高速缓存的专用分配中的数据以来已经过阈值时间段。所述方法还可包括由所述计算装置将所述数据从所述高速缓存的所述专用分配迁移到所述高速缓存的所述共享分配。
[0005]在一些实施例中，所述方法还可包括当所述高速缓存的所述专用分配已满时，确定所述高速缓存的共享分配是否已满。当所述高速缓存的所述共享分配未满时，所述方法可包括将最早的数据实例从与所述实体相关联的专用高速缓存迁移到所述高速缓存的所述共享分配，并将在高速缓存请求中接收的数据存储在与所述实体相关联的所述专用分配中。
[0006]在一些实施例中，所述方法还可包括确定对应于多个实体中的每个实体的多个命中率，每个命中率标识使得在所述高速缓存中找到请求的数据的高速缓存请求的百分比。所述方法还可包括至少部分地基于所述多个命中率来调整所述高速缓存的共享分配的一个或多个逐出规则。
[0007]在一些实施例中，所述方法还可包括接收针对与实体相关联的缓存数据的数据请求。所述方法还可包括确定所述缓存数据是否存储在与所述实体相关联的专用分配中。所述方法还可包括当所述缓存数据存储在与所述实体相关联的专用分配中时，响应于所述数据请求而返回所述缓存数据。
[0008]在一些实施例中，所述方法还可包括当所述缓存数据未存储在与所述实体相关联
的专用分配中时，确定所述缓存数据是否存储在所述高速缓存的共享分配中。当所述缓存数据存储在所述共享分配中时，所述方法可包括返回所述缓存数据。当所述缓存数据未存储在所述共享分配中时，所述方法可包括返回未找到所述缓存数据的指示。
[0009]在一些实施例中，所述方法还可包括当所述缓存数据存储在所述共享分配中时，确定与所述实体相关联的专用分配是否已满，并且当与所述实体相关联的专用分配未满时将所述缓存数据迁移到与所述实体相关联的专用分配。
[0010]在一些实施例中，所述方法还可包括当与所述实体相关联的专用分配已满时：确定所述高速缓存的共享分配是否已满；当所述高速缓存的共享分配未满时，将最早的数据实例从与所述实体相关联的专用分配迁移到所述高速缓存的共享分配；以及将所述缓存数据存储在与所述实体相关联的专用分配中。
[0011]在一些实施例中，所述方法还可包括当所述高速缓存的共享分配已满时，根据一个或多个逐出规则从所述共享分配中逐出一定量的数据。所述方法还可包括当所述高速缓存的共享分配未满时，将最早的数据实例从与所述实体相关联的专用分配迁移到所述高速缓存的共享分配。所述方法还可包括将所述缓存数据存储在与所述实体相关联的专用分配中。
[0012]在一些实施例中，所述方法还可包括：标识命中率阈值，所述命中率阈值指定将使得在所述高速缓存中找到数据的数据请求量；监测由所述多个实体提交的数据请求的对应命中率；以及当与实体相关联的命中率低于所述命中率阈值时向所述实体提供通知。
[0013]在一些实施例中，至少部分基于一个或多个逐出规则来逐出所述高速缓存的共享分配的存储数据。在一些实施例中，所述一个或多个逐出规则可规定：对应于具有对应于所述多个实体的多个命中率中的最高命中率的实体的第一数据将在对应于所述多个实体中的其余实体的第二数据之前被逐出。
[0014]在一些实施例中，所述方法还可包括：从与所述多个实体中的实体相关联的另一计算装置接收包括要缓存的数据的高速缓存请求；当对应于所述实体的专用分配具有可用空间时，将所述数据存储在对应于所述实体的专用分配中；当对应于所述实体的专用分配已满时，将所述数据存储在所述高速缓存的共享分配中。
[0015]在一些实施例中，所述方法还可包括：从与所述多个实体中的实体相关联的另一计算装置接收数据请求，所述数据请求标识要检取的数据；在对应于所述实体的专用分配中搜索所述数据；以及当在对应于所述实体的专用分配中找到所述数据时，在数据响应中提供所述数据。
[0016]在一些实施例中，所述方法还可包括：当在对应于所述实体的专用分配中未找到所述数据时，在共享分配中搜索所述数据；当在共享分配中找到所述数据时，在数据响应中提供所述数据；以及当在共享分配中未找到所述数据时提供未找到所述数据的通知。
[0017]在一些实施例中，所述方法还可包括：从与所述多个实体中的实体相关联的另一计算装置接收标识要缓存的数据的高速缓存请求；确定高速缓存中对应于所述实体的专用分配以及所述共享分配已满；从所述共享分配逐出第一数据；将第二数据从所述高速缓存中对应于所述实体的专用分配迁移到所述共享分配；以及将要缓存的所述数据存储在所述高速缓存中对应于所述实体的专用分配中。
[0018]在一些实施例中，利用多个专用分配和共享分配可减少与由多个实体提交的数据
请求相关联的总时延。在一些实施例中，多个专用分配的大小相等。
[0019]在一些实施例中，所述方法还可包括维持标识所述多个实体中的每个实体到高速缓存的特定对应专用分配的映射。
[0020]本专利技术的另一实施例涉及一种计算装置(例如，高速缓存管理计算机)，其包括处理器、高速缓存和一个或多个存储器，所述一个或多个存储器存储可执行指令，所述可执行指令在由处理器执行时使所述计算装置执行上文所论述的方法的任何操作。
[0021]有关本专利技术的实施例的更多详细信息可见于具体实施方式和附图。
附图说明
[0022]图1示出描绘多租户系统中使用的两种常规高速缓存技术的框图。
[0023]图2示出根据一些实施例的描绘多租户高速缓存系统中使用的多层级高速缓存技术的框图。
[0024]图3示出根据一些实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实施的方法，包括：由计算装置提供高速缓存的多个专用分配，所述高速缓存的每个专用分配对应于多个实体中的实体，所述高速缓存是利用随机存取存储器提供的；由所述计算装置提供所述高速缓存的共享分配，所述共享分配能由所述多个实体中的每一者用于存储；由所述计算装置标识自最后一次访问存储在所述高速缓存的专用分配中的数据以来已经过阈值时间段；以及由所述计算装置将所述数据从所述高速缓存的所述专用分配迁移到所述高速缓存的所述共享分配。2.根据权利要求1所述的计算机实施的方法，还包括：由所述计算装置从与所述多个实体中的实体相关联的另一计算装置接收包括要缓存的数据的高速缓存请求；确定所述高速缓存的专用分配是否已满，所述专用分配与所述实体相关联；以及当所述高速缓存的所述专用分配未满时，将所述高速缓存请求中接收的所述数据存储在与所述实体相关联的所述专用分配中。3.根据权利要求2所述的计算机实施的方法，还包括：当所述高速缓存的所述专用分配已满时：确定所述高速缓存的共享分配是否已满；当所述高速缓存的所述共享分配未满时，将最早的数据实例从与所述实体相关联的专用高速缓存迁移到所述高速缓存的所述共享分配；以及将在所述高速缓存请求中接收的所述数据存储在与所述实体相关联的所述专用分配中。4.根据权利要求3所述的计算机实施的方法，还包括：当所述高速缓存的所述共享分配已满时：根据一个或多个逐出规则从所述高速缓存的所述共享分配逐出一定量的数据；将最早的数据实例从与所述实体相关联的所述专用高速缓存迁移到所述高速缓存的所述共享分配；以及将在所述高速缓存请求中接收的所述数据存储在与所述实体相关联的所述专用分配中。5.根据权利要求1所述的计算机实施的方法，还包括：确定对应于所述多个实体中的每个实体的多个命中率，每个命中率标识使得在所述高速缓存中找到所请求的数据的高速缓存请求的百分比；以及至少部分地基于所述多个命中率调整所述高速缓存的所述共享分配的一个或多个逐出规则。6.根据权利要求1所述的计算机实施的方法，还包括：接收针对与实体相关联的缓存数据的数据请求；确定所述缓存数据是否存储在与所述实体相关联的所述专用分配中；以及当所述缓存数据存储在与所述实体相关联的所述专用分配中时，响应于所述数据请求而返回所述缓存数据。
7.根据权利要求6所述的计算机实施的方法，还包括：当所述缓存数据未存储在与所述实体相关联的所述专用分配中时：确定所述缓存数据是否存储在所述高速缓存的所述共享分配中；当所述缓存数据存储在所述共享分配中时，返回所述缓存数据；当所述缓存数据未存储在所述共享分配中时，返回未找到所述缓存数据的指示。8.根据权利要求7所述的计算机实施的方法，还包括：当所述缓存数据存储在所述共享分配中时：确定与所述实体相关联的所述专用分配是否已满；以及当与所述实体相关联的所述专用分配未满时，将所述缓存数据迁移到与所述实体相关联的所述专用分配。9.根据权利要求8所述的计算机实施的方法，还包括：当与所述实体相关联的所述专用分配已满时：确定所述高速缓存的所述共享分配是否已满；当所述高速缓存的所述共享分配未满时，将最早的数据实例从与所述实体相关联的所述专用分配迁移到所述高速缓存的所述共享分配；以及将所述缓存数据存储在与所述实体相关联的所述专用分配中。10.根据权利要求9所述的计算机实施的方法，还包括：当所述高速缓存的所述共享分配已满时，根据一个或多个逐出规则从所述共享分配中逐出一定...

【专利技术属性】
技术研发人员：谷雨，H，
申请(专利权)人：维萨国际服务协会，
类型：发明
国别省市：