突发模式控制制造技术

公开了用于多余共享资源吞吐量的公平分布的方法和设备。第一工作目标和第二工作目标被配置成访问共享资源以实施所接受的工作请求。使用相应的令牌桶来管理所述工作目标处的准入控制。确定指示一个时间间隔期间所述工作目标处的工作请求到达速率的第一度量和与所述工作目标的规定容量相关的第二度量。使基于所述共享资源的吞吐量限制所确定的多个令牌分布在所述工作目标间以用于在随后的时间间隔期间用于准入控制。分布到每个工作目标的令牌数量是基于所述第一度量和/或所述第二度量。

【技术实现步骤摘要】
【国外来华专利技术】突发模式控制
技术介绍
一些领先的技术组织正投资构建销售“软件即服务”的技术。此类服务为客户或订户提供对共享存储装置(例如，数据库系统)和/或计算资源的访问。在多层电子商务系统内，可以将不同类型的资源的组合诸如整个物理或虚拟机、CPU、存储器、网络带宽或I/O容量分配给订户和/或它们的应用。向客户端提供服务的每个系统都需要保护自己免受有可能使该系统超负载的服务请求的压溃负载。一般而言，对于Web服务或远程过程调用(RPC)服务来说，如果系统不能为其所接收的客户端请求的某个部分提供预期质量的服务，那么该系统被认为呈“超负载”状态。超负载系统施加的常见解决方案包括拒绝针对客户端的服务或限制一定量的进入请求直到这些系统摆脱超负载状态。某些当前系统通过将请求速率与固定的或变化的全局阈值进行比较并且一旦超过这个阈值，选择性地拒绝针对客户端的服务来避免超负载场景。然而，这种方法并未考虑到可以响应于接受用于服务端的不同类型和/或实例的服务请求而执行的工作量的差异。另外，很难(如果不是不可能的话)定义单个全局阈值，所述阈值在以不同的、不可预测的速率接收不同类型的请求并且为满足其请求所需的工作量也是变化的和不可预测的系统中是有意义的(更不用说提供可接受的性能)。虽然可能已将许多服务设计成在客户端请求随时间推移均匀分布时起到最好作用，但实际上很少遇到此类工作分布的时间均匀性。此外，在至少一些环境中，工作负载可能不仅仅是相对于时间不均匀的，而且是相对于在其上操作的数据集不均匀的，例如与其它部分相比，可以更频繁地访问或修改数据的某些部分。希望达到和保持高水平客户满意度的服务提供者可能需要实施以更复杂的方式处理工作负载变化的技术。附图说明图1a图示了根据至少一些实施方案的工作请求到达速率变化的示例，并且图1b图示了根据至少一些实施方案的令牌桶可以用于在存在这些变化时作出准入控制决定的系统。图2提供了根据至少一些实施方案的基于令牌的准入控制机制的高级别概述。图3图示了根据至少一些实施方案的用于准入控制的令牌桶的示例配置性质。图4图示了根据至少一些实施方案的未使用令牌从规定容量桶积聚到突发模式桶中的示例。图5图示了根据至少一些实施方案的用于读取和写入的准入控制的相应令牌桶的使用。图6图示了根据至少一些实施方案的包括一个或多个本地突发限制桶、一个或多个共享资源容量桶和一个或多个复制管理桶的突发模式令牌桶集合。图7图示了根据至少一些实施方案的出于准入控制的目的而将工作请求突发分类为多个类别的示例。图8图示了根据至少一些实施方案的包括用于突发模式准入控制的峰值突发令牌桶和持续突发令牌桶的组合的复合令牌桶的使用的示例。图9图示了根据至少一些实施方案的专用于相应类别的工作操作的峰值突发和持续突发桶的使用。图10是根据至少一些实施方案的图示了可被执行以实施用于网络可访问服务处的工作请求的基于令牌的准入控制机制的操作的各方面的流程图。图11是根据至少一些实施方案的图示了可被执行以实施用于使用网络可访问服务处的多个突发模式令牌桶处理突发模式操作的基于令牌的准入控制机制的操作的各方面的流程图。图12是根据至少一些实施方案的图示了可被执行用于准入控制的令牌消耗、再填充和转移操作的各方面的流程图。图13是根据至少一些实施方案的图示了可被执行以在与准入的工作请求相对应的工作操作完成之后调整一个或多个令牌桶中的令牌计数的操作的各方面的流程图。图14是根据至少一些实施方案的图示了可被执行以响应于管理事件来修改突发模式准入控制参数的操作的各方面的流程图。图15是根据至少一些实施方案的图示了可被执行以调整用于基于令牌的突发模式准入控制的参数的操作的各方面的流程图。图16图示了根据至少一些实施方案的工作请求关于由服务所管理的数据的不同子集的不均匀分布以及工作请求到达速率的不均匀性的示例。图17图示了根据至少一些实施方案的可以被实施以缓解数据访问的空间不均匀性的影响的令牌共享协议的示例迭代。图18图示了根据至少一些实施方案的可以在数据分区被复制的环境中建立的令牌共享对等端群组的示例。图19图示了根据至少一些实施方案的在数据库服务处使用令牌共享以支持对次级索引的工作负载管理的示例。图20a–20d图示了根据至少一些实施方案的在令牌共享协议的参与者之间的消息序列流的示例。图21是根据至少一些实施方案的图示了可以被执行以支持针对突发模式操作的令牌共享的操作的各方面的流程图。图22图示了根据至少一些实施方案的具有一定吞吐量限制的共享资源的示例，该吞吐量限制大于共享该资源的工作目标的组合规定容量。图23图示了根据至少一些实施方案的可由服务的存储节点处的工作目标共享的资源的示例。图24图示了根据至少一些实施方案的被执行以计算将分布在共享资源的工作目标间的多余令牌的数量的操作的示例。图25是根据至少一些实施方案的图示了可以被执行以实施多余令牌在共享资源的工作目标间的公平分布的操作的各方面的流程图。图26图示了根据至少一些实施方案的可被实施用于突发模式操作的定价管理器的示例组件。图27图示了根据至少一些实施方案的基于令牌的定价策略的示例元素。图28是根据至少一些实施方案的图示了可被执行来确定突发模式操作的计费金额的操作的各方面的流程图。图29是根据至少一些实施方案的图示了与条件性突发模式定价相关的操作的各方面的流程图。图30是根据至少一些实施方案的图示了可被实施以实现定价策略的客户端选择的操作的各方面的流程图。图31是根据至少一些实施方案的图示了可被实施来实现突发模式令牌的市场的操作的各方面的流程图。图32是根据至少一些实施方案的可被实施用于工作目标的不同分区之间的令牌的定价转移的操作的各方面的流程图。图33是根据至少一些实施方案的针对令牌桶配置设置的定价变化可以实施的操作的各方面的流程图。图34是图示了在至少一些实施方案中可使用的示例计算装置的框图。虽然本文通过几个实施方案和说明性附图的示例描述了实施方案，但本领域技术人员将意识到实施方案不限于所述的实施方案或附图。应该理解，这里的附图和详细描述并非意欲将本专利技术限制为所公开的特定形式，相反，本专利技术意欲涵盖落在由附加权利要求书所定义的精神和范围内的所有修改、等效物和替代方案。本文使用的标题仅出于组织的目的，且并非意在用于限制说明书或者权利要求书的范围。如在本申请中所使用的，在许可意义(即具有可能的含义)，而不是强制意义(即表示必须)上使用词“可”。类似地，词语“包括(include/including/includes)”表示包括但不限于。具体实施方式描述了用于使用令牌桶和相关定价策略来实现突发模式准入控制的方法和设备的各种实施方案。术语“准入控制”在本文可以用于表示被执行以确定接收的工作请求(诸如指向存储服务的读取或写入请求)是否被接受用于实施的操作，并且可以将在执行准入控制的过程中所涉及的软件和/或硬件实体的集合统称为“准入控制器”。例如，可以在网络可访问服务(诸如多租户存储装置或数据库服务)支持规定工作负载模型的多种环境中采用使用了令牌桶的准入控制。在规定工作负载模型中，可以设置或配置工作请求可能指向的给定对象，以此方式使得该给定对象通常能够以针对工作请求的可接受响应时间支持高达工作请求的特定速率(“规定吞吐量”)本文档来自技高网...

【技术保护点】
一种系统，其包括：一个或多个计算装置，所述一个或多个计算装置被配置成：接收指向工作目标的工作请求；响应于与所述工作目标相关的正常模式令牌桶的令牌数量满足第一阈值标准的确定，根据正常模式令牌消耗策略从所述正常模式令牌桶中消耗一个或多个令牌，并且接受所述用于执行的工作请求；以及响应于所述正常模式令牌桶的所述令牌数量不满足所述第一阈值标准的确定，确定突发模式令牌桶集合中的至少一个桶的令牌数量是否满足第二阈值标准；响应于所述突发模式令牌桶集合中的所述至少一个桶的所述令牌数量满足所述第二阈值标准的确定，至少部分基于突发模式令牌消耗策略来从所述突发模式令牌桶集合中的所述至少一个桶中消耗一个或多个令牌，并且接受所述用于执行的工作请求，以及响应于所述突发模式令牌桶集合中的所述至少一个桶的所述令牌数量不满足所述第二阈值标准的确定，拒绝所述工作请求。

【技术特征摘要】
【国外来华专利技术】2013.06.25 US 13/926,684;2013.06.25 US 13/926,686;1.一种用于在突发模式下进行控制的系统，其包括：一个或多个计算装置，所述一个或多个计算装置被配置成：向工作目标分配规定吞吐量，所述规定吞吐量指示在正常操作模式期间要在所述工作目标处执行的工作操作的最大速率；接收针对所述工作目标的工作请求；响应于与所述工作目标相关的正常模式令牌桶的令牌数量满足第一阈值标准的确定，根据正常模式令牌消耗策略从所述正常模式令牌桶中消耗一个或多个令牌，并且接受用于执行的所述工作请求；响应于所述正常模式令牌桶的所述令牌数量不满足所述第一阈值标准的确定，确定突发模式令牌桶集合中的至少一个桶的令牌数量是否满足第二阈值标准；响应于所述突发模式令牌桶集合中的所述至少一个桶的所述令牌数量满足所述第二阈值标准的确定，至少部分基于突发模式令牌消耗策略来从所述突发模式令牌桶集合中的所述至少一个桶中消耗一个或多个令牌，并且接受用于执行的所述工作请求，以及响应于所述突发模式令牌桶集合中的所述至少一个桶的所述令牌数量不满足所述第二阈值标准的确定，拒绝所述工作请求；以及至少部分基于分配给所述工作目标的所述规定吞吐量使所述正常模式令牌桶以一定速率再填充。2.如权利要求1所述的系统，其中所述一个或多个计算装置还被配置成：至少部分基于所述规定吞吐量来使所述突发模式令牌桶集合中的至少一个桶以另一个速率再填充。3.如权利要求1所述的系统，其中所述一个或多个计算装置还被配置成：响应于在接收工作请求的平均速率小于专用于所述工作目标的规定速率的特定时间段结束时，一个或多个工作令牌保持在所述正常模式令牌桶中的确定，至少部分基于保持在所述正常模式令牌桶中的工作令牌的所述数量来使所述突发模式令牌桶集合中的至少一个桶的所述令牌数量增加一定量。4.如权利要求1所述的系统，其中所述突发模式令牌桶集合包括：本地突发限制令牌桶，其最大令牌数量指示针对所述工作目标处的工作操作所支持的最大突发速率；和共享资源令牌桶，其令牌数量指示由多个工作对象所共享的资源的可用吞吐量，其中响应于所述正常模式令牌桶的所述令牌数量不满足所述第一阈值标准的所述确定，所述一个或多个计算装置还被配置成：响应于确定所述本地突发限制令牌桶的所述令牌数量超过零并且所述共享资源令牌桶的所述令牌数量超过零来接受用于执行的所述工作请求。5.如权利要求1所述的系统，所述一个或多个计算装置还被配置成：在接受所述用于执行的工作请求之前，产生响应于所述工作请求而执行的工作量的估计值；在接受所述工作请求之后，确定与所述工作请求相对应的执行的所述工作量；以及响应于所执行的工作量与估计值之间的差值的确定，至少部分基于所述差值来修改以下各项中的一者或多者中的至少一个桶的所述令牌数量：(a)所述正常模式令牌桶或(b)所述突发模式令牌桶集合。6.一种用于在突发模式下进行控制的方法，其包括：由一个或多个计算装置执行以下步骤：向工作目标分配规定吞吐量，所述规定吞吐量指示在正常操作模式期间要在所述工作目标处执行的工作操作的最大速率；接收针对所述工作目标的工作请求；确定与所述工作目标相关的正常模式令牌桶的令牌数量；响应于确定所述正常模式令牌桶的所述令牌数量不满足第一阈值标准，确定与所述工作目标相关的突发模式令牌桶集合中的至少一个桶的所述令牌数量满足第二阈值标准，接受用于执行的所述工作请求；以及至少部分基...

【专利技术属性】
技术研发人员：肖巍，B·P·斯威夫特，KK·穆尼斯瓦麦雷迪，M·M·菲利普，陆一俊，S·H·S·马歇尔，S·斯泰法尼，J·R·汉密尔顿，
申请(专利权)人：亚马逊科技公司，
类型：发明
国别省市：美国;US