日志协调存储组的自动配置制造技术

存储服务的配置管理器接收服务要求集，包括以下中的一个或多个：对一种或多种类型的存储操作的性能要求或访问接口类型要求。基于所述服务要求，生成包括一个或多个数据存储区实例以及第一基于日志的事务管理器的候选存储配置。在客户端批准所述第一存储配置之后，发起所述数据存储区实例和所述基于日志的事务管理器的建立。

【技术实现步骤摘要】
【国外来华专利技术】日志协调存储组的自动配置
技术介绍
近年来，越来越多的计算应用实施在分布式环境中。给定的分布式应用可例如利用散布在提供商网络的若干数据中心之间的多个物理和/或虚拟服务器，并且可为许多不同国家中的客户服务。随着给定应用中所涉及的服务器的数目增加，和/或随着所述应用网络的复杂性增加，不可避免地更高频率地遭遇各种类型的失效事件(诸如进程或服务器的明显或实际失效、网络消息延时的实质延迟、或服务器对之间的连接性丢失)。分布式应用的设计者因此面临这样的问题：在响应于应用配置状态的变化的同时尝试维持高水平的应用性能(例如，用于应用请求的高吞吐量和低响应时间)。用于管理状态信息的一些传统技术可涉及锁定所述状态信息来以一致方式实施应用状态变化。遗憾的是，用于应用状态和/或数据的锁定机制自身可随着应用的大小和复杂性增加而常常变成性能瓶颈。其它技术可避免锁定，但是可能必须暂停正常操作以在应用的部件之间传播改变的状态信息。然而，这类“停止一切(stop-the-world)”时段可能成问题，尤其对于用于散布在全世界不同时区中的数百或数千客户所使用的任务关键型工作负载的延时敏感的应用来说。甚至避免锁定和停止一切暂停的一些技术也可在处理极高速率的状态转变时陷入瓶颈。附图说明图1示出了根据至少一些实施方案的示例性系统环境，其中建立复制节点的动态DAG(有向非循环图)用于管理应用状态变化。图2a-图2h共同示出了根据至少一些实施方案的操作的示例性顺序，所述操作可在复制DAG处响应于检测到DAG节点中的一个可能已经失效而被执行。图3示出了根据至少一些实施方案的可在动态复制DAG处生成的应用状态记录和DAG配置增量消息的示例性部件。图4示出了根据至少一些实施方案的示例性复制DAG，其成员节点跨提供商网络的多个可用性容器分布。图5示出了根据至少一些实施方案的示例性配置，其中多个复制DAG的节点可以多租户方式在单个主机处实施。图6是示出根据至少一些实施方案的操作的方面的流程图，所述操作可响应于接收到状态转变请求而在复制DAG的接受者节点处执行。图7是示出根据至少一些实施方案的操作的方面的流程图，所述操作可响应于接收到已批准的状态转变消息而在复制DAG的中间节点处执行。图8是示出根据至少一些实施方案的操作的方面的流程图，所述操作可响应于接收到已批准的状态转变消息而在复制DAG的提交者节点处执行。图9是示出根据至少一些实施方案的操作的方面的流程图，所述操作可在复制DAG的配置管理器处执行。图10是示出根据至少一些实施方案的操作的方面的流程图，所述操作可响应于从配置管理器接收到配置增量消息而在复制DAG的成员节点处执行。图11a-图11h共同示出了根据至少一些实施方案的操作的示例性序列，所述操作可在协调的暂停程序期间在复制DAG处执行。图12是示出根据至少一些实施方案的操作的方面的流程图，所述操作在协调的暂停程序期间在状态复制组(诸如复制DAG)的提交者节点处执行。图13是示出根据至少一些实施方案的操作的方面的流程图，所述操作可在协调的暂停程序期间在状态复制组(诸如复制DAG)的非提交者节点处执行。图14是示出根据至少一些实施方案的操作的方面的流程图，所述操作可在协调的暂停程序期间在状态复制组(诸如复制DAG)的配置管理器处执行。图15示出了根据至少一些实施方案的示例性系统环境，所述系统环境包括支持可包括对多个数据存储区的写入的事务的持久性改变日志。图16示出了根据至少一些实施方案的使用复制DAG的持久性改变日志的示例性实施。图17示出了根据至少一些实施方案的可由日志记录服务的客户端递交的事务请求描述符的示例性部件元素。图18示出了根据至少一些实施方案的在基于日志的事务管理器处进行的读取-写入冲突检测的示例。图19是示出根据至少一些实施方案的可在日志记录服务处执行的控制平面操作的方面的流程图。图20是示出根据至少一些实施方案的操作的方面的流程图，所述操作可响应于从客户端接收的事务请求而在日志记录服务处执行。图21示出了根据至少一些实施方案的可用于实现各自的特殊情况一致性目标的事务请求描述符的示例。图22示出了根据至少一些实施方案的强制执行与在基于日志的事务管理器处接收的事务请求相关联的重复删除约束的示例。图23示出了根据至少一些实施方案的强制执行与在基于日志的事务管理器处接收的事务请求相关联的排序约束的示例。图24示出了根据至少一些实施方案的包括多个逻辑约束描述符的事务请求描述符的示例。图25是示出根据至少一些实施方案的操作的方面的流程图，所述操作可响应于指示一个或多个逻辑约束的事务请求而在日志记录服务处执行。图26示出了根据至少一些实施方案的示例性系统环境，其中可以在各自的日志协调存储组处支持各种跨数据存储区操作。图27示出了根据至少一些实施方案的单数据存储区和跨数据存储区写入操作的示例。图28示出了根据至少一些实施方案的在确定日志协调的存储组的定价策略时可能考虑到的因素的示例。图29示出了根据至少一些实施方案的可用于向实施日志协调的存储组的服务的用户指示定价策略选项的示例性的基于web的接口。图30是示出根据至少一些实施方案的控制平面操作的方面的流程图，可以在支持日志协调存储组处的跨数据存储区操作的服务处执行所述控制平面操作。图31示出了根据至少一些实施方案的在存储系统处的事件的示例性序列，其中对事务接受进行的基于读取位置的冲突检测的使用可导致数据不一致性。图32示出了根据至少一些实施方案的系统环境，其中响应于读取请求而提供的读取描述符包括读取可重复性验证元数据(RRVM)部件。图33示出了根据至少一些实施方案的读取描述符的示例性组成部件。图34示出了根据至少一些实施方案的可在读取描述符被提供给存储系统的客户端侧部件之前应用于读取描述符的示例性变换。图35示出了根据至少一些实施方案的可导致在存储系统的客户端侧部件处生成候选事务提交请求的事件的示例性序列。图36示出了根据至少一些实施方案的将写入描述符和读取描述符存储在各自日志中的示例性事务管理器。图37是示出根据至少一些实施方案的操作的方面的流程图，所述操作可在响应于读取请求而提供读取描述符的存储系统处执行。图38是示出根据至少一些实施方案的操作的方面的流程图，所述操作可在客户端侧部件处生成候选事务请求的存储系统处执行。图39示出了根据至少一些实施方案的示例性系统环境，其中可针对存储组的不同分区建立各自的基于日志的事务管理器。图40示出了根据至少一些实施方案的用于存储组的基于性能的事务管理配置的示例。图41示出了根据至少一些实施方案的示例性配置，其中可针对给定的数据存储区建立多个基于日志的事务管理器。图42示出了根据至少一些实施方案的示例性配置，其中多分区提交决定储存库与针对存储组的主分区建立的基于日志的事务管理器的日志共位。图43示出了根据至少一些实施方案的可在支持多分区事务的存储组处生成的提交请求的示例性组成元素。图44a和图44b示出了根据至少一些实施方案的提交记录的示例性组成元素，所述提交记录可通过基于日志的事务管理器被存储分别用于单分区事务和多分区事务。图45是示出根据至少一些实施方案的操作的方面的流程图，所述操作可由客户端侧部件和支持多分区事务的存储组的各自分区的基于日本文档来自技高网...

【技术保护点】
一种系统，其包括：异构存储服务的配置设计器，以及部署协调器，其中所述配置设计器被配置来：通过编程接口确定所述异构存储服务的客户端的多个服务要求，其中所述多个服务要求包括以下中的一个或多个：(a)要在存储组处执行的一种或多种类型的存储操作的性能要求、(b)可用性要求、(c)数据耐久性要求、或(d)访问接口要求；向所述客户端提供可以满足所述多个要求的至少一个子集的一个或多个候选存储组配置的指示，其中所述一个或多个候选存储组配置包括第一存储组配置，所述第一存储组配置包括多个数据存储区实例和第一基于日志的事务管理器，其中所述第一基于日志的事务管理器被配置来至少部分地基于指示先前提交的写入的写入记录日志的分析，接受写入请求用于提交，并且其中所述多个数据存储区实例包括实施第一访问接口的第一数据存储区实例以及实施不同访问接口的第二数据存储区实例；并且其中响应于所述客户端批准与所述第一存储配置相关联的定价策略的指示，所述部署协调器被配置来：实例化所述多个数据存储区实例和至少所述第一基于日志的事务管理器；以及确定访问元数据，使得所述客户端能够递交对所述一种或多种类型的存储操作的特定类型的存储操作的请求。

【技术特征摘要】
【国外来华专利技术】2014.09.19 US 14/491,371;2014.09.19 US 14/491,4441.一种系统，其包括：异构存储服务的配置设计器，以及部署协调器，其中所述配置设计器被配置来：通过编程接口确定所述异构存储服务的客户端的多个服务要求，其中所述多个服务要求包括以下中的一个或多个：(a)要在存储组处执行的一种或多种类型的存储操作的性能要求、(b)可用性要求、(c)数据耐久性要求、或(d)访问接口要求；向所述客户端提供可以满足所述多个要求的至少一个子集的一个或多个候选存储组配置的指示，其中所述一个或多个候选存储组配置包括第一存储组配置，所述第一存储组配置包括多个数据存储区实例和第一基于日志的事务管理器，其中所述第一基于日志的事务管理器被配置来至少部分地基于指示先前提交的写入的写入记录日志的分析，接受写入请求用于提交，并且其中所述多个数据存储区实例包括实施第一访问接口的第一数据存储区实例以及实施不同访问接口的第二数据存储区实例；并且其中响应于所述客户端批准与所述第一存储配置相关联的定价策略的指示，所述部署协调器被配置来：实例化所述多个数据存储区实例和至少所述第一基于日志的事务管理器；以及确定访问元数据，使得所述客户端能够递交对所述一种或多种类型的存储操作的特定类型的存储操作的请求。2.如权利要求1所述的系统，其中所述多个数据存储区实例包括支持可插入存储引擎的数据存储区类型的至少一个特定实例，并且其中被配置用于所述特定实例的特定可插入存储引擎向所述第一基于日志的事务管理器递交写入请求。3.如权利要求1所述的系统，其中所述第一基于日志的事务管理器实施用于所述写入记录日志的编程读取接口，并且其中被配置用于所述特定实例的所述特定可插入存储引擎利用所述编程读取接口，以便响应从应用指向所述特定实例的读取请求。4.如权利要求1所述的系统，其中所述配置设计器还包括：向所述客户端提供规划所述第一存储配置以满足所述服务要求集的至少一个特定要求的程度的指示。5.如权利要求1所述的系统，其中所述定价策略包括用于建立所述多个数据存储区实例中的特定数据存储区实例的固定费用的指示，以及基于对所述一种或多种类型的存储操作中的特定类型的测量请求计数的可变定价部件。6.一种方法，其包括，在存储服务的配置管理器处确定与客户端相关联的服务要求集，其中所述集包括以下中的一个或多个：(a)对一种或多种类型的存储操作的性能要求、或(d)访问接口类型要求，由所述配置管理器向所述客户端提供可以满足所述集的至少一个或多个要求的一个或多个候选存储配置的指示，其中所述一个或多个候选存储配置包括第一存储配置，所述第一存储配置包括一个或多个数据存储区实例和至少第一基于日志的事务管理器，...

【专利技术属性】
技术研发人员：A·H·沃姆伦，O·A·扎基，U·B·舍瓦德，G·R·罗杰斯，
申请(专利权)人：亚马逊科技公司，
类型：发明
国别省市：美国,US