【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
许多公司和其他组织运营计算机网络,所述计算机网络使众多计算系统互连以支持它们的操作,诸如其中计算系统位于同一位置(例如,作为本地网络的一部分)或者相反地位于多个不同的地理位置中(例如,通过一个或多个私有或公共中间网络加以连接)。例如,容纳显著数量互连计算系统的数据中心已变得司空见惯,诸如由单一组织运营和代表所述组织运营的私有数据中心,以及由作为企业的实体运营来向客户提供计算资源的公共数据中心。一些公共数据中心运营商为由各种客户所拥有的硬件提供网络访问、电力以及安全安装设施,而其他公共数据中心运营商提供“全方位服务”设施,所述设施也包括可供其客户使用的硬件资源。一些大型提供商网络实现多种存储服务,诸如实现可被建模为可通过各自URL访问的任意位桶的块级装置(卷)或对象的服务。然而,在提供商网络的数据中心处运行的多个应用可仍然面临关于其使用一些更常见的存储相关的编程接口的限制,诸如各种行业标准文件系统接口。一些行业标准文件系统可能在网络可访问服务的大规模部署之前已经被设计,并且可以因此支持一致性模型和不直截了当地在分布式系统中实现的其他语义,其中异步计算的交互、单独部件的故障和网络分区或网络相关的延迟都是相对常见的。附图说明图1提供根据至少一些实施方案的分布式文件存储服务的高级概要图。图2示出根据至少一些实施方案的使用在提供商网络的多个可用性容器处的资源来实现文件存储服务。图3示出根据至少一些实施方案的与隔离虚拟网络相关联的网络地址被分配给存储服务的访问子系统节点的配置。图4示出根据至少一些实施方案的文件存储服务对象、逻辑块以及一个或多个盘区处的物理页面之 ...
【技术保护点】
一种分布式存储服务,其包括:多个计算装置,其使用包括具有独立故障配置文件的多个可用性容器的提供商网络的资源实现:服务访问子系统,其被配置来从在所述提供商网络处实现的虚拟计算服务的多个计算实例接收根据一个或多个行业标准文件系统接口格式化的客户端请求;元数据子系统,其被配置来在文件存储操作的至少子集上实现顺序一致性语义;以及存储子系统,其被配置来至少存储一个或多个文件存储区的至少各自数据部分,其中所述一个或多个文件存储区中的特定文件存储区的特定数据部分被组织为包括多个盘区复本的复本组,所述多个盘区复本包括位于所述提供商网络的第一可用性容器处的第一盘区复本以及位于所述提供商网络的第二可用性容器处的第二盘区复本;其中响应于在所述服务访问子系统处接收的特定客户端请求,所述多个计算装置被配置来:执行包括一组文件系统元数据修改的原子元数据操作,包括所述元数据子系统的第一节点处的第一元数据修改以及所述元数据子系统的第二节点处的第二元数据修改;以及在对所述特定客户端请求的响应传输之前将至少一个修改应用在所述存储子系统处的多个盘区复本。
【技术特征摘要】
【国外来华专利技术】2014.03.31 US 14/231,0881.一种分布式存储服务,其包括:多个计算装置,其使用包括具有独立故障配置文件的多个可用性容器的提供商网络的资源实现:服务访问子系统,其被配置来从在所述提供商网络处实现的虚拟计算服务的多个计算实例接收根据一个或多个行业标准文件系统接口格式化的客户端请求;元数据子系统,其被配置来在文件存储操作的至少子集上实现顺序一致性语义;以及存储子系统,其被配置来至少存储一个或多个文件存储区的至少各自数据部分,其中所述一个或多个文件存储区中的特定文件存储区的特定数据部分被组织为包括多个盘区复本的复本组,所述多个盘区复本包括位于所述提供商网络的第一可用性容器处的第一盘区复本以及位于所述提供商网络的第二可用性容器处的第二盘区复本;其中响应于在所述服务访问子系统处接收的特定客户端请求,所述多个计算装置被配置来:执行包括一组文件系统元数据修改的原子元数据操作,包括所述元数据子系统的第一节点处的第一元数据修改以及所述元数据子系统的第二节点处的第二元数据修改;以及在对所述特定客户端请求的响应传输之前将至少一个修改应用在所述存储子系统处的多个盘区复本。2.如权利要求1所述的系统,其中所述多个计算装置被配置来:利用复制状态机来生成对特定读取请求的响应,针对所述特定读取请求,在多个存储装置处执行各自物理读取操作。3.如权利要求1所述的系统,其中所述服务访问子系统、所述元数据子系统以及所述存储子系统各自使用所述提供商网络的各自组的资源来实现,其中所述多个计算装置还被配置来:检测以下中的一个或多个:(a)包括所述服务访问子系统、所述元数据子系统以及所述存储子系统的一组子系统中的特定子系统处的潜在性能瓶颈,或(b)需要另外资源部署在所述特定子系统处的节点健康状态改变;以及发起将所述提供商网络的另外资源部署到所述特定子系统,而不修改用于所述组的剩余子系统的资源数量。4.如权利要求1所述的系统,其中所述多个计算装置还被配置来:利用基于共识的协议来复制对所述特定文件存储区的状态的改变的日志记录;以及将所述特定文件存储区的所述状态的表示存储作为多个擦除编码的复本。5.如权利要求1所述的系统,其中所述多个计算装置还被配置来:在所述存储子系统的特定节点处,存储属于包括含有所述特定文件存储区的一个或多个文件存储区的数据内容的至少子集的第二复本组的特定盘区复本;以及在所述存储子系统的所述特定节点处,存储包括含有所述特定文件存储区的一个或多个文件存储区的元数据的至少子集的不同复本组的特定盘区复本。6.如权利要求1所述的系统,其中所述多个计算装置还被配置来:将所述特定文件存储区的元数据和数据分布在包括至少一个固态盘(SSD装置)和一个转盘装置的多个物理存储装置之间。7.一种方法,其包括:由一个或多个计算装置执行以下各项:在多租户存储服务的访问子系统处接收根据行业标准文件系统接口格式化的特定客户端请求;在所述访问子系统处确定所述客户端请求满足认证和授权要求;响应于所述特定客户端请求,发起包括一组文件系统元数据修改的原子元数据操作,包括所述存储服务的元数据子系统的第一节点处的第一元数据修改以及所述元数据子系统的第二节点处的第二元数据修改;响应于所述特定客户端请求,验证在所述存储服务的存储子系统处已保存至少一个数据修改的多个复本;以及存储所述特定客户端请求的完成的记录,其中将相对于所述特定客户端请求异步地使用所述记录以便根据基于使用的定价策略为所述存储服务的客户生成付款金额。8.如权利要求7所述的方法,其中所述访问子系统、所述元数据子系统以及所述存储子系统各自使用提供商网络的各自组的资源来实现,其还包括由所述多个计算装置中的一个或多个计算装置执行以下项:响应于触发条件的检测,发起将所述提供商网络的另外资源部署到包括所述访问子系统、所述元数据子系统以及所述存储子系统的一组子系统中的特定子系统,而不修改用于所述组的剩余子系统的资源数量。9.如权利要求7所述的方法,其还包括由所述多个计算装置执行以下项:利用基于共识的协议来复制对所述特定文件存储区的状态的改变的日志记录;以及将所述特定文件存储区的所述状态的表示存储作为多个擦除编码的复本。10.如权利要求7所述的方法,其还包括由所述多个计算装置执行以下项:在所述存储子系统的特定节点处,存储属于存储一个或多个文件存储区的数据内容的复本组的特定复本;以及在所述存储子系统的所述特定节点处,存储储存与一个或多个文件存储区相关联的元数据的不同复本组的特定复本。11.如权利要求7所述的方法,其还包括由所述多个计算装置执行以下项:响应于指向特定文件存储对象的一个或多个写入请求,为所述写入请求中指示的写入内容分配第一组存储块,并且为与所述文件存储对象相关联的元数据分配第二组存储块,其中所述第一组的块的大小根据数据块定大小策...
【专利技术属性】
技术研发人员:P·文森特,W·W·杜索,M·J·奥卡瑞伦,M·弗里戈,J·C·索伦森三世,
申请(专利权)人:亚马逊科技公司,
类型:发明
国别省市:美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。