可缩放文件存储服务制造技术

技术编号:14681415 阅读:46 留言:0更新日期:2017-02-22 14:38
在分布式多租户存储服务的访问子系统处接收根据文件系统接口格式化的客户端请求。在所述请求在所述访问子系统处认证之后,发起包括一组文件系统元数据修改的原子元数据操作,包括所述存储服务的元数据子系统的第一节点处的第一元数据修改以及所述元数据子系统的第二节点处的第二元数据修改。在所述服务的各自存储节点处保存对应于所述请求的至少一个数据修改的多个复本。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
许多公司和其他组织运营计算机网络,所述计算机网络使众多计算系统互连以支持它们的操作,诸如其中计算系统位于同一位置(例如,作为本地网络的一部分)或者相反地位于多个不同的地理位置中(例如,通过一个或多个私有或公共中间网络加以连接)。例如,容纳显著数量互连计算系统的数据中心已变得司空见惯,诸如由单一组织运营和代表所述组织运营的私有数据中心,以及由作为企业的实体运营来向客户提供计算资源的公共数据中心。一些公共数据中心运营商为由各种客户所拥有的硬件提供网络访问、电力以及安全安装设施,而其他公共数据中心运营商提供“全方位服务”设施,所述设施也包括可供其客户使用的硬件资源。一些大型提供商网络实现多种存储服务,诸如实现可被建模为可通过各自URL访问的任意位桶的块级装置(卷)或对象的服务。然而,在提供商网络的数据中心处运行的多个应用可仍然面临关于其使用一些更常见的存储相关的编程接口的限制,诸如各种行业标准文件系统接口。一些行业标准文件系统可能在网络可访问服务的大规模部署之前已经被设计,并且可以因此支持一致性模型和不直截了当地在分布式系统中实现的其他语义,其中异步计算的交互、单独部件的故障和网络分区或网络相关的延迟都是相对常见的。附图说明图1提供根据至少一些实施方案的分布式文件存储服务的高级概要图。图2示出根据至少一些实施方案的使用在提供商网络的多个可用性容器处的资源来实现文件存储服务。图3示出根据至少一些实施方案的与隔离虚拟网络相关联的网络地址被分配给存储服务的访问子系统节点的配置。图4示出根据至少一些实施方案的文件存储服务对象、逻辑块以及一个或多个盘区处的物理页面之间的映射。图5示出根据至少一些实施方案的数据盘区和元数据盘区的复本组的配置。图6示出根据至少一些实施方案的与在文件存储服务的访问子系统节点处的高速缓存元数据相关联的交互的实例。图7示出根据至少一些实施方案的与针对文件存储区的数据耐久性、性能和逻辑到物理数据映射有关的策略的不同组合的使用的实例。图8a是示出根据至少一些实施方案的可被执行来实现可缩放分布式文件系统存储服务的配置和管理相关操作的方面的流程图。图8b是示出根据至少一些实施方案的可响应于可缩放分布式文件系统存储服务处的客户端请求而执行的操作的方面的流程图。图9是示出根据至少一些实施方案的可被执行来实现分布式文件系统存储服务处的基于复制的耐久性策略的操作的方面的流程图。图10是示出根据至少一些实施方案的可被执行来在分布式文件系统存储服务的访问子系统节点处高速缓存元数据的操作的方面的流程图。图11示出根据至少一些实施方案的可在文件存储服务处实现的读取-修改-写入序列的实例,其中写入偏移和写入大小可能有时候不与原子单位物理存储装置的边界对齐。图12示出根据至少一些实施方案的用于盘区复本组的基于共识的复制状态机的使用。图13示出根据至少一些实施方案的可用于一些类型的写入操作的有条件写入协议中涉及的示例性交互。图14示出根据至少一些实施方案的可被建立来实现有条件写入协议的示例性写入日志缓冲器。图15是示出根据至少一些实施方案的可被执行来在分布式文件系统存储服务处实现有条件写入协议的操作的方面的流程图。图16示出根据至少一些实施方案的可导致文件存储服务处的分布式事务的提交的示例性消息流。图17示出根据至少一些实施方案的可导致文件存储服务处的分布式事务的中止的示例性消息流。图18示出根据至少一些实施方案的包括被指定为事务协调器的节点的分布式事务参与者节点链的实例。图19示出根据至少一些实施方案的可被执行来在节点链的节点中的一个处发生故障时促进分布式事务完成的示例性操作。图20是示出根据至少一些实施方案的可被执行来协调文件系统存储服务处的分布式事务的操作的方面的流程图。图21是示出根据至少一些实施方案的可响应于在存储服务的节点处接收事务准备消息而执行的操作的方面的流程图。图22是示出根据至少一些实施方案的可响应于在存储服务的节点处接收事务提交消息而执行的操作的方面的流程图。图23是示出根据至少一些实施方案的可响应于在存储服务的节点处接收事务中止消息而执行的操作的方面的流程图。图24示出根据至少一些实施方案的分布式存储服务处的过量预订的存储盘区的实例。图25示出根据至少一些实施方案的实现按需式物理页面级分配以及盘区过量预订的存储服务的子系统之间的交互。根据至少一些实施方案,图26a示出自由空间阈值已被指定用于的盘区,而图26b示出由自由空间阈值的违反引起的盘区扩展。图27是示出根据至少一些实施方案的可被执行来实现支持过量预订的盘区处的按需式物理页面分配的操作的方面的流程图。图28是示出根据至少一些实施方案的可被执行来动态修改盘区过量预订参数的操作的方面的流程图。图29示出根据至少一些实施方案的使用可变条带大小条带化的文件存储对象的实例。图30示出根据至少一些实施方案的可用于文件存储对象的条带定大小序列的实例。图31示出根据至少一些实施方案的可在元数据子系统处加以考虑以便为文件存储对象做出条带定大小和/或合并决定的因素的实例。图32是示出根据至少一些实施方案的可被执行来使用可变条带大小实现条带化的操作的方面的流程图。图33示出根据至少一些实施方案的由指向存储服务对象的逻辑块的多个并行读取请求在调度环境中进行的进程的示例性时间线,其中针对逻辑块的所有读取请求被授予相对于彼此平等的优先级。图34示出根据至少一些实施方案的由指向存储服务对象的逻辑块的多个并行读取请求在调度环境中进行的进程的示例性时间线,其中使用基于偏移的拥塞控制策略。根据至少一些实施方案,图35a示出可用于在存储服务处调度I/O请求的基于令牌的拥塞控制机制的实例,而图35b示出可采用的基于偏移的令牌消耗策略的实例。图36示出根据至少一些实施方案的用于存储服务处的拥塞控制的基于偏移的延迟的使用的实例。图37示出根据至少一些实施方案的可取决于被访问的存储对象的类型和所请求访问的各种特性的拥塞控制策略的实例。图38是示出根据至少一些实施方案的可被执行来实现基于偏移的拥塞控制以在存储服务处调度I/O操作的操作的方面的流程图。图39示出根据至少一些实施方案的可必须在存储服务的多个元数据子系统节点处执行以实现重命名操作的元数据改变的实例。图40示出根据至少一些实施方案的用于并行重命名操作的死锁避免机制的使用。图41是示出根据至少一些实施方案的可被执行来在两个可能锁排序中基于第一锁排序实现第一重命名工作流的操作的方面的流程图,所述锁排序可在存储服务处针对重命名操作确定。图42是示出根据至少一些实施方案的可被执行来在两个可能锁排序中基于第二锁排序实现第二重命名工作流的操作的方面的流程图,所述锁排序可在存储服务处针对重命名操作确定。图43是示出根据至少一些实施方案的可响应于参与重命名工作流的一对元数据子系统节点的一个元数据子系统节点的故障而执行的恢复操作的方面的流程图。图44是示出根据至少一些实施方案的可响应于参与重命名工作流的所述对元数据子系统节点的另一个元数据子系统节点的故障而执行的恢复操作的方面的流程图。图45示出根据至少一些实施方案的可用于文件存储命名空间管理的基于散列的有向无环图(DAG)的实例。图46示出根据至少一些实施方案的使用针对本文档来自技高网...
<a href="http://www.xjishu.com/zhuanli/55/201580023996.html" title="可缩放文件存储服务原文来自X技术">可缩放文件存储服务</a>

【技术保护点】
一种分布式存储服务,其包括:多个计算装置,其使用包括具有独立故障配置文件的多个可用性容器的提供商网络的资源实现:服务访问子系统,其被配置来从在所述提供商网络处实现的虚拟计算服务的多个计算实例接收根据一个或多个行业标准文件系统接口格式化的客户端请求;元数据子系统,其被配置来在文件存储操作的至少子集上实现顺序一致性语义;以及存储子系统,其被配置来至少存储一个或多个文件存储区的至少各自数据部分,其中所述一个或多个文件存储区中的特定文件存储区的特定数据部分被组织为包括多个盘区复本的复本组,所述多个盘区复本包括位于所述提供商网络的第一可用性容器处的第一盘区复本以及位于所述提供商网络的第二可用性容器处的第二盘区复本;其中响应于在所述服务访问子系统处接收的特定客户端请求,所述多个计算装置被配置来:执行包括一组文件系统元数据修改的原子元数据操作,包括所述元数据子系统的第一节点处的第一元数据修改以及所述元数据子系统的第二节点处的第二元数据修改;以及在对所述特定客户端请求的响应传输之前将至少一个修改应用在所述存储子系统处的多个盘区复本。

【技术特征摘要】
【国外来华专利技术】2014.03.31 US 14/231,0881.一种分布式存储服务,其包括:多个计算装置,其使用包括具有独立故障配置文件的多个可用性容器的提供商网络的资源实现:服务访问子系统,其被配置来从在所述提供商网络处实现的虚拟计算服务的多个计算实例接收根据一个或多个行业标准文件系统接口格式化的客户端请求;元数据子系统,其被配置来在文件存储操作的至少子集上实现顺序一致性语义;以及存储子系统,其被配置来至少存储一个或多个文件存储区的至少各自数据部分,其中所述一个或多个文件存储区中的特定文件存储区的特定数据部分被组织为包括多个盘区复本的复本组,所述多个盘区复本包括位于所述提供商网络的第一可用性容器处的第一盘区复本以及位于所述提供商网络的第二可用性容器处的第二盘区复本;其中响应于在所述服务访问子系统处接收的特定客户端请求,所述多个计算装置被配置来:执行包括一组文件系统元数据修改的原子元数据操作,包括所述元数据子系统的第一节点处的第一元数据修改以及所述元数据子系统的第二节点处的第二元数据修改;以及在对所述特定客户端请求的响应传输之前将至少一个修改应用在所述存储子系统处的多个盘区复本。2.如权利要求1所述的系统,其中所述多个计算装置被配置来:利用复制状态机来生成对特定读取请求的响应,针对所述特定读取请求,在多个存储装置处执行各自物理读取操作。3.如权利要求1所述的系统,其中所述服务访问子系统、所述元数据子系统以及所述存储子系统各自使用所述提供商网络的各自组的资源来实现,其中所述多个计算装置还被配置来:检测以下中的一个或多个:(a)包括所述服务访问子系统、所述元数据子系统以及所述存储子系统的一组子系统中的特定子系统处的潜在性能瓶颈,或(b)需要另外资源部署在所述特定子系统处的节点健康状态改变;以及发起将所述提供商网络的另外资源部署到所述特定子系统,而不修改用于所述组的剩余子系统的资源数量。4.如权利要求1所述的系统,其中所述多个计算装置还被配置来:利用基于共识的协议来复制对所述特定文件存储区的状态的改变的日志记录;以及将所述特定文件存储区的所述状态的表示存储作为多个擦除编码的复本。5.如权利要求1所述的系统,其中所述多个计算装置还被配置来:在所述存储子系统的特定节点处,存储属于包括含有所述特定文件存储区的一个或多个文件存储区的数据内容的至少子集的第二复本组的特定盘区复本;以及在所述存储子系统的所述特定节点处,存储包括含有所述特定文件存储区的一个或多个文件存储区的元数据的至少子集的不同复本组的特定盘区复本。6.如权利要求1所述的系统,其中所述多个计算装置还被配置来:将所述特定文件存储区的元数据和数据分布在包括至少一个固态盘(SSD装置)和一个转盘装置的多个物理存储装置之间。7.一种方法,其包括:由一个或多个计算装置执行以下各项:在多租户存储服务的访问子系统处接收根据行业标准文件系统接口格式化的特定客户端请求;在所述访问子系统处确定所述客户端请求满足认证和授权要求;响应于所述特定客户端请求,发起包括一组文件系统元数据修改的原子元数据操作,包括所述存储服务的元数据子系统的第一节点处的第一元数据修改以及所述元数据子系统的第二节点处的第二元数据修改;响应于所述特定客户端请求,验证在所述存储服务的存储子系统处已保存至少一个数据修改的多个复本;以及存储所述特定客户端请求的完成的记录,其中将相对于所述特定客户端请求异步地使用所述记录以便根据基于使用的定价策略为所述存储服务的客户生成付款金额。8.如权利要求7所述的方法,其中所述访问子系统、所述元数据子系统以及所述存储子系统各自使用提供商网络的各自组的资源来实现,其还包括由所述多个计算装置中的一个或多个计算装置执行以下项:响应于触发条件的检测,发起将所述提供商网络的另外资源部署到包括所述访问子系统、所述元数据子系统以及所述存储子系统的一组子系统中的特定子系统,而不修改用于所述组的剩余子系统的资源数量。9.如权利要求7所述的方法,其还包括由所述多个计算装置执行以下项:利用基于共识的协议来复制对所述特定文件存储区的状态的改变的日志记录;以及将所述特定文件存储区的所述状态的表示存储作为多个擦除编码的复本。10.如权利要求7所述的方法,其还包括由所述多个计算装置执行以下项:在所述存储子系统的特定节点处,存储属于存储一个或多个文件存储区的数据内容的复本组的特定复本;以及在所述存储子系统的所述特定节点处,存储储存与一个或多个文件存储区相关联的元数据的不同复本组的特定复本。11.如权利要求7所述的方法,其还包括由所述多个计算装置执行以下项:响应于指向特定文件存储对象的一个或多个写入请求,为所述写入请求中指示的写入内容分配第一组存储块,并且为与所述文件存储对象相关联的元数据分配第二组存储块,其中所述第一组的块的大小根据数据块定大小策...

【专利技术属性】
技术研发人员:P·文森特W·W·杜索M·J·奥卡瑞伦M·弗里戈J·C·索伦森三世
申请(专利权)人:亚马逊科技公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1