使用可变条带大小的文件存储装置制造方法及图纸

在分布式文件存储服务处接收指向存储对象的写入请求。基于可变条带大小选择策略，确定将分配用于所述存储对象的存储空间的特定条带的大小，所述大小不同于先前为同一存储对象分配的另一条带的大小。请求在特定存储装置处为所述特定条带分配存储装置，并且如果所述分配成功，那么根据所述写入请求修改所述存储装置的内容。

File storage device using variable stripe size

Receiving a write request to a stored object at a distributed file storage service. Based on the variable strip size selection strategy, will determine the specific band size distribution storage space for the storage object, another with the size of the size is different from the previous to the same storage allocation of objects. A storage device is requested to allocate a specific band at a particular storage device, and if the distribution is successful, the contents of the storage device are modified according to the write request.

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
许多公司和其他组织运营计算机网络，所述计算机网络使众多计算系统互连以支持它们的操作，诸如其中计算系统位于同一位置(例如，作为本地网络的一部分)或者相反地位于多个不同的地理位置中(例如，通过一个或多个私有或公共中间网络加以连接)。例如，容纳显著数量互连计算系统的数据中心已变得司空见惯，诸如由单一组织运营和代表所述组织运营的私有数据中心，以及由作为企业的实体运营来向客户提供计算资源的公共数据中心。一些公共数据中心运营商为由各种客户所拥有的硬件提供网络访问、电力以及安全安装设施，而其他公共数据中心运营商提供“全方位服务”设施，所述设施也包括可供其客户使用的硬件资源。一些大型提供商网络实现多种存储服务，诸如实现可被建模为可通过各自URL访问的任意位桶的块级装置(卷)或对象的服务。然而，在提供商网络的数据中心处运行的多个应用可仍然面临关于其使用一些更常见的存储相关的编程接口的限制，诸如各种行业标准文件系统接口。一些行业标准文件系统可能在网络可访问服务的大规模部署之前已经被设计，并且可以因此支持一致性模型和不直截了当地在分布式系统中实现的其他语义，其中异步计算的交互、单独部件的故障和网络分区或网络相关的延迟都是相对常见的。附图说明图1提供根据至少一些实施方案的分布式文件存储服务的高级概要图。图2示出根据至少一些实施方案的使用在提供商网络的多个可用性容器处的资源来实现文件存储服务。图3示出根据至少一些实施方案的与隔离虚拟网络相关联的网络地址被分配给存储服务的访问子系统节点的配置。图4示出根据至少一些实施方案的文件存储服务对象、逻辑块以及一个或多个盘区处的物理页面之间的映射。图5示出根据至少一些实施方案的数据盘区和元数据盘区的复本组的配置。图6示出根据至少一些实施方案的与在文件存储服务的访问子系统节点处的高速缓存元数据相关联的交互的实例。图7示出根据至少一些实施方案的与针对文件存储区的数据耐久性、性能和逻辑到物理数据映射有关的策略的不同组合的使用的实例。图8a是示出根据至少一些实施方案的可被执行来实现可缩放分布式文件系统存储服务的配置和管理相关操作的方面的流程图。图8b是示出根据至少一些实施方案的可响应于可缩放分布式文件系统存储服务处的客户端请求而执行的操作的方面的流程图。图9是示出根据至少一些实施方案的可被执行来实现分布式文件系统存储服务处的基于复制的耐久性策略的操作的方面的流程图。图10是示出根据至少一些实施方案的可被执行来在分布式文件系统存储服务的访问子系统节点处高速缓存元数据的操作的方面的流程图。图11示出根据至少一些实施方案的可在文件存储服务处实现的读取-修改-写入序列的实例，其中写入偏移和写入大小可能有时候不与原子单位物理存储装置的边界对齐。图12示出根据至少一些实施方案的用于盘区复本组的基于共识的复制状态机的使用。图13示出根据至少一些实施方案的可用于一些类型的写入操作的有条件写入协议中涉及的示例性交互。图14示出根据至少一些实施方案的可被建立来实现有条件写入协议的示例性写入日志缓冲器。图15是示出根据至少一些实施方案的可被执行来在分布式文件系统存储服务处实现有条件写入协议的操作的方面的流程图。图16示出根据至少一些实施方案的可导致文件存储服务处的分布式事务的提交的示例性消息流。图17示出根据至少一些实施方案的可导致文件存储服务处的分布式事务的中止的示例性消息流。图18示出根据至少一些实施方案的包括被指定为事务协调器的节点的分布式事务参与者节点链的实例。图19示出根据至少一些实施方案的可被执行来在节点链的节点中的一个处发生故障时促进分布式事务完成的示例性操作。图20是示出根据至少一些实施方案的可被执行来协调文件系统存储服务处的分布式事务的操作的方面的流程图。图21是示出根据至少一些实施方案的可响应于在存储服务的节点处接收事务准备消息而执行的操作的方面的流程图。图22是示出根据至少一些实施方案的可响应于在存储服务的节点处接收事务提交消息而执行的操作的方面的流程图。图23是示出根据至少一些实施方案的可响应于在存储服务的节点处接收事务中止消息而执行的操作的方面的流程图。图24示出根据至少一些实施方案的分布式存储服务处的过量预订的存储盘区的实例。图25示出根据至少一些实施方案的实现按需式物理页面级分配以及盘区过量预订的存储服务的子系统之间的交互。根据至少一些实施方案，图26a示出自由空间阈值已被指定用于的盘区，而图26b示出由自由空间阈值的违反引起的盘区扩展。图27是示出根据至少一些实施方案的可被执行来实现支持过量预订的盘区处的按需式物理页面分配的操作的方面的流程图。图28是示出根据至少一些实施方案的可被执行来动态修改盘区过量预订参数的操作的方面的流程图。图29示出根据至少一些实施方案的使用可变条带大小条带化的文件存储对象的实例。图30示出根据至少一些实施方案的可用于文件存储对象的条带定大小序列的实例。图31示出根据至少一些实施方案的可在元数据子系统处加以考虑以便为文件存储对象做出条带定大小和/或合并决定的因素的实例。图32是示出根据至少一些实施方案的可被执行来使用可变条带大小实现条带化的操作的方面的流程图。图33示出根据至少一些实施方案的由指向存储服务对象的逻辑块的多个并行读取请求在调度环境中进行的进程的示例性时间线，其中针对逻辑块的所有读取请求被授予相对于彼此平等的优先级。图34示出根据至少一些实施方案的由指向存储服务对象的逻辑块的多个并行读取请求在调度环境中进行的进程的示例性时间线，其中使用基于偏移的拥塞控制策略。根据至少一些实施方案，图35a示出可用于在存储服务处调度I/O请求的基于令牌的拥塞控制机制的实例，而图35b示出可采用的基于偏移的令牌消耗策略的实例。图36示出根据至少一些实施方案的用于存储服务处的拥塞控制的基于偏移的延迟的使用的实例。图37示出根据至少一些实施方案的可取决于被访问的存储对象的类型和所请求访问的各种特性的拥塞控制策略的实例。图38是示出根据至少一些实施方案的可被执行来实现基于偏移的拥塞控制以在存储服务处调度I/O操作的操作的方面的流程图。图39示出根据至少一些实施方案的可必须在存储服务的多个元数据子系统节点处执行以实现重命名操作的元数据改变的实例。图40示出根据至少一些实施方案的用于并行重命名操作的死锁避免机制的使用。图41是示出根据至少一些实施方案的可被执行来在两个可能锁排序中基于第一锁排序实现第一重命名工作流的操作的方面的流程图，所述锁排序可在存储服务处针对重命名操作确定。图42是示出根据至少一些实施方案的可被执行来在两个可能锁排序中基于第二锁排序实现第二重命名工作流的操作的方面的流程图，所述锁排序可在存储服务处针对重命名操作确定。图43是示出根据至少一些实施方案的可响应于参与重命名工作流的一对元数据子系统节点的一个元数据子系统节点的故障而执行的恢复操作的方面的流程图。图44是示出根据至少一些实施方案的可响应于参与重命名工作流的所述对元数据子系统节点的另一个元数据子系统节点的故障而执行的恢复操作的方面的流程图。图45示出根据至少一些实施方案的可用于文件存储命名空间管理的基于散列的有向无环图(DAG)的实例。图46示出根据至少一些实施方案的使用针对本文档来自技高网...

【技术保护点】
一种系统，其包括：一个或多个计算装置，其被配置来：在配置来跨多个存储装置分布文件内容的多租户存储服务处接收指向文件的写入请求，其中所述写入请求指示(a)所述文件内的写入偏移和(b)写入数据有效负载；至少部分地基于所述写入偏移和所述写入数据有效负载确定将分配存储空间以对所述写入请求做出响应；至少部分地基于所述文件内的所述写入偏移选择将分配用于所述文件的存储空间的特定条带的大小；至少部分地基于所述特定条带的所述大小识别所述多租户存储服务的将存储所述特定条带的至少一个复本的存储子系统节点，其中所述文件的另一条带的至少一个复本存储在不同存储子系统节点处，并且其中所述特定条带的所述大小不同于所述另一条带的大小；在所述特定存储子系统节点处为所述特定条带分配存储装置；以及根据所述写入请求修改所述特定条带的内容。

【技术特征摘要】
【国外来华专利技术】2014.03.31 US 14/231,1161.一种系统，其包括：一个或多个计算装置，其被配置来：在配置来跨多个存储装置分布文件内容的多租户存储服务处接收指向文件的写入请求，其中所述写入请求指示(a)所述文件内的写入偏移和(b)写入数据有效负载；至少部分地基于所述写入偏移和所述写入数据有效负载确定将分配存储空间以对所述写入请求做出响应；至少部分地基于所述文件内的所述写入偏移选择将分配用于所述文件的存储空间的特定条带的大小；至少部分地基于所述特定条带的所述大小识别所述多租户存储服务的将存储所述特定条带的至少一个复本的存储子系统节点，其中所述文件的另一条带的至少一个复本存储在不同存储子系统节点处，并且其中所述特定条带的所述大小不同于所述另一条带的大小；在所述特定存储子系统节点处为所述特定条带分配存储装置；以及根据所述写入请求修改所述特定条带的内容。2.如权利要求1所述的系统，其中所述另一条带在所述文件内的比所述写入请求中指示的所述写入偏移小的偏移处开始，并且其中所述另一条带的所述大小小于所述特定条带的所述大小。3.如权利要求1所述的系统，其中至少部分地基于对从所述文件属于的文件系统收集的度量的分析选择所述特定条带的所述大小。4.一种方法，其包括：由一个或多个计算装置执行以下各项：在分布式存储服务处接收指向文件的写入请求；至少部分地基于可变条带大小选择策略确定将分配用于所述文件以容纳所述写入请求的存储空间的特定条带的大小；在特定存储装置处为所述特定条带分配存储装置，其中在不同存储装置处分配用于所述文件的另一条带的存储装置，并且其中所述另一条带具有与所述特定条带不同的大小；以及根据所述写入请求修改所述特定存储装置的内容。5.如权利要求4所述的方法，其中根据所述可变条带大小选择策略，至少部分地基于所述写入请求中指示的写入偏移确定所述特定条带的所述大小。6.如权利要求5所述的方法，其中所述另一条带在所述文件内的比所述写入请求中指示的所述写入偏移小的偏移处开始，并且其中所述另一条带的所述大小小于所述特定条带的所述大小。7.如权利要求4所述的方法，其...

【专利技术属性】
技术研发人员：M·J·奥卡瑞伦，M·弗里戈，P·文森特，
申请(专利权)人：亚马逊科技公司，
类型：发明
国别省市：美国;US