为良好分格的对象提供高扩展性网络存储的方法和设备技术

一种设备包括多个存储节点，所述存储节点包括多个相应存储磁盘，并用于在定位信息的基础上，并且对分布数据不做任何索引，从而以能够实现类似独立磁盘冗余阵列-0（RAID0）性能的分布的方式，将数据存储在多个存储磁盘当中。一种网络部件包括用于为不同用户数据维护多个物理文件的存储磁盘，所述不同用户数据映射到不同卷上，其中这些不同卷在类似RAID0的数据分布方案基础上，不做任何索引地被分布在存储磁盘以及辅助存储磁盘当中。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及通信技术，确切地说，涉及为良好分格的对象提供高扩展性网络存储的一种方法和一种设备。专利技术背景云存储是网络在线存储的一种模式，数据存储在多个虚拟服务器中，这些数据通常由第三方托管，而不是由专用服务器托管。需要数据托管服务的客户，可以从操作大型数据中心的云存储服务托管提供商那里购买或租借存储容量。数据中心的操作员，根据客户的需求在后台提供资源，这被称为虚拟资源，并且操作员们公开这些资源作为存储池，这样客户就可用以存储文件或数据对象。这样的资源可能分布在多个服务器之间。通常，云存储服务可以通过网络服务的应用编程接口(API)或者基于网络的用户界面来访问。在某些云存储系统内，服务提供商向客户或用户，提供基于区块的存储服务。由于服务提供商通常拥有存储服务的基础设施，这更有利于服务提供商，为了向客户提供存储服务，而去追求更加高效和高扩展性的设计与实施方案。因此，对服务提供商来说，一个重要的设计与实施方案目的就是，最大化吞吐量与可扩展性，例如在系统相对较大的情况下。
技术实现思路
在一项实施例中，本专利技术包括一种设备，所述设备包括多个存储节点，所述存储节点包括多个相应存储磁盘，用于在定位信息的基础上，并且对分布数据不做任何索引，以能够实现类似独立磁盘冗余阵列-O (RAIDO)性能的分布的方式，将数据存储在多个存储磁盘当中。在另一项实施例中，本专利技术包括一种网络部件，所述网络部件包括用于为不同用户数据维护多个物理文件的存储磁盘，所述不同用户数据映射到不同卷上，其中这些不同卷在类似RAIDO的数据分布方案基础上，不做任何索引地被分布在存储磁盘以及辅助存储磁盘当中。在第三方面，本专利技术包括一种方法，所述方法包括接收向存储系统中写数据的请求，其中所述请求包括定位信息；将所述定位信息映射到数据卷、数据区块和数据扇区的组合中；散列所述数据卷、数据区块和数据扇区的组合，基于所述散列将数据的第一条带安置在所述存储系统中的一个位置上；以及在所述存储系统的一个或一个以上随后的位置上分布数据的一个或一个以上第二条带，所述随后的位置与所述位置分隔一个偏移量。结合附图和所附权利要求书，通过以下详细描述能更清楚地了解本专利技术的这些和其他特征。附图简述为了更完整地了解本专利技术，现参考以下结合附图和具体实施方式进行的简要描述，其中相同参考标号表不相同部分。图I是存储系统拓扑的一项实施例的不意图。图2是数据分布方案的一项实施例的示意图。图3是文件布局的一项实施例的示意图。图4是数据分布方法的一项实施例的流程图。图5是通用计算机系统的一项实施例的示意图。具体实施方式首先应理解，尽管下文提供一项或多项实施例的说明性实施方案，但所揭示的系统和/或方法可使用许多种技术来实施，无论该技术是当前已知还是现有的。本专利技术决不应限于下文所说明的说明性实施方案、附图和技术，包括本文本所说明并描述的示例性设计和实施方案，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。本文本揭示一种系统和方法，其提供了与其他云存储系统相比，具有更高效率与扩展性的基于区块的存储系统。所述基于区块的存储系统的设计与实施方案，可能适合用于处理在多个存储单元上维护的文件系统，并因此可比其他基于本地硬盘驱动器(HDD)的系统，提供更高的效率与扩展性。所述基于区块的存储系统，可通过在增加用户需求的同时，不需要在不同的服务或存储节点中重新分配大量数据卷，从而高效地扩展存储服务，例如在某个网络当中。管理所述基于区块的存储系统的运营要求相对较少，因此与其他存储系统相比，其运营成本(OPEX)也较少。所述系统的可扩展性，可通过使用基于自我管理分布式散列表(DHT)的方法，得到提高，其可能利用存储系统物理基础设施的拓扑或层级以及目标存储布局的特性。所述系统吞吐量的效率也可以通过使用数据分布机制得以提高，其可以按照一种相对较高的分布与扩展形式来实现类似RAIDO的性能。此外，所述文件布局可用于提闻HDD或存储单兀的读与效率。图I所示是存储系统拓扑100的一个实施例，其可用于向多个客户或用户提供存储服务。所述存储系统拓扑100可对应“大量磁盘”(SoD)拓扑，所述拓扑由华为核心网络业务部门(BU)提出且适用于为云计算目的提供数据存储。所述存储系统拓扑100可包括多个盒110，每个所述盒可包括多个磁盘120。所述磁盘120可包括多个ATOM、ARM及/或其他基于处理器类型的计算机。如下文所述，每个计算机也可包括其他部件，例如，中央处理单元(CPU)、随机存取存储器(RAM)、闪存/固态驱动器(SSD)、HDD、一吉比特每秒(IG)以太网卡或其组合。如图I所示，每个盒110可包括多个磁盘120。例如，盒110可对应于包括一叠磁盘120的架柜。所述磁盘120和所述盒110对应于存储系统拓扑100的两个分级级别，所述存储系统拓扑100可包括提供分级存储节点集群结构的其他级别(未图示)。例如，多个盒110可能是一个单元的一部分，例如，多个架柜的单元，并且多个单元可能是容器的一部分。多个容器也可能是数据中心的一部分。例如，在一个网络中，存储系统拓扑100的不同存储级别可对应多个存储节点或可由多个存储节点访问及维护。例如，每个盒110可对应一个存储节点。或者，多个盒110，或少于盒110中所有的磁盘120，可对应单个存储节点。存储系统拓扑100提供的存储服务可包括虚拟区块服务(VBS)，所述虚拟区块服务是基于区块的存储服务。就良好分格的对象结构来说，例如，在存储系统拓扑100中，VBS 可支持API或API功能，类似于放置(start_position_key〈address_bits>, data<bytes>),以及获取(start_position_key〈address_bits>, number_of_items〈int>)。由于所述良好分格的对象结构，上文所述获取方法可被支持，例如，在所述结构中，数据对象可在多个存储节点当中按比例散布。在所述放置方法中，数据大小可用于限定或指示数据对象。当用户或客户请求读及/或写一些文件时，存储系统拓扑100支持的文件系统可使用以太网先进技术附件(ATA) (AoE)向VBS重发这个请求，例如，通过以太网访问存储系统装置。在VBS中，使用AoE协议访问存储系统装置是可选择的，并且可使用其他协议或方案代替。在VBS系统中，存储系统装置可使用定位信息访问，例如〈Volume, Block, Sector) (〈卷，区块，扇区 >)。区块数据及扇区数据大小可以是固定的，卷大小可根据用户的要求扩大。在用户一侧，本地文件系统可管理用户可见定位文件信息，例如〈file path, offset〉，向适当的〈Volume, Block, Sector〉寻址信息的映射,从而在VBS系统中安置文件数据。特别的是，用户本地文件系统可用于管理将映射文件至数据卷中的多个位置上的操作，此数据卷例如是在存储目标节点或磁盘中，所述数据卷可在有已知及固定大小的区块中划分成一栅格区块和扇区。为了处理存储系统的扩展性问题，自我管理DHT方案可用来利用或很好地使用系统的物理基础设施拓扑，例如，存储系统拓扑100，以及可能与目标存储布局相关的其他特殊的特性。例本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：施广宇，马苏德·莫塔扎维，陈坚，维纳·哥帕拉饶·柯萨，
申请(专利权)人：华为技术有限公司，
类型：
国别省市：