组织分布式存储系统中的数据技术方案

提供了一种分布式存储系统。该分布式存储系统包括多个前端服务器和用于管理用于客户端的数据的分区。分布式存储系统内的数据与多个账户关联并且被分成多个组，每一组包括多个分块，每一分块与相应的账户相关联，并且每一组具有多个简册，以及每一简册由分布式存储系统的相应的简册服务器管理。可以使用不同的数据复制策略，在分布式存储系统内复制与不同的账户相关联的数据。通过将新分块增加到分布式存储系统，对用于账户的数据量没有限制。响应于对特定账户的数据的客户请求，前端服务器将这些请求传送到具有客户请求的数据的特定分区，并且将客户请求的数据返回给请求客户端。

【技术实现步骤摘要】
【国外来华专利技术】组织分布式存储系统中的数据
所公开的实现方式通常涉及管理分布式存储系统，更具体地涉及用于组织分布式存储系统中的大量数据的系统和方法。
技术介绍
互联网已经变为全球的人存储和交换信息的受欢迎的地点。随着互联网管理的数据量快速增长，不管是个人还是集体，以及与数据相关联的服务变得更复杂，对基于互联网的服务供应商来说，管理这些大量的数据以及响应于来自世界上的任何地方的用户的不同数据访问请求而高效地提供相关联的服务正变成不断的挑战。
技术实现思路
根据下述一些实施例，提供一种用于将数据添加到分布式存储系统的方法，该分布式存储系统包括多个计算机服务器，每一计算机服务器包括一个或多个处理器和存储器。分布式存储系统内的数据与多个账户相关联并且被分成多个组，每一组包括多个分块并且每一分块与相应的账户相关联。该方法包括：识别与账户相关联的第一分块，其中第一分块是第一分块组的成员，并且第一分块具有指示能将更多数据添加到第一分块的数据范围参数和指示第一分块中的实际数据量的分块大小；响应于确定第一分块的分块大小已经达到预定限值：更新第一分块中的数据范围参数使得不能再将数据添加到第一分块；创建用于该账户的第二分块，其中，第二分块包括指示能将更多数据添加到第二分块的数据范围参数；将第二分块添加到第二分块组；以及根据与该账户相关联的数据复制策略，在分布式存储系统内复制第二分块组。根据下述的一些实施例，一种分布式存储系统包括多个分区，每一分区包括多个计算机服务器，以及每一计算机服务器包括一个或多个处理器和存储器；连接两个相应的分区的多个网络链路，其中分布式存储系统内的数据与多个账户相关联并且被分成多个组，每一组包括多个分块并且每一分块与相应的账户相关联；以及多个程序模块，其中多个程序模块被存储在相应的计算机服务器的存储器中并且将由相应的计算机服务器的一个或多个处理器执行。多个程序模块包括用于下述步骤的指令：识别与账户相关联的第一分块，其中第一分块是第一分块组的成员，并且第一分块具有指示能将更多数据添加到第一分块的数据范围参数和指示第一分块中的实际数据量的分块大小；响应于确定第一分块的分块大小已经达到预定限值：更新第一分块中的数据范围参数使得不能再将数据添加到第一分块；创建用于该账户的第二分块，其中第二分块包括指示能将更多数据添加到第二分块的数据范围参数；将第二分块添加到第二分块组；以及根据与该账户相关联的数据复制策略，在分布式存储系统内复制第二分块组。根据下述的一些实施例，一种非瞬时计算机可读存储介质存储被配置成由计算机服务器执行的一个或多个程序模块，计算机服务器包括一个或多个处理器和存储器并且是分布式存储系统的一部分，其中，分布式存储系统被配置成将与多个账户相关联的数据分成多个组，每一组包括多个分块并且每一分块与相应的账户相关联。一个或多个程序包括用于下述步骤的指令；识别与账户相关联的第一分块，其中，第一分块是第一分块组的成员，并且第一分块具有指示能将更多数据添加到第一分块的数据范围参数和指示第一分块中的实际数据量的分块大小；响应于确定第一分块的分块大小已经达到预定限值：更新第一分块中的数据范围参数使得不能再将数据添加到第一分块；创建用于该账户的第二分块，其中，第二分块包括指示能将更多数据添加到第二分块的数据范围参数；将第二分块添加到第二分块组；以及根据与该账户相关联的数据复制策略，在分布式存储系统内复制第二分块组。根据下述的一些实施例，提供一种用于在分布式存储系统内复制数据的方法，该分布式存储系统包括多个计算机服务器，每一计算机服务器包括一个或多个处理器和存储器。分布式存储系统内的数据与多个账户相关联并且被分成多个组，每一组包括多个分块并且每一分块与相应的账户相关联。该方法包括：将与第一账户相关联的数据和与第二账户相关联的数据分别分成第一分块集和第二分块集，其中，第一账户和第二账户具有不同的数据复制策略；将第一分块集和第二分块集中的每一个添加到相应的分块组，其中，不存在包括第一分块集的成员和第二分块集的成员的组；对包括第一分块集的成员的每一分块组，创建预定数量的副本并且根据与第一账户相关联的数据复制策略，在分布式存储系统内分配副本；以及对包括第二分块集的成员的每一分块组，创建预定数量的副本并且根据与第二账户相关联的第二数据复制策略，在分布式存储系统内分配副本。根据下述的一些实施例，一种分布式存储系统包括多个分区，每一分区包括多个计算机服务器，以及每一计算机服务器包括一个或多个处理器和存储器；连接两个相应的分区的多个网络链路，其中，分布式存储系统内的数据与多个账户相关联并且被分成多个组，每一组包括多个分块并且每一分块与相应的账户相关联；以及多个程序模块，其中，多个程序模块被存储在相应的计算机服务器的存储器中并且将由相应的计算机服务器的一个或多个处理器执行。多个程序模块包括用于下述步骤的指令：将与第一账户相关联的数据和与第二账户相关联的数据分别分成第一分块集和第二分块集，其中，第一账户和第二账户具有不同的数据复制策略；将第一分块集和第二分块集中的每一个添加到相应的分块组，其中，不存在包括第一分块集的成员和第二分块集的成员的组；对包括第一分块集的成员的每一分块组，创建预定数量的副本并且根据与第一账户相关联的数据复制策略，在分布式存储系统内分配副本；以及对包括第二分块集的成员的每一分块组，创建预定数量的副本并且根据与第二账户相关联的数据复制策略，在分布式存储系统内分配副本。根据下述的一些实施例，一种非瞬时计算机可读存储介质存储被配置成由计算机服务器执行的一个或多个程序模块，计算机服务器包括一个或多个处理器和存储器并且是分布式存储系统的一部分，其中，分布式存储系统被配置成将与多个账户相关联的数据分成多个组，每一组包括多个分块并且每一分块与相应的账户相关联。一个或多个程序包括用于下述步骤的指令；将与第一账户相关联的数据和与第二账户相关联的数据分别分成第一分块集和第二分块集，其中，第一账户和第二账户具有不同的数据复制策略；将第一分块集和第二分块集中的每一个添加到相应的分块组，其中，不存在包括第一分块集的成员和第二分块集的成员的组；对包括第一分块集的成员的每一分块组，创建预定数量的副本并且根据与第一账户相关联的数据复制策略，在分布式存储系统内分配副本；以及对包括第二分块集的成员的每一分块组，创建预定数量的副本并且根据与第二账户相关联的数据复制策略，在分布式存储系统内分配副本。根据下述的一些实施例，提供一种用于定位分布式存储系统内的数据的方法，该分布式存储系统包括多个计算机服务器，每一计算机服务器包括一个或多个处理器和存储器。分布式存储系统内的数据与多个账户相关联并且被分成多个组，每一组包括多个分块，每一分块与相应的账户相关联，以及每一组具有多个简册(tablet)并且每一简册由分布式存储系统的相应的简册服务器管理。该方法包括：从客户端接收数据访问请求，其中，数据访问请求包括与账户相关联的数据的逻辑标识符；根据数据访问请求，识别与逻辑标识符相关联的一个或多个分块标识符，其中，每一分块标识符识别与账户相关联的分块；对所识别的一个或多个分块标识符：识别组标识符，其中，组标识符对应于分块组；基于关于管理多个简册的简册服务器的信息，选择与所识别的本文档来自技高网...

【技术保护点】
一种计算机实现的方法，包括：在包括一个或多个处理器和存储器的计算机服务器处：提供分布式存储系统，其中，所述分布式存储系统内的数据与多个账户相关联并且被分成多个组，每一组包括多个分块并且每一分块与相应的账户相关联；将与第一账户相关联的数据和与第二账户相关联的数据分别分成第一分块集和第二分块集，其中，所述第一账户和所述第二账户具有不同的数据复制策略；将所述第一分块集和所述第二分块集中的每一个添加到相应的分块组，其中，不存在包括所述第一分块集的成员和所述第二分块集的成员的组；对于包括所述第一分块集的成员的每一分块组，创建第一预定数量的副本，并且根据与所述第一账户相关联的第一数据复制策略来在所述分布式存储系统内分配所述副本；以及对于包括所述第二分块集的成员的每一分块组，创建第二预定数量的副本，并且根据与所述第二账户相关联的第二数据复制策略来在所述分布式存储系统内分配所述副本。

【技术特征摘要】
【国外来华专利技术】2012.05.21 US 61/649,806;2013.05.20 US 13/898,4111.一种用于进行分布式存储的方法，包括：提供分布式存储系统，其中，所述分布式存储系统内的数据与多个账户相关联并且被分成多个组，每一组包括多个分块，并且每一分块与相应的账户相关联并且具有指示是否能将更多数据添加到所述分块的相关联的数据范围参数和指示所述分块中存储的实际数据量的相关联的分块大小；将与第一账户相关联的数据和与第二账户相关联的数据分别分成第一分块集和第二分块集，其中，所述第一账户和所述第二账户具有不同的数据复制策略；对于所述第一分块集和所述第二分块集中的每一个分块，确定相应的分块大小和相应的数据范围参数；将所述第一分块集和所述第二分块集中的每一个分块添加到相应的分块组，其中，不存在包括所述第一分块集的成员和所述第二分块集的成员的组；对于包括所述第一分块集的成员的每一分块组，创建第一预定数量的副本，并且根据与所述第一账户相关联的第一数据复制策略来在所述分布式存储系统内分配所述副本；以及对于包括所述第二分块集的成员的每一分块组，创建第二预定数量的副本，并且根据与所述第二账户相关联的第二数据复制策略来在所述分布式存储系统内分配所述副本。2.如权利要求1所述的方法，其中，所述第一账户和所述第二账户与一个应用相关联，所述应用使用所述分布式存储系统来存储与所述应用相关联的数据。3.如权利要求1所述的方法，其中，所述第一账户和所述第二账户与两个相应的应用相关联，每一相应的应用使用所述分布式存储系统来存储与该相应的应用相关联的数据。4.如权利要求1所述的方法，其中，与所述第一账户相关联的所述数据复制策略包括对于所述第一分块集中的每一个指定一定数量的副本和其相应的位置的信息。5.如权利要求1所述的方法，其中，所述第一分块集的成员被添加到两个或更多分块组，以及所述第二分块集的成员被添加到一个分块组。6.如权利要求5所述的方法，其中，对应于所述第一分块集的所述两个或更多分块组被根据与所述第一账户相关联的数据复制策略在所述分布式存储系统的一个分区内复制。7.如权利要求6所述的方法，其中，对应于所述第一分块集的所述两个或更多分块组在所述分布式存储系统的所述一个分区内的两个或更多数据中心中被复制。8.如权利要求5所述的方法，其中，对应于所述第二分块集的所述一个分块组被根据与所述第二账户相关联的数据复制策略在所述分布式存储系统的两个或更多分区内复制。9.如权利要求1所述的方法，其中，所述第一预定数量的副本不同于所述第二预定数量的副本。10.如权利要求1所述的方法，其中，所述第一预定数量的副本与所述第二预定数量的副本相同。11.一种分布式存储系统，包括：多个分区，每一分区包括多个计算机服务器，以及每一计算机服务器包括一个或多个处理器和存储器；多个网络链路，所述多个网络链路连接两个相应的分区，其中，所述分布式存储系统内的数据与多个账户相关联并且被分成多个组，每一组包括多个分块，并且每一分块与相应的账户相关联并且具有指示是否能将更多数据添加到所述分块的相关联的数据范围参数和指示所述分块中存储的实际数据量的相关联的分块大小；以及多个程序模块，其中，所述多个程序模块被存储在相应的计算机服务器的存储器中并且将由所述相应的计算机服务器的一个或多个处理器执行，并且所述多个程序模块包括：用于将与第一账户相关联的数据和与第二账户相关联的数据分别分成第一分块集和第二分块集的部件，其中，所述第一账户和所述第二账户具有不同的数据复制策略；用于对于所述第一分块集和所述第二分块集中的每一个分块，确定相应的分块大小和相应的数据范围参数的部件；用于将所述第一分块集和所述第二分块集中的每一个分块添加到相应的分块组的部件，其中，不存在包括所述第一分块集的成员和所述第二分块集的成员的组；用于对于包括所述第一分块集的成员的每一分块组，创建第一预定数量的副本，并且根据与所述第一账户相关联的第一数据复制策略在所述分布式存储系统内分配所述副本的部件；以及用于对于包括所述第二分块集的成员的每一分块组，创建第二预定数量的副本，并且根据与所述第二账户相关联的第二数据复制策略在所述分布式存储系统内分配所述副本的部件。12.如权利要求11所述的分布式存储系统，其中，所述第一账户和所述第二账户与一个应用相关联，所述应用使用所述分布式存储系统来存储与所述应用相关联的数据。13.如权利要求11所述的分布式存储系统，其中，与所述第一账户相关联的所述数据复制策略包括对于所述第一分块集中的每一个指定一定数量的副本和其相应的位置的信息。14.如权利要求11所述的分布式存储系统，其中，所述第一分块集的成员被添加到两个或更多分块组，并且所述第二分块集的成员被添加到一个分块组。15.如权利要求14所述的分布式存储系统，其中，对应于所述第二分块集的所述一个分块组被根据与所述第二账户相关联的数据复制策略在所述分布式存储系统的两个或更多分区内复制。16.如权利要求11所述的分布式存储系统，其中，所述第一预定数量的副本不同于所述第二预定数量的副本。17.如权利要求11所述的分布式存储系统，进一步包括用于执行如权利要求2-10中的任何一个所述的方法的部件。18.一种用于在分布式存储系统中进行分布式存储的装置，所述分布式存储系统被配置成将与多个账户相关联的数据分成多个组，每一组包括多个分块，并且每一分块与相应的账户相关联并且具有指示是否能将更多数据添加到所述分块的相关联的数据范围参数和指示所述分块中存储的实际数据量的相关联的分块大小，所述装置包括；用于将与第一账户相关联的数据和与第二账户相关联的数据分别分成第一分块集和第二分块集的部件，其中，所述第一账户和所述第二账户具有不同的数据复制策略；用于对于所述第一分块集和所述第二分块集中的每一个分块，确定相应的分块大小和相应的数据范...

【专利技术属性】
技术研发人员：杰弗里·阿德盖特·迪恩，迈克尔·詹姆斯·博耶尔·爱泼斯坦，安德鲁·菲克斯，桑贾伊·格赫玛瓦特，谢诚毅，亚历山大·劳埃德，齐藤靖，米卡尔·彼得·希马尼亚克，塞巴斯蒂安·坎塔克，克里斯·约根·泰勒，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国;US