分布式内容存储和取回制造技术

公开了分布式内容存储和取回。确定与内容对象关联的特征集合。至少部分地基于概率数据从包括分布式内容存储系统的多个存储位置选择用于关于内容对象执行操作的存储位置，该概率数据指示选择的存储位置与包括特征集合的确定为与内容对象关联的特征在统计上关联的程度。

【技术实现步骤摘要】
本申请为题为“分布式内容存储和取回”的中国专利201080041777.2的分案申请。其他申请的交叉引用本申请要求于2009年9月21日提交的美国临时专利申请号61/277,206（代理案号TRANP006+）、标题为DISTRIBUTED CONTENT STORAGE AND RETRIEVAL的优先权，出于所有目的通过引用将其结合于此。  
技术介绍
分布式数据存储系统的设计和实现由于确定数据在何处以及应当存储于何处的问题而复杂。尽管已经存在将对象名称映射到存储位置的分布式编索引技术，但是它们需要大量存储。这些技术未提供信息将存储于它将最终被访问的位置附近的保证。现有分布式存储技术在故障出现时具有大量可用性和性能问题。    附图说明在下文详细描述和附图中公开本专利技术的各种实施例。图1是图示分布式内容存储系统的一个实施例的框图。图2是图示用于访问和/或存储内容对象的过程的一个实施例的流程图。图3是图示用于收集和分布访问统计的过程的一个实施例的流程图。图4是图示存储节点的一个实施例的框图。图5是图示用于在存储节点维持统计的过程的一个实施例的流程图。图6是图示对对象名称中的对象特征信息编码的过程的一个实施例的流程图。图7是图示用于存储对象的过程的一个实施例的流程图。图8是图示分布式内容存储系统的一个实施例的框图。图9是图示用于访问对象的过程的一个实施例的流程图。图10A是图示用于从分布式内容存储删除对象的过程的一个实施例的流程图。图10B是图示用于可靠地删除对象的负责副本的过程的一个实施例的流程图。图11是图示用于在分布式内容存储中保存改变的过程的一个实施例的流程图。图12是图示用于对存储于分布式内容存储中的对象进行改变的过程的一个实施例的流程图。图13是图示用于存储对象的过程的一个实施例的流程图。图14A是图示用于访问对象的过程的一个实施例的流程图。图14B是图示用于在分布式内容存储系统中创建对象的过程的一个实施例的流程图。图15是图示用于存储数据库或者其他大文件的过程的一个实施例的流程图。图16是图示用于访问和存储对象的过程的一个实施例的流程图。图17是图示存储装置的一个实施例的框图。图18是图示存储盘的一个实施例的框图。具体实施方式可以用诸多方式（包括如过程；装置；系统；物质组成；在计算机可读存储介质上包含的计算机程序产品；和/或处理器（诸如如下处理器，该处理器被配置成执行在耦合到处理器的存储器上存储的和/或该存储器提供的指令））实现本专利技术。在本说明书中，这些实现或者本专利技术可以采用的任何其他形式可以称为技术。一般而言，可以在本专利技术的范围内变更公开的过程的步骤顺序。除非另有明示，描述为被配置成执行任务的部件（诸如处理器或者存储器）可以实现为暂时被配置成在给定时间执行该任务的一般部件或者制造成执行该任务的具体部件。如这里所用，术语‘处理器’是指被配置成处理数据（诸如计算机程序指令）的一个或者多个设备、电路和/或处理核。下文与图示本专利技术原理的附图一起提供对本专利技术一个或者多个实施例的详细描述。结合这样的实施例描述本专利技术，但是本专利技术并不限于任何实施例。本专利技术的范围仅由权利要求书限制，并且本专利技术涵盖诸多替代、修改和等效物。在下文描述中阐述诸多具体细节以便提供对本专利技术的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节仍然可以根据权利要求实现本专利技术。为求简洁，尚未详细描述在与本专利技术有关的
中已知的技术素材，使得未使本专利技术不必要地变得难以理解。公开用于分布式内容存储和取回的技术。使用多种分布式系统技术，公开的对象存储跨越全局分散的网络冗余地散布信息。在各种实施例中，对象存储于它们最可能被使用的位置附近，从而使系统可用性、对地理分散的资源的使用和最终用户性能最大化。系统经由分布式合意（consensus）机制共享对象访问和存储简档。当尝试取回或者存储对象时，针对特征扫描对象标识符。使特征相关以估计每个位置访问该对象的频率。针对每个潜在存储位置，组合网络拓扑信息与这些估计以发现该存储选项的成本。确定性函数组合这一成本数据与管理员配置的策略以确定数据应当存储于何处以及如何取回对象。函数被构造成即使添加或者去除存储位置时仍然造成公平和最少对象重新分配。在一些实现中，管理策略和索引信息存储于全局叠加网络中。该设计受控制系统理论严重影响，因为系统严重受抑制并且表现对使用和拓扑改变的斜坡响应。如这里所用，术语“特征”是指对象标识符的性质。性质可以是布尔或者可以由在0与1之间的置信水平代表。任何对象标识符可以视为拥有特征集合。术语“访问概率矩阵”是指如下矩阵，该矩阵包含从给定节点进行对具有给定特征的对象的任何给定访问的概率，其中行代表对象特征而列代表请求位置。“访问计数矩阵”是指除了每个单元包含访问计数而不是百分比之外具有与访问概率矩阵相同的结构的矩阵。“节点”是分布式系统中的负责对象存储和对象查询的计算机或者其他设备两者。可以将节点和存储设备组织成层级。该层级可以包含作为级别节点的存储设备和管理员指定的下级的分组。作为例子，可以有称为“大陆”的层级级别，该级别包含北美洲、欧洲和亚洲，每个洲包含如下办公室，这些办公室包含如下节点，这些节点包含存储设备。“位置”是层级中的任何给定实体（例如具体办公室或者具体存储设备）。使用以下矩阵约定（convention）：· At表示矩阵A的转置·                                               表示矩阵A的i行j列中的值· 矩阵等式中的1表示1值填充的适当大小的行或者列1×n或者n×1矩阵。· Cj表示矢量C的第j个元素使用以下概率约定：· P(A|B)表示在给定B为真时A为真的概率。· Fi表示访问概率矩阵的行i代表的特征存在。· Nj表示访问概率矩阵的列j代表的节点将执行访问。·表示除了访问概率矩阵的列j代表的节点之外的节点将执行访问。图1是图示分布式内容存储系统的一个实施例的框图。在所示例子中，在所示例子中由客户端102和104代表的一个或者多个客户端经由因特网（和/或一个或者多个其他网络）106连接到多个存储节点108。每个节点108被配置成存储如下数据对象（诸如文件），这些数据对象包括存储的内容对象体。在各种实施例中，每个节点108本地收集统计，例如针对一个或者多个特征中的每个特征，已经在节点访问（或者替代地为最近访问）具有该特征的多少个对象和/或在节点上存储具有该特征的多少个对象。节点108经由分布式合意机制协作以共享访问和/或存储统计。生成并且向节点分发全局访问概率矩阵，并且在相应节点使用这些矩阵做出存储和/或对象访问决策。例如，可以在至少部分地由于对象具有如下特征或者特征集合而选择的节点上存储等于对象的所有其他内容，该特征或者特征集合造成在作出存本文档来自技高网...

【技术保护点】
一种存储数据的系统，包括：处理器，其被配置为：从分布式内容存储系统内的多个存储位置的每个存储位置收集对应的多个访问计数数据，所述多个访问计数数据对应于多个特征中的相应的特征，其中对应于多个特征中的相应的特征的多个访问计数数据中的一个表示在具有该特征的存储位置处存储的对象的数量和在具有该特征的存储位置处访问的对象的数量中的至少一个；至少部分地根据从每个存储位置收集的对应于多个特征中的相应特征的对应的多个访问计数数据来确定概率数据，其中，所述概率数据包含这样的数据，其指示相对于每个特征的每个存储位置而言，将从该存储位置访问具有该特征的对象的概率；确定与内容对象相关联的特征集合，该内容对象关联于操作，其中，该特征集合包含与该内容对象相关联的性质集合；至少利用概率数据，至少为多个存储位置的子集的每个存储位置确定具有关联于该内容对象的该特征集合中的特征的对象与该存储位置相关联的相应的期望可能性；以及从多个存储位置中选择存储位置以完成相对于该内容对象而言的操作，该选择至少部分地基于具有该特征的对象关联于被选择的存储位置的期望可能性；以及存储器，其与处理器耦合并被配置为向处理器提供指令。

【技术特征摘要】
2009.09.21 US 61/2772061.一种存储数据的系统，包括：
处理器，其被配置为：
从分布式内容存储系统内的多个存储位置的每个存储位置收集对应的多个访问计数数据，所述多个访问计数数据对应于多个特征中的相应的特征，其中对应于多个特征中的相应的特征的多个访问计数数据中的一个表示在具有该特征的存储位置处存储的对象的数量和在具有该特征的存储位置处访问的对象的数量中的至少一个；
至少部分地根据从每个存储位置收集的对应于多个特征中的相应特征的对应的多个访问计数数据来确定概率数据，其中，所述概率数据包含这样的数据，其指示相对于每个特征的每个存储位置而言，将从该存储位置访问具有该特征的对象的概率；
确定与内容对象相关联的特征集合，该内容对象关联于操作，其中，该特征集合包含与该内容对象相关联的性质集合；
至少利用概率数据，至少为多个存储位置的子集的每个存储位置确定具有关联于该内容对象的该特征集合中的特征的对象与该存储位置相关联的相应的期望可能性；以及
从多个存储位置中选择存储位置以完成相对于该内容对象而言的操作，该选择至少部分地基于具有该特征的对象关联于被选择的存储位置的期望可能性；以及
存储器，其与处理器耦合并被配置为向处理器提供指令。
2. 根据权利要求1所述的系统，其中所述操作包括在所选择的存储位置内存储内容对象。
3.根据权利要求1所述的系统，其中所述操作包括尝试访问在所选择的存储位置处的内容对象。
4.根据权利要求1所述的系统，其中所述操作包括从所选的存储位置尝试取回内容对象而未首先基于索引或者其他数据确定内容对象事实上存储于所选择的存储位置内。
5.根据权利要求1所述的系统，其中具有特征的对象关联于所选择的存储位置的期望可能性至少包括所选择的存储位置与未选择的另一位置相比与所述特征关联的相对程度。
6.根据权利要求1所述的系统，其中所选择的存储位置包括地理位置。
7.根据权利要求1所述的系统，其中所选择的存储位置包括节点。
8.根据权利要求1所述的系统，其中所选择的存储位置包括盘。
9.根据权利要求1所述的系统，其中所述特征集合包括关于内容对象为真的一个或者多个声明。
10.根据权利要求1所述的系统，其中所述概率数据包含访问概率矩阵。
11.根据权利要求1所述的系统，其中所述概率数据包括概率矩阵，所述概率矩阵针对所述分布式内容存储系统内的多个存储设备中的每个并且相对于每个特征的每个存储设备而言，指示从包含该存储设备的存储位置处访问具有该特征的对象的频率。
12.根据权利要求1所述的系统，其中所述特征集合包括一个或者多个特征，并且还包括使用所述概率数据针对所述集合中的每个特征确定多个候选存储位置中的每个位置与该特征在统计上关联的程度，其中多个存储位置包含多个候选存储位置。
13.根据权利要求12所述的系统，所述处理器还被配置为关于每个候选存储位置确定与选择在该候选存储位置内包含的节点以执行所述操相关联的预计成本。
14.根据权利要求13所述的系统，其中至少部分地基于确定为...

【专利技术属性】
技术研发人员：RF罗斯，MP莱尔，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US