分布式数据管理设备和分布式数据操作设备制造技术

由分布式数据管理设备实现的对象逻辑节点包括：存储单元，用于存储对象节点标识符，每一个对象节点标识符被唯一地分配到多个逻辑节点；存储单元，用于存储所述多个部分数据单元的至少一个；链接表，用于存储在对象逻辑节点和链接目的地逻辑节点之间的链接信息；存储单元，用于存储相对于与所述部分数据单元对应的每一个属性的值范围边界值；以及，存储单元，用于存储相包括多个树节点的相对于每一个属性的树结构数据单元，每一个树节点指示值范围，所述值范围用于识别存储与访问请求对应的所述部分数据单元的所述逻辑节点，所述树结构数据单元包括根树节点，所述根树节点包括使用指向与链接目的地逻辑节点相关联的子树节点的指示符和用于指示用于选择所述指示符的值范围的值形成的至少一个条目。

【技术实现步骤摘要】
【国外来华专利技术】分布式数据管理设备和分布式数据操作设备
本专利技术涉及对于以属性值顺序排序的数据单元的分布式管理技术。
技术介绍
作为由应用程序或数据库系统等使用的数据结构，存在被称为相关联阵列、键值存储、映射和从关键字获取值的存储引擎的已知结构。而且，这样的数据结构被分类为其中关键字通过其值排序的数据结构和其中关键字未或被排序地存储的数据结构。在其中未执行排序的配置中，基于通过将关键字散列化而获得的值来确定关键字的数据存储目的地。另一方面，在其中执行排序的配置中，每一个存储目的地与用于处理为值范围数据单元的值范围相关联，并且因此从该值范围数据单元和关键字确定数据存储目的地。NPL1提出了一种在信息系统中的值范围管理方法的一个示例。在NPL1的示例中，被称为Bigtable的系统包括存储多个数据单元的平板服务器、Bigtable主机、作为集中式服务器的Chubby、元数据平板服务器和客户端。每一个平板服务器存储作为平板的特定值范围的数据单元。Bigtable主机通过B+树来管理其中存储平板的平板服务器，在多个元数据平板服务器上存储构成B+树的多个部分树，并且在Chubby上存储与根对应的部分树。当改变由平板服务器管理的平板时，向主机通知该改变。访问这个Bigtable的客户端通过访问Chubby来获取B+树的根，并且然后从要高速缓存的元数据平板服务器获取其部分树。在该高速缓存有效的同时，客户端可以本地识别与键值对应的平板服务器。当改变由平板服务器处理的平板时，在客户端上的高速缓存变得无效。但是非如此直到客户端访问与客户端检测到该无效时的键值对应的平板服务器，并且然后向元数据平板服务器查询关于有效信息。NPL2提出了该值范围管理方法的另一个示例。在NPL2的示例中，被称为Baton的系统包括多个P2P(对等)节点。每一个节点存储具有连续的值范围的数据单元。每一个节点与另一个节点具有链接关系，并且这个链接关系整体形成平衡树。每一个节点包括到与在树结构中的父节点对应的节点的链接、到与子节点对应的节点的链接和到同一层的相邻节点的链接。关于到同一层的相邻节点的链接，也管理相对于每一个链接目的地的值范围。在已经获取了对于给定值的访问请求时，某个节点确定有意在同一层中的相邻节点处理的值范围的哪个包括该值，并且然后将访问请求传送到该确定的节点。当传送目的地的节点继续类似的处理时，检测到具有与该值对应的数据单元的节点。当新增加节点或节点离开思，在节点之间的链接关系被依序改变以保持平衡树。而且，当因为在节点之间的不一致导致存储的数据单元的分布变形时，每一个节点改变值范围和链接关系，以便使得数据分布均匀。[引用列表][非专利文献][NPL1]FayChang,JeffreyDean,SanjayGhemawat,WilsonC.Hsieh,DeborahA.WallachMikeBurrows,TusharChandra,AndrewFikes,RobertE.Gruber,"Bigtable:ADistributedStorageSystemForStructuredData",SymposiumonOperatingSystemsDesign(SOSP)2006,2006/11/6-8.[NPL2]H.V.Jagadish,BengChinOoi,QuangHieuVu,"BATON:ABalancedTreeStructureforPeer-to-PeerNetworks",Verylargedatabases(VLDB)2005,2005/8/30-9/2
技术实现思路
[技术问题]然而，上面的值范围管理方法具有如下所述的问题。在NPL1的方法中，当例如存储数据单元的节点的值范围改变时，客户端的数据访问时间增大。原因是客户端在执行对于数据单元的访问时检测数据存储节点的值范围的改变。换句话说，在该检测后，客户端从元数据服务器获取新的值范围，并且然后重新执行数据访问，并且因此，该通信延迟被作为已经花费的数据访问时间。为了解决该问题，可设想向NPL1的方法增加其中客户端周期地对于元数据服务器查询关于值范围的配置。然而，根据这样的配置，在系统内的多个公共研究所服务器以预定间隔从所有客户端接收请求，并且随着在客户端的数量上的增大，元数据服务器的负载和在系统内的通信负载增大，导致整个系统的性能的变差。而且，在NPL2的方法中，当例如从P2P节点向另一个节点依序传送数据访问请求时，检测存储要访问的数据单元的节点，并且因此，数据访问处理的时间趋向于增大。而且，在NPL2的方法中，根据相对于每一个属性或节点的负载的值范围来更新在节点之间的链接关系，并且因此，随着在系统内处理的属性的数量上的增大，在P2P节点之间的链接关系的数量增大，导致用于该关系的管理和更新的负载和生成其中故障进一步容易出现的情况的可能性的增大。鉴于如上所述的情况，本专利技术已经被完成并且意欲提供一种分布式数据管理技术，所述分布式数据管理技术用于通过抑制在以属性值顺序排序的数据单元的分布式管理的系统中的负载而减少数据访问时间。[对于问题的解决方案]本专利技术的各个方面每一个使用下面的配置来解决上面的问题。第一方面涉及一种分布式数据管理设备，用于实现在存储多个部分数据单元的多个逻辑节点中的至少一个对象逻辑节点，其中，划分以属性值顺序排序的数据单元，所述多个部分数据单元每一个包括相对于每一个属性的值范围。由根据第一方面的所述分布式数据管理在获得的所述对象逻辑节点包括：节点标识符存储单元，用于存储作为对象节点标识符的、在多个标识符中的向对象逻辑节点分配的标识符，所述多个标识符被分别唯一地分配到在具有环形结构的有限标识符空间中的多个逻辑节点；数据存储单元，用于存储所述多个部分数据单元的至少一个；链接表，用于存储链接信息，所述链接信息用于指示在所述对象逻辑节点和另一个逻辑节点之间的可通信关系，根据与在所述标识符空间中的所述对象节点标识符的关系来建立在所述对象逻辑节点和所述链接目的地节点之间的所述链接信息；值范围存储单元，用于存储相对于与在所述数据存储单元上存储的所述部分数据单元对应的每一个属性的值范围边界值，相对于所述每一个属性的值范围边界位于在所述标识符空间中的所述对象逻辑节点和与所述对象逻辑节点相邻的逻辑节点之间；以及，树存储单元，用于存储相对于每一个属性的树结构数据单元，所述树结构数据单元包括多个树节点，每一个树节点指示用于识别用于存储与访问请求对应的所述部分数据单元的逻辑节点的值范围，所述树结构数据单元包括根树节点，所述根树节点包括使用指向与所述链接目的地逻辑节点相关联的子树节点的指示符和用于指示用于选择所述指示符的值范围的之后形成的至少一个条目。本专利技术的另一个方面可以是使得计算机获得如上所述的对象逻辑节点的程序或者可以是被记录了这样的程序的计算机可读记录介质。这个记录介质包括永久有形介质。根据上面的方面，在用于以属性值顺序排序的数据单元的分布式管理的系统中，可以提供用于通过禁止负载来减少数据访问时间的分布式数据管理技术。附图说明通过下面结合下面的附图描述优选实施例，上述目的和其他目的以及特征和优点将变得更清楚。图1是示意地图示在第一实施例中的分布式系统的配置示例的视图。图2是示意地图本文档来自技高网...

【技术保护点】
一种分布式数据管理设备，用于实现在存储多个部分数据单元的多个逻辑节点当中的至少一个对象逻辑节点，其中，划分以属性值顺序排序的数据单元，所述多个部分数据单元中的每一个具有关于每一个属性的值范围，所述对象逻辑节点包括：节点标识符存储单元，所述节点标识符存储单元用于存储在具有环形结构的有限标识符空间中的多个标识符当中的向所述对象逻辑节点分配的标识符作为对象节点标识符，所述多个标识符被分别唯一地分配给多个逻辑节点；数据存储单元，所述数据存储单元用于存储所述多个部分数据单元中的至少一个；链接表，所述链接表用于存储链接信息，所述链接信息指示在所述对象逻辑节点和另一逻辑节点之间的可通信关系，在所述对象逻辑节点和所述链接目的地节点之间的所述链接信息是根据与在所述标识符空间中的与所述对象节点标识符的关系来建立的；值范围存储单元，所述值范围存储单元用于存储关于与在所述数据存储单元上存储的所述部分数据单元相对应的每个属性的值范围边界值，关于所述每个属性的值范围边界位于在所述标识符空间中的所述对象逻辑节点和与所述对象逻辑节点相邻的逻辑节点之间；以及树存储单元，所述树存储单元用于存储关于每个属性的树结构数据单元，所述树结构数据单元包括多个树节点，每一个树节点指示用于识别存储与访问请求相对应的所述部分数据单元的逻辑节点的值范围，所述树结构数据单元包括根树节点，所述根树节点包括通过指向与所述链接目的地逻辑节点相关联的子树节点的指示符和指示用于选择所述指示符的值范围的值形成的至少一个条目。...

【技术特征摘要】
【国外来华专利技术】2012.05.15 JP 2012-1111891.一种分布式数据管理设备，用于实现在存储多个部分数据单元的多个逻辑节点当中的至少一个对象逻辑节点，其中，划分以属性值顺序排序的数据单元，所述多个部分数据单元中的每一个具有关于每一个属性的值范围，所述对象逻辑节点包括：节点标识符存储单元，所述节点标识符存储单元用于存储在具有环形结构的有限标识符空间中的多个标识符当中的向所述对象逻辑节点分配的标识符作为对象节点标识符，所述多个标识符被分别唯一地分配给多个逻辑节点；数据存储单元，所述数据存储单元用于存储所述多个部分数据单元中的至少一个；链接表，所述链接表用于存储链接信息，所述链接信息指示在所述对象逻辑节点和另一逻辑节点之间的可通信关系，在所述对象逻辑节点和链接目的地节点之间的所述链接信息是根据与在所述标识符空间中的与所述对象节点标识符的关系来建立的；值范围存储单元，所述值范围存储单元用于存储关于与在所述数据存储单元上存储的所述部分数据单元相对应的每个属性的值范围边界值，关于所述每个属性的值范围边界位于在所述标识符空间中的所述对象逻辑节点和与所述对象逻辑节点相邻的逻辑节点之间；以及树存储单元，所述树存储单元用于存储关于每个属性的树结构数据单元，所述树结构数据单元包括多个树节点，每一个树节点指示用于识别存储与访问请求相对应的所述部分数据单元的逻辑节点的值范围，所述树结构数据单元包括根树节点，所述根树节点包括通过指向与所述链接目的地逻辑节点相关联的子树节点的指示符和指示用于选择所述指示符的值范围的值形成的至少一个条目。2.根据权利要求1所述的分布式数据管理设备，其中，所述对象逻辑节点进一步包括：树生成单元，所述树生成单元用于从与在所述根树节点中所包括的所述指示符相关联的所述链接目的地逻辑节点获取树数据单元，并且从所获取的树数据单元生成比所述根树节点低的至少一个树节点。3.根据权利要求2所述的分布式数据管理设备，其中，在所述树存储单元上存储的所述树结构数据单元包括多个层和用于每层的树数据单元，第一层的树数据单元包括在所述链接目的地逻辑节点中的、与在所述值范围存储单元上存储的值范围信息相对应的条目，并且比所述第一层高的层L的一个或多个树数据单元包括所述根树节点，其中，L至少为2，并且所述树生成单元从与在所述根树节点中所包括的所述指示符相关联的所述链接目的地逻辑节点获取在所述链接目的地逻辑节点上存储的层L-1的树数据单元，并且从所获取的层L-1的树数据单元生成与在层L的所述树数据单元中的所述链接目的地逻辑节点相对应的部分树数据单元。4.根据权利要求3所述的分布式数据管理设备，其中，包括在所述树存储单元上存储的每一个树数据单元的每个树节点包括版本信息，并且所述对象逻辑节点进一步包括：树更新单元，所述树更新单元用于向与在层L的所述根树节点中所包括的所述指示符相关联的所述链接目的地逻辑节点发送版本确认请求，其中，设置了由所述指示符所指向的子树节点的版本信息，并且使用在响应于所述版本确认请求而来自所述链接目的地逻辑节点的答复中包括的树数据单元和版本信息来更新每个树节点和所述每个树节点的版本信息；以及版本比较单元，所述版本比较单元用于从另一逻辑节点接收所述版本确认请求，将在所述版本确认请求中所包括的关于层L的版本信息与由所述对象逻辑节点所拥有的层L-1的每一个树数据单元的版本信息作比较，并且向所述另一逻辑节点返回具有不同版本的层L-1的树数据单元以及版本信息。5.根据权利要求4所述的分布式数据管理设备，其中，所述对象逻辑节点进一步包括：树搜索单元，所述树搜索单元用于使用基于属性值空间的循环顺序的包含确定来从所述树结构数据单元识别包括要在值范围中搜索的属性值的条目，包括下述情况：关于搜索对象属性的由所述树结构数据单元中所包括的树节点的第一条目所指示的值范围边界值被指定为在所述搜索对象属性的属性值空间中的参考值，并且从所述参考值到在所述属性值空间中的最大值之间的任意值小于从在所述属性值空间中的最小值到所述参考值之间的任意值。6.根据权利要求5所述的分布式数据管理设备，其中，在每层的所述根树节点中设置不包括在所述属性值空间中的所述属性值的值范围，并且当没有从某个层的所述树数据单元识别包括在值范围中的所述搜索对象属性值的条目时，所述树搜索单元尝试搜索高一级的层的树数据单元，并且当所述高一级的层的所述树数据单元不存在时，所述树搜索单元请求所述树生成单元生成所述高一级的层的所述树数据单元。7.根据权利要求1所述的分布式数据管理设备，其中，在所述链接表上存储的所述链接信息包括在所述对象逻辑节点和下述中的每一个之间的多个链接：第一链接目的地逻辑节点，所述第一链接目的地逻辑节点具有通过使所述对象节点标识符乘以参数k所获得的值或者是作为所述值的前任节点，其中，k是自然数；第二链接目的地逻辑节点，所述第二链接目的地逻辑节点具有通过使所述对象逻辑节点的后继节点的标识符乘以所述参数k所获得的值或者是作为所述值的前任节点；以及至少一个第三链接目的地逻辑节点，所述至少一个第三链接目的地逻辑节点具有在所述标识符空间中从所述第一链接目的地逻辑节点的所述标识符到所述第二链接目的地逻辑节点的所述标识符之间的标识符。8.根据权利要求4所述的分布式数据管理设备，其中，所述链接表存储来自所述对象逻辑节点的链接信息，所述链接信息包括到下述中的多个链接：第一链接目的地逻辑节点，所述第一链接目的地逻辑节点具有通过使所述对象节点标识符乘以参数k所获得的值或者是作为所述值的前任节点，其中，k是自然数；第二链接目的地逻辑节点，所述第二链接目的地逻辑节点具有通过使所述对象逻辑节点的后继节点的标识符乘以所述参数k所获得的值或者是作为所述值的前任节点；以及至少一个第三链接目的地逻辑节点，所述至少一个第三链接目的地逻辑节点具有在所述标识符空间中从所述第一链接目的地逻辑节点的所述标识符到所述第二链接目的地逻辑节点的所述标识符之间的标识符，所述树更新单元以轮询间隔T来发送所述版本确认请求，并且所述对象逻辑节点进一步包括：参数设置单元，所述参数设置单元用于获取直到在所述多个逻辑节点的至少一个中的值范围的改变被发送到所有所述多个逻辑节点的最大时间的系统约束时间ωc或者其中所述逻辑节点中的每一个发送所述版本确认请求的单位时间负载的系统约束负载λc，并且通过对以下方程1或以下方程2应用所述获取的系统约束时间ωc或所获取的系统约束负载λc以及所述逻辑节点的总数N或所述对象逻辑节点的链接目的地节点的数量D：其中，k表示所述参数k。9.根据权利要求7所述的分布式数据管理设备，其中，所述参数k被设置为4。10.一种分布式数据操作设备，用于存储与访问请求相对应的部分数据单元，并且将由根据权利要求6所述的分布式数据管理设备所实现的所述对象逻辑节点识别为所述访问请求的地址，所述分布式数据操作设备包括：链接表，所述链接表用于存储能够与包括所述对象逻辑节点的多个链接目的地逻辑节点通信的链路信息；所述树存储单元；所述树更新单元；以及所述树搜索单元。11.一种方法，使得计算机实现在存储多个部分数据单元的多个逻辑节点当中的至少一个对象逻辑节点，其中，划分以属性值顺序排序的数据单元，所述多个部分数据单元中的每一个具有关于每个属性的值范围，所述对象逻辑节点包括：节点标识符存储单元，所述节点标识符存储单元用于存储在具有环形结构的有限标识符空间中的多个标识符当中的向所述对象逻辑节点分配的标识符作为对象节点标识符，所述多个标识符被分别唯一地分配给多个逻辑节点；数据存储单元，所述数据存储单元用于存储所述多个部分数据单元中的至少一个；链接表，所述链接表用于存储链接信息，所述链接信息指示在所述对象逻辑节点和另一逻辑节点之间的可通信关系，在所述对象逻辑节点和链接目的地节点之间的所述链接信息是根据与在所述标识符空间中的与所述对象节点标识符的关系来建立的；值范围存储单元，所述值范围存储单元用于存储关于与在所述数据存储单元上存储的所述部分数据单元相对应...

【专利技术属性】
技术研发人员：中台慎二，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：日本;JP