一种用于数据网格的全分布式副本定位方法技术

本发明专利技术公开了一种用于数据网格的全分布式副本定位方法，首先判断用户命令是创建副本、查找副本还是删除副本，再分别按照下述步骤进行对应的操作，完成操作后判断是否结束，若需要继续操作，则返回接受用户命令，否则结束整个流程；创建副本：通过副本目录管理器注册物理映射，并将副本目录管理器注册到本地副本管理器索引中；查找副本：接收用户的副本定位请求，查询映射表，返回逻辑文件名对应得物理地址集；删除副本：副本通过查找对应的本地副本目录管理器索引和副本目录管理器，完成在路由表上的副本撤销。本方法与现有的副本定位方法相比，具有自适应性，支持多应用域数据网格的副本定位请求，可扩展性，高可用性，高安全性等特点。

【技术实现步骤摘要】

本专利技术涉及一种网络技术，特别是涉及一种用于数据网格的全分布式副本定位方法。
技术介绍
整合广域网上分布、异构、海量的存贮资源，根据用户需求，提供足够的虚拟化存贮空间，安全可靠的存贮机制，高效稳定的传输机制是数据网格的重要功能。为实现以上功能，副本技术必不可少。副本即文件源数据在本域中或远域产生的一个文件拷贝，拷贝文件数据可以为源文件的部分和全部。文件拷贝通常称之为数据副本。数据副本存储方式也有多种，源文件数据可以完整地集中存储在单一存储节点上，也可以分成多个数据段(即分片)的方式存储在多个存储节点上。数据副本通过将本域文件在远域产生一个或多个副本，使远域用户在需要访问本域文件时只需读写远域中的副本数据，减少了用户的数据访问延迟，降低了网络间的带宽消耗。另一方面，通过在域内创建同一数据的多个副本，增加了用户的可用访问数据点，保障了数据的可用性和可靠性。副本定位指给出一个文件的逻辑文件名，找到这个文件对应的一个或多个副本的物理地址的过程。逻辑文件名指在本域唯一标识一个文件的字符串，这个字符串在本域内唯一。物理地址指本域内某个逻辑文件名对应的文件的数据副本的具体存储节点的位置。由于网格环境下数据量庞大，往往达到千亿、万亿级，对于数据的副本信息也呈海量增长趋势，使用单一的副本搜索服务器已经无法满足副本信息的存贮量和对于有副本定位需求用户的响应时间的控制。因此将副本信息分布在不同的存贮节点上，在不同的节点间实现分布式副本定位成为解决这一问题的途径。目前已有几种网格环境下副本定位的机制，这些机制在其特定-->应用或模拟测试中都体现出可观的优越性，但是它们仍有可改进之处。副本定位服务是个典型的分布式副本定位机制。这个机制由本地副本目录和副本定位索引组成层次结构。在很多网格应用中都有副本定位索引的使用，取得了很好的效果，但是副本定位索引是一个静态配置的机制，即当其中某一个节点出现问题，整个机制没有办法做出动态调整。点对点副本定位服务点对点副本定位索引，在某种程度上提出了解决这一问题的方案。但存在性能和安全上的问题。总之，现有数据网格中副本定位模型的两大问题：(1)多个应用域内及应用域间的副本定位效率低(2)副本定位模型的不能自适应动态调整。
技术实现思路
本专利技术的目的在于提供一种用于数据网格的全分布式副本定位方法，该方法在多个应用域内及应用域间的副本定位效率高，安全性好，并且可以对副本定位模型的进行自适应动态调整。本专利技术提供的用于数据网格的全分布式副本定位方法，首先判断用户命令是创建副本、查找副本还是删除副本，再分别按照下述步骤(1)、(2)或(3)进行对应的操作，当完成一次操作后接受用户命令判断是否结束，若需要继续操作，则返回接受用户命令，否则结束整个流程；(1)创建副本：通过副本目录管理器注册物理映射，并将副本目录管理器注册到本地副本管理器索引中；(2)查找副本：接收用户的副本定位请求，查询映射表，返回逻辑文件名对应得物理地址集；(3)删除副本：副本通过查找对应的本地副本目录管理器索引和副本目录管理器，完成在路由表上的副本撤销。本专利技术方法所采用的副本定位模型由分布在不同域中的副本服务节点副本服务对(即存储节点)组成，服务节点构成了一个多重环。副本服务系统具备多应用域及应用域内的副本定位功能，并提出了解决效率和安全问题的解-->决方案。同时，基于边界联系算法，副本服务系统能在副本服务对动态改变(加入或离开)时，动态调整自己的拓扑结构，保证副本定位服务的稳定性。具体而言，本专利技术具有以下技术效果。1.自适应性副本服务系统能在动态改变(加入或离开)时，能够动态调整自己的拓扑结构，从而保证副本定位服务的稳定性。2.支持多应用域数据网格的副本定位请求数据网格的每个应用域都能够给出若干服务器作为副本服务对，不同的应用域的副本服务对合作构成全分布式的副本定位的系统。副本服务对既可以为自己所属的应用域服务，也可以为其它应用域的有副本定位要求的数据网格用户服务。3.可扩展性该分布式副本定位方法具备扩展特性，即可以通过增加副本服务对的数量提高副本定位算法的定位能力，如服务用户的数量。4.高效率性该分布式副本定位算法采取分布式联合查询的机制，使副本定位的性能更高。附图说明图1为本专利技术的功能总流程图；图2为本专利技术的体系结构示意图；图3为本专利技术中副本服务节点副本服务对的功能模块示意图；图4为本专利技术的副本信息创建工作流程示意图；图5为本专利技术中本地副本目录管理器与本地副本管理器索引的层次关系示意图；图6为专利技术的副本定位信息删除工作流程示意图；图7为本专利技术的副本定位工作流程示意图；图8为副本映射的分类示意图；图9为位数据文件副本的执行过程示例图。-->具体实施方式下面结合附图和实例对本专利技术作进一步详细的说明。如图1所示，本专利技术方法首先接受一个用户命令，判断用户命令是创建副本、查找副本还是删除副本，再分别进行对应的操作，当完成一次操作后接受用户命令判断是否结束，若需要继续操作，则返回接受用户命令，否则结束整个流程。分布式副本定位模型副本服务系统的体系结构。整个副本服务系统由若干个副本服务对(即存储节点)构成，这些副本服务对属于不同的逻辑域。为同一应用服务的资源的集合定义为一个逻辑域。以该图2为例，一共有三个逻辑域，每个逻辑域里有三个副本服务对，这9个副本服务对组成一个二重环的拓扑结构，这个拓扑结构的组成和维护是基于边界链接算法。二重环的第一重环处于逻辑域内，以逻辑域A为例，三个副本服务对互联，构成了一个环。第二重环介于逻辑域之间，在图中，每个逻辑域中都有两个副本服务对与领域的两个副本服务对相连。所有的副本定位过程都是在这个二重环中完成的，即多个副本服务对的联合查询过程。其中，副本服务节点副本服务对由三大功能模块构成(如图3)：本地副本目录管理器，本地副本管理器索引，路由表。如图5所示，副本定位信息的创建流程为：1.1获取待创建副本的逻辑文件名；表1给出了一个本地副本目录信息条目中各个属性定义的例子，如表所示，表中有6个关键属性：逻辑文件名、逻辑域名、物理存储地址、创建时间、文件大小和最近访问时间。它们的定义如下：表1  副本存储信息条目逻辑文件名  逻辑域名    物理存储地址  创建时间  文件大小  最近访问时间  Test.txtimageprocess.edu.cn gridfip://211.69.193.1:281 1//CGSP2/data/rep1 2006-03-20 1024字节  2006-03-25  Test.txtImageprocess.edu.cn  http://211.69.193.16:8080/  /CGSP2/data/rep2 2006-03-23 1024字节  2006-03-26-->  other.txt courseonline.ed u.cn  ftp://162.105.193:2  811//CGSP2/data/rep1 2006-03-21 2048字节  2006-03-25逻辑文件名是数据网格中某一数据文件在该文件所属的逻辑域中的唯一标识符。逻辑文件名在其所属的逻辑域内唯一，而不同逻辑域之间的逻辑文件名可能相同。逻辑域名是逻辑域的唯一本文档来自技高网...

【技术保护点】
一种用于数据网格的全分布式副本定位方法，首先判断用户命令是创建副本、查找副本还是删除副本，再分别按照下述步骤（１）、（２）或（３）进行对应的操作，当完成一次操作后接受用户命令判断是否结束，若需要继续操作，则返回接受用户命令，否则结束整个流程；（１）创建副本：通过副本目录管理器注册物理映射，并将副本目录管理器注册到本地副本管理器索引中；（２）查找副本：接收用户的副本定位请求，查询映射表，返回逻辑文件名对应得物理地址集；（３）删除副本：副本通过查找对应的本地副本目录管理器索引和副本目录管理器，完成在路由表上的副本撤销。

【技术特征摘要】
1、一种用于数据网格的全分布式副本定位方法，首先判断用户命令是创建副本、查找副本还是删除副本，再分别按照下述步骤(1)、(2)或(3)进行对应的操作，当完成一次操作后接受用户命令判断是否结束，若需要继续操作，则返回接受用户命令，否则结束整个流程；(1)创建副本：通过副本目录管理器注册物理映射，并将副本目录管理器注册到本地副本管理器索引中；(2)查找副本：接收用户的副本定位请求，查询映射表，返回逻辑文件名对应得物理地址集；(3)删除副本：副本通过查找对应的本地副本目录管理器索引和副本目录管理器，完成在路由表上的副本撤销。2、根据权利要求1所述的全分布式副本定位方法，其特征在于：步骤(1)按照下述过程创建副本：(1.1)获取待创建副本的逻辑文件名；(1.2)根据副本的逻辑文件名和物理位置创建该副本的物理映射；(1.3)将该副本的物理映射存入该副本的数据文件所属的逻辑域内的本地副本目录管理器，形成索引映射；(1.4)判断该副本的数据文件是否是域敏感的，若是域敏感的，则获取其逻辑域名，然后根据其逻辑域名创建一个本地副本映射；若不是域敏感的，则采用全局域名和副本逻辑文件名来创建全局副本映射；(1.5)利用边界连接算法确定上述索引映射被存到哪个本地副本管理器索引；(1.6)根据步骤(1.3)和(1.5)所获取本地副本目录管理器的内容和本地副本管理器索引构成域内路由表和域间路由表，其中，域内路由表存储在所有的节点中，包含该节点所属的域内的邻居节点信息、前序节点信息和域内边界节点信息；域间路由表存在于边界节点中，包含...

【专利技术属性】
技术研发人员：金海，齐力，曾纯强，吴松，戴杰，范珂，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：83[中国|武汉]