一致性动态均衡的分布式元数据节点架构的工作方法技术

本发明专利技术公开了一致性动态均衡的分布式元数据节点架构，包括如下步骤：（a）每个元数据节点被分配给一个散列块，并成为这个散列块的管理者；（b）创建虚拟磁盘，每个虚拟磁盘拥有一个唯一标识，对每个唯一标识进行哈希，得到对应的key；（c）每个元数据节点得到节点标示符D；（d）根据key和D的唯一的关联关系，将虚拟磁盘映射到相应的元数据节点，并由元数据节点管理储存映射到其内的虚拟磁盘信息。本发明专利技术整个系统的扰乱性小，需要调整的数据量较少，因此效率极高，并且元数据节点出现故障或者新增元数据节点时，需要调整的数据量少，故障的恢复间短，整个系统的性能极高，稳定性也很强。

【技术实现步骤摘要】
一致性动态均衡的分布式元数据节点架构的工作方法
本专利技术属于云存储领域，具体涉及一致性动态均衡的分布式元数据节点架构的工作方法。
技术介绍
云存储是实现云计算服务能力的不可或缺的关键要素。云存储技术的发展，是因为传统的盘阵存储由于高成本和系统的高负载性，已经难以适应云计算服务对存储的需求。传统盘阵虽然利用专有的、定制设计的硬件组件和互连接口设计集成在一起，保障了的存储的性能和可靠性，但是其单点扩展存在容量上限和接口带宽等限制，面对PB级的海量存储需求，无论是SAN或NAS在容量和性能的扩展上均无法满足应用的需要；且盘阵造价昂贵，标准化程度较低，组件的更换常常导致系统故障或者硬件的升级，从而导致存储成本居高不下。由此，为实现存储的低成本、高可扩展与资源池化，云存储技术应运而生，这其中最关键的是存储虚拟化技术与分布式存储技术的应用。从短期来看，存储化技术可以充分提升现有存储资源的应用水平，实现资源池化，提升设备使用率，降低管理成本。从长远发展来看，分布式存储技术则是未来云存储的发展趋势。分布式系统中的传统方案是虚拟磁盘的元数据信息存放在各元数据节点中，当元数据节点出现故障退出或者新元数据节点加入系统时，系统需要根据新增的元数据节点组网情况，重新分配元数据信息。对于分布式系统，经常会有节点加入或者退出导致系统内大部分数据需要重新调整、传输和同步，降低系统稳定性和可能性，效率也非常低下。
技术实现思路
针对上述现有技术的不足，本专利技术提供一致性动态均衡的分布式元数据节点架构的工作方法，解决了分布式存储技术系统内大部分数据需要重新调整、传输和同步，降低系统稳定性和可能性，效率也非常低下。为了实现上述目的，本专利技术采用的技术方案如下：一致性动态均衡的分布式元数据节点架构的工作方法，包括如下步骤：(a)创建哈希表，建立哈希函数；(b)每个元数据节点被分配给哈希表的一个散列块，并成为这个散列块的管理者；(c)创建虚拟磁盘，每个虚拟磁盘拥有一个唯一标识，对每个唯一标识进行哈希，得到对应的key；(d)每个元数据节点得到节点标示符D；(e)根据key和D的唯一的关联关系，将虚拟磁盘映射到相应的元数据节点，并由元数据节点管理储存映射到其内的虚拟磁盘信息。具体地，当元数据节点发生故障时，则还包括如下步骤：(s1)重新整理哈希表分段，故障元数据节点的散列块段和对应的虚拟磁盘信息由位于其前后的元数据节点接管；(s2)重新使用DHT算法根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值存放在位于故障数据节点的前面或后面的元数据节点上，其余元数据节点上的信息不发生变动。具体地，当新增数据节点时，则还包括以下步骤：(i1)重新整理哈希表分段，新增元数据节点接管位于该新增元数据节点前后的元数据节点的部分散列块段和相应的虚拟磁盘信息；(i2)重新使用DHT算法根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值存放在新增的元数据节点上。。进一步地，若新增的元数据节点接管位于其前后的元数据节点的部分散列块段和相应的虚拟磁盘信息后需要归属到新增的元数据节点，则进行数据迁移。再进一步地，所述进行迁移的数据包括新增元数据节点接管后的部分散列块段和相应虚拟磁盘信息。与现有技术相比，本专利技术具有以下有益效果：(1)本专利技术每个元数据节点被分配给一个散列块，并成为这个散列块的管理者，将虚拟磁盘映射到相应的元数据节点，并由元数据节点管理储存映射到其内的虚拟磁盘信息，整个系统的扰乱性小；(2)本专利技术当元数据节点发生故障时，故障元数据节点的散列块段和对应的虚拟磁盘信息由位于其前后的元数据节点接管，根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值存放在位于其前或后的元数据节点上，其余元数据节点上的信息不发生变动，需要调整的数据量少，故障的恢复间短，整个系统的性能极高，稳定性也很强；(3)本专利技术当新增元数据节点时，新增元数据节点接管位于该元数据节点前后的元数据节点的部分散列块段和相应的虚拟磁盘信息，根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值存放在新增的元数据节点上，此种方式，需要调整的数据量少，故障的恢复间短，整个系统的性能极高，稳定性也很强。附图说明图1为本专利技术的工作流程图。具体实施方式下面结合附图和实施例对本专利技术作进一步说明，本专利技术的实施方式包括但不限于下列实施例。实施例1如图1所示，一致性动态均衡的分布式元数据节点架构的工作方法，包括如下步骤：(a)创建哈希表，建立哈希函数；(b)每个元数据节点被分配给哈希表的一个属于自己的散列块，并成为这个散列块的管理者；(c)创建虚拟磁盘，每个虚拟磁盘拥有一个唯一标识，对每个唯一标识进行哈希，得到key；(d)每个元数据节点得到节点标示符D；(e)根据key和D的唯一的关联关系，将虚拟磁盘映射到相应的元数据节点，并由相应的元数据节点管理储存相应的虚拟磁盘信息。当元数据节点发生故障时，还包括步骤：(s1)重新整理哈希表分段，故障元数据节点的散列块段和对应的虚拟磁盘信息由位于其前后的元数据节点接管；(s2)重新使用DHT算法根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值存放在故障数据节点的前面或后面的元数据节点上，其余元数据节点上的信息不发生变动。当新增数据节点时，还包括以下步骤：(i1)重新整理哈希表分段，新增元数据节点接管位于该新增元数据节点前后的元数据节点的部分散列块段和相应的虚拟磁盘信息；(i2)重新使用DHT算法根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值存放在新增的元数据节点上，若需要归属新增的元数据节点，则进行数据迁移。本方案运用了DHT算法，DHT算法使用分布式哈希函数来解决结构化的分布式存储问题，分布式哈希表实际上是一张很大的散列表；每个元数据节点被分配给一个属于自己的散列块，并成为这个散列块的管理者；创建虚拟磁盘，每个虚拟磁盘拥有一个唯一标识，系统对每个唯一标识进行哈希，得到key，每个元数据节点也得到节点标志符D，关键字标志符(key)和节点标志符都是唯一的，每个key都有一个唯一的关联关系，映射到节点标识符D；将虚拟磁盘映射到元数据节点，并由该元数据节点管理储存该虚拟磁盘的信息。上述方式整个系统的扰乱性小，需要调整的数据量较少，因此效率极高，并且元数据节点出现故障或者新增元数据节点时，需要调整的数据量少，故障的恢复间短，整个系统的性能极高，稳定性也很强。按照上述实施例，便可很好地实现本专利技术。值得说明的是，基于上述结构设计的前提下，为解决同样的技术问题，即使在本专利技术上做出的一些无实质性的改动或润色，所采用的技术方案的实质仍然与本专利技术一样，故其也应当在本专利技术的保护范围内。本文档来自技高网...

【技术保护点】
一致性动态均衡的分布式元数据节点架构，其特征在于，包括如下步骤：（a）创建哈希表，建立哈希函数；（b）每个元数据节点被分配给哈希表的一个散列块，并成为这个散列块的管理者；（c）创建虚拟磁盘，每个虚拟磁盘拥有一个唯一标识，对每个唯一标识进行哈希，得到对应的key；（d）每个元数据节点得到节点标示符D；（e）根据key和D的唯一的关联关系，将虚拟磁盘映射到相应的元数据节点，并由元数据节点管理储存映射到其内的虚拟磁盘信息。

【技术特征摘要】
1.一致性动态均衡的分布式元数据节点架构的工作方法，其特征在于，包括如下步骤：(a)创建哈希表，建立哈希函数；(b)每个元数据节点被分配给哈希表的一个散列块，并成为这个散列块的管理者；(c)创建虚拟磁盘，每个虚拟磁盘拥有一个唯一标识，对每个唯一标识进行哈希，得到对应的key；(d)每个元数据节点得到节点标示符D；(e)根据key和D的唯一的关联关系，将虚拟磁盘映射到相应的元数据节点，并由元数据节点管理储存映射到其内的虚拟磁盘信息；当元数据节点发生故障时，则还包括如下步骤：(s1)重新整理哈希表分段，故障元数据节点的散列块段和对应的虚拟磁盘信息由位于其前后的元数据节点接管；(s2)重新使用DHT算法根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值存放在位于故障数据节点的前...

【专利技术属性】
技术研发人员：黄睿，
申请(专利权)人：成都致云科技有限公司，
类型：发明
国别省市：四川;51