分布式对象存储系统中元数据的分布管理方法技术方案

本发明专利技术公开了一种分布式对象存储系统中元数据的分布管理方法，本方法在所有元数据节点之前设置监测服务器，元数据将节点信息定时汇报给监测服务器；当某节点子树A的整体热度超过热点限定值Lhot后，监测服务器选择最适合的低载元数据节点作为节点子树A的副本子树负载节点并提取节点子树A元数据缓存；监测服务器将一半以上的读访问过渡到低载元数据节点的热点子树A’；当两个节点子树的热度均衡的降到回温界限值的时候,监测服务器启动热点副本子树的回收机制。本方法通过智能散列算法，解决实际生产应用中动态子树分布管理模式中对于热点元数据不能均衡处理、网络机器影响因素考虑不周、无法动态增删、元数据拷贝延迟等问题。

Distributed management method of meta data in distributed object storage system

The invention discloses a distribution management method for distributed object storage system metadata, the method of setting the monitoring server before all the metadata, metadata will be reported to the monitoring server node information from time to time; when the overall heat of a section of A more than a hot idea tree limit value Lhot, monitoring server selects the most suitable low load metadata node as a copy of the A node subtree subtree node load and extract section idea tree A metadata cache; monitoring server will be more than half of the read access to the transition to a low load metadata node hot subtree A '; when the two node of the subtree heat balance to fall back to temperature limit, the recovery mechanism of monitoring server startup hot copy subtree the. The intelligent hashing algorithm is applied to solve the problems of uneven distribution of hot metadata, ineffective factors of network machines, dynamic additions and deletions, and metadata copy delay in dynamic subtree distribution management mode.

【技术实现步骤摘要】
分布式对象存储系统中元数据的分布管理方法
本专利技术涉及一种分布式对象存储系统中元数据的分布管理方法。
技术介绍
在计算机数据存储和管理
，目前的分布式对象存储系统一般分为三大类：对象存储系统、块存储系统和文件存储系统，从开放性、灵活性和高可用角度，对象存储系统无疑是最具价值的存储系统，但怎么解决存储系统中的元数据分布一直是分布式对象存储系统中的难点。当前存储系统中的元数据的分布管理一般分为三大类：基于hash的元数据分布管理模式、静态子树分布管理模式以及动态子树分布管理模式。基于hash的元数据分布管理模式一般基于不同的hash算法，均衡的将元数据分配到系统中不同的元数据节点上，不会造成单点的性能瓶颈。但该模式在扩展和元数据的迁移方面一直存在诸多问题，而且该模式只是保证元数据的均匀分布，无法解决热点元数据的访问问题。静态子树分布管理模式采用树形的元数据分布概念，可以很方便的扩展元数据并保持元数据的一致性。但是该模式使元数据很难进行动态的负载均衡调整，而且在处理热点元数据上同样存在无法动态调整的问题。动态子树分布管理模式将元数据存储在底层的对象存储中，将应用时的缓存动态均匀的分本文档来自技高网...

【技术保护点】
一种分布式对象存储系统中元数据的分布管理方法，其特征在于本方法包括如下步骤：步骤一、在分布式对象存储系统中的所有元数据节点之前设置监测服务器，所有元数据将自己的节点信息定时汇报给监测服务器，监测服务器根据各个元数据汇报的节点信息对目前系统中可用的元数据节点进行权重等级计算划分；步骤二、当某节点子树A的整体热度超过热点限定值Lhot后，监测服务器自动在已经划分好权重等级的元数据节点记录中计算出性能和热度综合状况最适合的低载元数据节点作为节点子树A的副本子树负载节点；步骤三、低载元数据节点收到监测服务器发出的指令后，在底层元数据统一存储中提取需要复制的节点子树A元数据缓存，在节点子树A元数据缓存提...

【技术特征摘要】
1.一种分布式对象存储系统中元数据的分布管理方法，其特征在于本方法包括如下步骤：步骤一、在分布式对象存储系统中的所有元数据节点之前设置监测服务器，所有元数据将自己的节点信息定时汇报给监测服务器，监测服务器根据各个元数据汇报的节点信息对目前系统中可用的元数据节点进行权重等级计算划分；步骤二、当某节点子树A的整体热度超过热点限定值Lhot后，监测服务器自动在已经划分好权重等级的元数据节点记录中计算出性能和热度综合状况最适合的低载元数据节点作为节点子树A的副本子树负载节点；步骤三、低载元数据节点收到监测服务器发出的指令后，在底层元数据统一存储中提取需要复制的节点子树A元数据缓存，在节点子树A元数据缓存提取完之后通知监测服务器，低载元数据节点对于需要复制的节点子树A的元数据已经提取完毕，可以进行读访问的负载均衡；步骤四、监测服务器监控到低载元数据节点对节点子树A元数据的缓存复制结束后，通知节点子树A，开始平滑均衡的将一半以上的读访问过渡到低载元数据节点的热点子树A’；步骤五、监测服务器根据系统整体节点性能和节点子树A、热点子树A’的热度算出节点子树A和热点子树A’的访问权重值并定时更新，权重值为1表明系统中该节点子树只有一个，可直接访问，权重值小于1表明系统中该节点子树有两个，新的访问根据权重值通过hash算法...

【专利技术属性】
技术研发人员：韩欣，陈大伟，谢赟，樊飞，
申请(专利权)人：上海德拓信息技术股份有限公司，
类型：发明
国别省市：上海,31