一种元数据分布式系统技术方案

本发明专利技术提供了一种元数据分布式系统，包括：客户端、与客户端相连的至少一个元数据服务器节点组，元数据服务器节点组包括互相连接的主节点和至少一个从节点；客户端，用于若检测到缓存中不存在目标文件元数据，确定预先存储有目标文件元数据的目标主节点，并将处理请求发送至目标主节点；目标主节点，用于按照处理请求对所存储的元数据进行处理；与目标主节点连接的目标从节点，用于备份目标主节点所存储的元数据。该系统由原有的主从架构改为元数据服务器节点组，并且同组内节点互为主从，这就实现了将现有主节点的压力由多个节点承担，从而大大改善了大数据量下系统的性能。

【技术实现步骤摘要】
一种元数据分布式系统
本专利技术涉及云计算数据
，更具体地说，涉及一种元数据分布式系统。
技术介绍
用户数据在文件系统中以文件的方式进行存储，文件由文件数据和元数据构成，其中，文件数据为用户数据的内容，而元数据则为描述文件数据的数据，比如如何找到该文件数据。现阶段的元数据分布式系统多采用“一主多从”的结构，主节点负责元数据的存储和访问，从节点则进行元数据的备份。但是随着数据规模的不断扩大，这种架构严重影响了系统的性能，成为元数据分布式系统的发展瓶颈。
技术实现思路
为解决上述问题，本专利技术提供一种元数据分布式系统及方法，技术方案如下：一种元数据分布式系统，包括：客户端、与所述客户端相连的至少一个元数据服务器节点组，所述元数据服务器节点组包括互相连接的主节点和至少一个从节点；所述客户端，用于若检测到缓存中不存在目标文件元数据，确定预先存储有所述目标文件元数据的目标主节点，并将处理请求发送至所述目标主节点；所述目标主节点，用于按照所述处理请求对所存储的元数据进行处理；与所述目标主节点连接的目标从节点，用于备份所述目标主节点所存储的元数据。优选的，所述目标主节点，具体用于：在所述处理请求为读请求的情况下，将所存储的元数据反馈至所述客户端。优选的，所述目标主节点，具体用于：在所述处理请求为写/修改请求的情况下，对所存储的元数据进行写/修改操作；在检测到写/修改操作成功的情况下，将操作结果反馈至所述客户端，并将所述写/修改请求转发至所述目标从节点；所述目标从节点，具体用于：在接收到所述目标主节点所转发的所述写/修改请求的情况下，对所存储的元数据进行写/修改操作；在检测到写/修改操作成功的情况下，将用于表征操作成功的第一提示信息反馈至所述目标主节点。优选的，所述目标主节点，还用于：在检测到写/修改操作失败的情况下，统计当前重试操作的次数；如果所述次数小于预设次数阈值，则返回执行所述对所存储的元数据进行写/修改操作，这一步骤；如果所述次数不小于预设次数阈值，向所述客户端反馈用于表征操作失败的第二提示信息。优选的，所述目标从节点，还用于：在检测到写/修改操作失败的情况下，统计当前重试操作的次数；如果所述次数小于预设次数阈值，则返回执行所述对所存储的元数据进行写/修改操作，这一步骤；如果所述次数不小于预设次数阈值，向所述目标主节点反馈用于表征操作失败的第三提示信息；所述目标主节点或所述客户端或所述目标从节点还用于记录所述目标主节点操作成功和所述目标从节点操作失败不一致的信息。优选的，所述目标主节点，具体用于：在所述处理请求为写/修改请求的情况下，对所存储的元数据进行写/修改操作，并将所述写/修改请求转发至所述目标从节点；在检测到写/修改操作成功且接收到所述目标从节点所反馈的用于表征操作成功的第四提示信息的情况下，将操作结果反馈至所述客户端；所述目标从节点，具体用于：在接收到所述目标主节点所转发的所述写/修改请求的情况下，对所存储的元数据进行写/修改操作；在检测到写/修改操作成功的情况下，将用于表征操作成功的第五提示信息反馈至所述目标主节点。优选的，所述目标主节点，还用于：在检测到写/修改操作失败的情况下，统计当前重试操作的次数；如果所述次数小于预设次数阈值，则返回执行所述对所存储的元数据进行写/修改操作，并将所述写/修改请求转发至所述目标从节点，这一步骤；如果所述次数不小于预设次数阈值，向所述客户端反馈用于表征操作失败的第六提示信息。优选的，所述目标从节点，还用于：在检测到写/修改操作失败的情况下，统计当前重试操作的次数；如果所述次数小于预设次数阈值，则返回执行所述对所存储的元数据进行写/修改操作，这一步骤；如果所述次数不小于预设次数阈值，通过所述目标主节点向所述客户端反馈用于表征操作失败的第七提示信息。优选的，所述目标从节点，还用于：在所述目标主节点处于故障状态的情况下，切换为备用主节点。优选的，所述目标主节点，还用于：在重新处于正常状态的情况下，同步所述目标从节点作为备用主节点时所存储的元数据。相较于现有技术，本专利技术实现的有益效果为：本专利技术实施例提供一种元数据分布式系统，由原有的主从架构改为元数据服务器节点组，并且同组内节点互为主从，这就实现了将现有主节点的压力由多个节点承担，从而大大改善了大数据量下系统的性能。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的元数据分布式系统结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。……本专利技术实施例提供一种元数据分布式系统，其结构示意图如图1所示，该系统包括：客户端10、与客户端相连的至少一个元数据服务器节点组20，元数据服务器节点组20包括互相连接的主节点和至少一个从节点。在实际应用中，每个节点(不管是主节点，还是从节点)都是由主子节点和从子节点构成，对于元数据的处理是由主子节点完成的，而从子节点则与其他节点的主子节点连接，以此来实现节点之间的互相连接。客户端10，用于若检测到缓存中不存在目标文件元数据，确定预先存储有目标文件元数据的目标主节点，并将处理请求发送至目标主节点。本实施例中，客户端10在发送处理请求之前，首先检测缓存中是否存在目标文件元数据，如果缓存中存在目标文件元数据，则直接获取该元数据，进而按照处理请求对该元数据进行处理。而如果缓存中不存在目标文件元数据，则表示该客户端未处理过该目标文件的元数据或者处理过但被清除掉，这就需要确定预先存储有该目标文件元数据的目标主节点，并将处理请求发送至该目标主节点。在实际应用过程中，可以采用哈希hash算法确定目标主节点，具体可利用hash算法对目标文件的绝对路径，也就是存储路径进行哈希运算，以获得与处理请求相匹配的目标主节点的节点标号。需要说明的是，同一处理请求所确定的节点标号是相同的，反之，不同处理请求所确定的节点标号是由hash算法所确定的随机值。目标主节点，用于按照处理请求对所存储的元数据进行处理；与目标主节点连接的目标从节点，用于备份目标主节点所存储的元数据。本实施例中，处理请求包括读请求、写请求和修改请求中的任意一个或多个。1、在处理请求为读请求的情况下，目标主节点直接将所存储的元数据反馈至客户端。2、在处理请求为写/修改请求的情况下，目标主节点按照处理请求对所存储的元数据进行处理的一种方式如下：对所存储的元数据进行写/修改操作；在检测到写/修改操作成功的情况下，将操作结果反馈至客户端，并将写/修改请求转发至目标从节点；此时，目标从节点备份目标主节点所存储的元数据的过程如下：在接收到目标主节点所转发的写/修改请求的情况下，对所存储的元数据进行写/修改操作；在检测到写/修改操作成功的情况下，存储操作结果，将用于表征操作成功的第一提示信息反馈本文档来自技高网...

【技术保护点】
1.一种元数据分布式系统，其特征在于，包括：客户端、与所述客户端相连的至少一个元数据服务器节点组，所述元数据服务器节点组包括互相连接的主节点和至少一个从节点；所述客户端，用于若检测到缓存中不存在目标文件元数据，确定预先存储有所述目标文件元数据的目标主节点，并将处理请求发送至所述目标主节点；所述目标主节点，用于按照所述处理请求对所存储的元数据进行处理；与所述目标主节点连接的目标从节点，用于备份所述目标主节点所存储的元数据。

【技术特征摘要】
1.一种元数据分布式系统，其特征在于，包括：客户端、与所述客户端相连的至少一个元数据服务器节点组，所述元数据服务器节点组包括互相连接的主节点和至少一个从节点；所述客户端，用于若检测到缓存中不存在目标文件元数据，确定预先存储有所述目标文件元数据的目标主节点，并将处理请求发送至所述目标主节点；所述目标主节点，用于按照所述处理请求对所存储的元数据进行处理；与所述目标主节点连接的目标从节点，用于备份所述目标主节点所存储的元数据。2.根据权利要求1所述的系统，其特征在于，所述目标主节点，具体用于：在所述处理请求为读请求的情况下，将所存储的元数据反馈至所述客户端。3.根据权利要求1所述的系统，其特征在于，所述目标主节点，具体用于：在所述处理请求为写/修改请求的情况下，对所存储的元数据进行写/修改操作；在检测到写/修改操作成功的情况下，将操作结果反馈至所述客户端，并将所述写/修改请求转发至所述目标从节点；所述目标从节点，具体用于：在接收到所述目标主节点所转发的所述写/修改请求的情况下，对所存储的元数据进行写/修改操作；在检测到写/修改操作成功的情况下，将用于表征操作成功的第一提示信息反馈至所述目标主节点。4.根据权利要求3所述的系统，其特征在于，所述目标主节点，还用于：在检测到写/修改操作失败的情况下，统计当前重试操作的次数；如果所述次数小于预设次数阈值，则返回执行所述对所存储的元数据进行写/修改操作，这一步骤；如果所述次数不小于预设次数阈值，向所述客户端反馈用于表征操作失败的第二提示信息。5.根据权利要求3所述的系统，其特征在于，所述目标从节点，还用于：在检测到写/修改操作失败的情况下，统计当前重试操作的次数；如果所述次数小于预设次数阈值，则返回执行所述对所存储的元数据进行写/修改操作，这一步骤；如果所述次数不小于预设次数阈值，向所述目标主节点反馈...

【专利技术属性】
技术研发人员：邸忠辉，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41