一种分布式存储系统的数据管理方法技术方案

本申请公开了一种分布式存储系统的数据管理方法

【技术实现步骤摘要】
一种分布式存储系统的数据管理方法、装置及设备和介质


[0001]本申请涉及计算机
，更具体地说，涉及一种分布式存储系统的数据管理方法
、
装置及设备和介质
。

技术介绍

[0002]在大型的分布式存储中，网络拓扑结构有许多种，例如非阻塞型
fat
‑
tree
网络拓扑
、
阻塞型
fat
‑
tree
（胖树）网络拓扑
。
非阻塞型
fat
‑
tree
网络拓扑其任意两点之间的网络带宽是不阻塞的，但任意两点之间的时延是不一样的，其主要缺点是成本高
。
阻塞型
fat
‑
tree
网络拓扑其任意两点之间的网络带宽是阻塞的，任意两点之间的时延也是不一样的，其优势是成本低
。
[0003]为了充分发挥高速介质的性能，需要对网络时延进行优化
。
考虑成本因素，优化的主要目标是在阻塞网络的情况下，缩短网络路径，减少本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种分布式存储系统的数据管理方法，其特征在于，应用于所述分布式存储系统中的任务跟踪管理模块，所述分布式存储系统包括级联交换机
、
多个叶子交换机
、
多个客户端
、
多个服务器
、
元数据服务器和所述任务跟踪管理模块，所有所述叶子交换机均连接至所述级联交换机，每个所述叶子交换机分别连接多个所述客户端
、
多个所述服务器，所述元数据服务器连接其中一个叶子交换机，所述任务跟踪管理模块连接其中一个叶子交换机；所述方法包括：当接收到目标任务时，确定所述目标任务对应的数据所在的目标服务器；确定与所述目标服务器连接相同的叶子交换机的候选客户端，在所述候选客户端中选择执行所述目标任务的目标客户端，以便利用所述目标客户端执行所述目标任务
。2.
根据权利要求1所述数据管理方法，其特征在于，所述确定所述目标任务对应的数据所在的目标服务器，包括：查询所述元数据服务器或本地缓存确定所述目标任务对应的数据所在的目标服务器
。3.
根据权利要求1所述数据管理方法，其特征在于，所述确定与所述目标服务器连接相同的叶子交换机的候选客户端，包括：查询所述目标服务器或本地缓存确定与所述目标服务器连接相同的叶子交换机的候选客户端
。4.
根据权利要求1所述数据管理方法，其特征在于，在所述候选客户端中选择执行所述目标任务的目标客户端，包括：选择负载最轻的候选客户端作为执行所述目标任务的目标客户端
。5.
根据权利要求1所述数据管理方法，其特征在于，所述元数据服务器和所述任务跟踪管理模块连接同一叶子交换机
。6.
根据权利要求1所述数据管理方法，其特征在于，所述确定所述目标任务对应的数据所在的目标服务器，包括：获取所述目标任务对应的数据的分布情况，根据所述分布情况将所述目标任务划分为多个子任务，确定每个所述子任务对应的数据所在的目标服务器；相应的，所述确定与所述目标服务器连接相同的叶子交换机的候选客户端，在所述候选客户端中选择执行所述目标任务的目标客户端，以便利用所述目标客户端执行所述目标任务，包括：确定与所述目标服务器连接相同的叶子交换机的候选客户端，在所述候选客户端中选择执行所述子任务的目标客户端，以便利用所述目标客户端执行所述子任务
。7.
根据权利要求6所述数据管理方法，其特征在于，所述获取所述目标任务对应的数据的分布情况，包括：通过查询所述元数据服务器或本地缓存获取所述目标任务对应的数据的分布情况
。8.
根据权利要求1所述数据管理方法，其特征在于，若所述分布式存储系统为分布式文件存储系统，则所述方法还包括：当接收到第一目标目录的创建任务时，确定执行所述创建任务的第一目标客户端，以便所述第一目标客户端通过元数据服务器查询所述第一目标目录的父目录所在的第一目标服务器和第一叶子交换机，在与除所述第一叶子交换之外的其他叶子交换机连接的服务器中选择第二目标服务器，在所述第二目标服务器中创建所述第一目标目录
。
9.
根据权利要求8所述数据管理方法，其特征在于，所述在与除所述第一叶子交换之外的其他叶子交换机连接的服务器中选择第二目标服务器，包括：确定与除所述第一叶子交换之外的其他叶子交换机连接的服务器的第一服务器数量；对所述第一目标目录的目录名的哈希值按照所述第一服务器数量取模，根据取模结果选择第二目标服务器
。10.
根据权利要求1所述数据管理方法，其特征在于，若所述分布式存储系统为分布式文件存储系统，则所述当接收到目标任务时，确定所述目标任务对应的数据所在的目标服务器，包括：当接收到第二目标目录的读取任务时，确定所述第二目标目录所在的第三目标服务器；相应的，确定与所述目标服务器连接相同的叶子交换机的候选客户端，在所述候选客户端中选择执行所述目标任务的目标客户端，以便利用所述目标客户端执行所述目标任务，包括：确定与所述第三目标服务器连接相同的叶子交换机的候选客户端，在所述候选客户端中选择执行所述读取任务的第二目标客户端，以便所述第二目标客户端读取所述第二目标目录
。11.
根据权利要求1所述数据管理方法，其特征在于，若所述分布式存储系统为分布式文件存储系统，则所述当接收到目标任务时，确定所述目标任务对应的数据所在的目标服务器，包括：当接收到第一目标文件的写任务时，确定所述第一目标文件的父目录所在的第四目标服务器；相应的，所述确定与所述目标服务器连接相同的叶子交换机的候选客户端，在所述候选客户端中选择执行所述目标任务的目标客户端，以便利用所述目标客户端执行所述目标任务，包括：确定与所述第四目标服务器连接相同的叶子交换机的候选客户端，在所述候选客户端中选择执行所述写任务的第三目标客户端，以便所述第三目标客户端将所述第一目标文件写入与所述第四目标服务器连接相同的叶子交换机的服务器中
。12.
根据权利要求
11
所述数据管理方法，其特征在于，所述第三目标客户端将所述第一目标文件写入与所述第四目标服务器连接相同的叶子交换机的服务器中之前，还包括：所述第三目标客户端在与所述第四目标服务器连接相同的叶子交换机的服务器中选择第五目标服务器，并将所述第一目标文件的元数据写入所述第五目标服务器
。13.
根据权利要求
12
所述数据管理方法，其特征在于，所述第三目标客户端在与所述第四目标服务器连接相同的叶子交换机的服务器中选择第五目标服务器，包括：所述第三目标客户端确定与所述第四目标服务器连接...

【专利技术属性】
技术研发人员：田智勇，李博乐，刘帅，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：