一种基于分布式存储的分布式调度方法技术

本发明专利技术公开了一种基于分布式存储的分布式调度方法，包括获取分布式存储节点的内存占用、磁盘占用和CPU占用，根据内存占用、磁盘占用和CPU占用获取分布式存储节点获取任务的权重，得到第一分布式存储序列；根据访问延迟进行排序得到对应用户的第二分布式存储序列；分别计算对应用户的第二分布式存储序列中各分布式存储节点对任务的处理速率，根据分布式存储节点对任务的处理速率以及该分布式存储节点获取任务的权重，得到对应用户的分布式存储节点获取任务的权重，根据对应用户的分布式存储节点获取任务的权重进行排序，得到第三分布式存储序列；步骤四，根据第三分布式存储序列和用户数据评价，完成用户数据分布式存储。完成用户数据分布式存储。完成用户数据分布式存储。

【技术实现步骤摘要】
一种基于分布式存储的分布式调度方法


[0001]本专利技术涉及数据存储领域，具体是一种基于分布式存储的分布式调度方法。

技术介绍

[0002]分布式存储是由多个节点，通过组网连接，共同提供存储服务的一种技术，分布式调度是指在多节点之间的一种任务调度方式，随着数据规模的日益扩大，数据业务的急速扩增，云端集中化存储开始向分布式领域扩展，传统的集中化数据有着很大的瓶颈，但是在分布式存储中，数据的合理调度是一个很大的问题，需要满足高并发，高可用的需求。在现有系统中，很多分布式调度模块实现的并不是十分理想，没有考虑到业务规模的支撑，也没有考虑各种复杂业务常见下的鲁棒性，因此，亟需一种分布式存储下的分布式调度方法。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，提供一种基于分布式存储的分布式调度方法，包括如下步骤：步骤一，获取分布式存储节点的内存占用、磁盘占用和CPU占用，根据内存占用、磁盘占用和CPU占用获取分布式存储节点获取任务的权重，根据分布式存储节点获取任务的权重对存储节点进行排序，得到第一分布式存储序列；步骤二，根据第一分布式存储序列，获取用户与第一分布式存储序列中各分布式存储节点的访问延迟，根据访问延迟进行排序得到对应用户的第二分布式存储序列；步骤三，分别计算对应用户的第二分布式存储序列中各分布式存储节点对任务的处理速率，根据分布式存储节点对任务的处理速率以及该分布式存储节点获取任务的权重，得到对应用户的分布式存储节点获取任务的权重，根据对应用户的分布式存储节点获取任务的权重进行排序，得到第三分布式存储序列；步骤四，根据第三分布式存储序列和用户数据评价，完成用户数据分布式存储。
[0004]进一步的，所述的根据内存占用、磁盘占用和CPU占用获取分布式存储节点获取任务的权重，采用如下公式：其中a表示内存占用，b表示磁盘占用，c表示CPU占用，d表示距离权重。
[0005]进一步的，所述的根据第一分布式存储序列，获取用户与第一分布式存储序列中各分布式存储节点的访问延迟，根据访问延迟进行排序得到对应用户的第二分布式存储序列，包括：将用户测试数据包打上时间戳分别发送给第一分布式存储序列中各分布式存储节点，获取各分布式存储节点接收到用户测试数据包的时间，根据各分布式存储节点接收到用户测试数据包的时刻与用户测试数据包的时间戳得到访问延迟。
[0006]进一步的，所述的分别计算对应用户的第二分布式存储序列中各分布式存储节点对任务的处理速率，包括：获取分布式存储节点存储完成用户测试数据包的时刻，根据分布式存储节点接收到用户测试数据包的时刻与分布式存储节点存储完成用户测试数据包的
时刻，得到用户测试数据包的处理时长，根据处理时长与用户测试数据包的数据大小得到处理速率。
[0007]进一步的，所述的根据分布式存储节点对任务的处理速率以及该分布式存储节点获取任务的权重，得到对应用户的分布式存储节点获取任务的权重，包括根据得到的处理速率与分布式存储节点获取任务的权重的乘积，得到应用户的分布式存储节点获取任务的权重。
[0008]进一步的，所述的根据第三分布式存储序列和用户数据评价，完成用户数据分布式存储，包括：分别给第三分布式存储序列中的分布式存储节点设置用户数据离散率阈值，根据用户数据评价得到的用户数据离散率阈值，依次匹配第三分布式存储序列中的分布式存储节点，将用户数据存储到匹配的分布式存储节点中。
[0009]进一步的，所述的用户数据离散率阈值为：。
[0010]本专利技术的有益效果是： 本专利技术提供了一种在分布式存储的一种调度方式，能保证数据能合理的分配到各个分布式节点，根据节点的资源状况，按任务的优先级进行分配，大大节省了资源分配的效率，提高了系统的鲁棒性。
附图说明
[0011]图1为一种基于分布式存储的分布式调度方法的流程示意图。
具体实施方式
[0012]下面结合附图进一步详细描述本专利技术的技术方案，但本专利技术的保护范围不局限于以下所述。
[0013]为了使本专利技术的目的，技术方案及优点更加清楚明白，结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术，即所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0014]因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
[0015]而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。
[0016]以下结合实施例对本专利技术的特征和性能作进一步的详细描述。如图1所示，一种基于分布式存储的分布式调度方法，包括如下步骤：步骤一，获取分布式存储节点的内存占用、磁盘占用和CPU占用，根据内存占用、磁盘占用和CPU占用获取分布式存储节点获取任务的权重，根据分布式存储节点获取任务的权重对存储节点进行排序，得到第一分布式存储序列；步骤二，根据第一分布式存储序列，获取用户与第一分布式存储序列中各分布式存储节点的访问延迟，根据访问延迟进行排序得到对应用户的第二分布式存储序列；步骤三，分别计算对应用户的第二分布式存储序列中各分布式存储节点对任务的处理速率，根据分布式存储节点对任务的处理速率以及该分布式存储节点获取任务的权重，得到对应用户的分布式存储节点获取任务的权重，根据对应用户的分布式存储节点获取任务的权重进行排序，得到第三分布式存储序列；步骤四，根据第三分布式存储序列和用户数据评价，完成用户数据分布式存储。
[0017]所述的根据内存占用、磁盘占用和CPU占用获取分布式存储节点获取任务的权重，采用如下公式：其中a表示内存占用，b表示磁盘占用，c表示CPU占用，d表示距离权重。
[0018]所述的根据第一分布式存储序列，获取用户与第一分布式存储序列中各分布式存储节点的访问延迟，根据访问延迟进行排序得到对应用户的第二分布式存储序列，包括：将用户测试数据包打上时间戳分别发送给第一分布式存储序列中各分布式存储节点，获取各分布式存储节点接收到用户测试数据包的时间，根据各分布式存储节点接收到用户测试数据包的时刻与用户测试数据包的时间戳得到访问延迟。
[0019]所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式存储的分布式调度方法，其特征在于，包括如下步骤：步骤一，获取分布式存储节点的内存占用、磁盘占用和CPU占用，根据内存占用、磁盘占用和CPU占用获取分布式存储节点获取任务的权重，根据分布式存储节点获取任务的权重对存储节点进行排序，得到第一分布式存储序列；步骤二，根据第一分布式存储序列，获取用户与第一分布式存储序列中各分布式存储节点的访问延迟，根据访问延迟进行排序得到对应用户的第二分布式存储序列；步骤三，分别计算对应用户的第二分布式存储序列中各分布式存储节点对任务的处理速率，根据分布式存储节点对任务的处理速率以及该分布式存储节点获取任务的权重，得到对应用户的分布式存储节点获取任务的权重，根据对应用户的分布式存储节点获取任务的权重进行排序，得到第三分布式存储序列；步骤四，根据第三分布式存储序列和用户数据评价，完成用户数据分布式存储。2.根据权利要求1所述的一种基于分布式存储的分布式调度方法，其特征在于，所述的根据内存占用、磁盘占用和CPU占用获取分布式存储节点获取任务的权重，采用如下公式：其中a表示内存占用，b表示磁盘占用，c表示CPU占用，d表示距离权重。3.根据权利要求1所述的一种基于分布式存储的分布式调度方法，其特征在于，所述的根据第一分布式存储序列，获取用户与第一分布式存储序列中各分布式存储节点的访问延迟，根据访问延迟进行排序得到对应用户的第二分布式存储序列，包括：将用户测试数据包打上时间戳分别发送给第一分布式存储序列中各分布式...

【专利技术属性】
技术研发人员：姚军，黄虹兵，陈海洪，
申请(专利权)人：四川汉唐云分布式存储技术有限公司，
类型：发明
国别省市：