任务调配方法、分布式存储系统、服务器技术方案

本申请涉及数据存储技术领域，公开了任务调配方法、分布式存储系统、服务器。该方法包括：服务器获取若干节点设备各自磁盘的状态数据，状态数据包括磁盘输入输出随机度信息；服务器根据状态数据在若干节点设备中进行任务调配，以将任务从磁盘性能低的磁盘调配到磁盘性能高的磁盘。通过上述方式，能够提升若干节点设备中磁盘的存储资源利用率，进而提升以服务器和若干节点设备构成的分布式存储系统的存储服务能力。存储服务能力。存储服务能力。

【技术实现步骤摘要】
任务调配方法、分布式存储系统、服务器


[0001]本申请涉及数据存储
，特别是涉及任务调配方法、分布式存储系统、服务器及计算机可读存储介质。

技术介绍

[0002]随着云计算、大数据等新型技术的发展，产生了大量数据，这对于存储的要求也越来越高，存储的性能、稳定性、可靠性成了分布式存储系统关注的焦点。另外，为了适应大数据量下的数据处理，存储的应用性能要求越来越高，应用的复杂度越来越高。
[0003]在整个分布式存储系统中，节点设备的磁盘的性能各不相同，随着使用时间增长，磨损程度不同，各节点设备的磁盘的性能差异会变得更大，导致出现磁盘超负荷的问题，影响分布式存储系统的存储服务能力。

技术实现思路

[0004]本申请主要解决的技术问题是提供任务调配方法、分布式存储系统、服务器及计算机可读存储介质，能够提升若干节点设备中磁盘的存储资源利用率，进而提升以服务器和若干节点设备构成的分布式存储系统的存储服务能力。
[0005]本申请采用的一种技术方案是提供一种任务调配方法，该方法包括：服务器获取若干节点设备各自磁盘的状态数据，状态数据包括磁盘输入输出随机度信息；服务器根据状态数据在若干节点设备中进行任务调配，以将任务从磁盘性能低的磁盘调配到磁盘性能高的磁盘。
[0006]其中，服务器根据状态数据在若干节点设备中进行任务调配包括：服务器从状态数据中得到磁盘输入输出随机度信息；服务器比较磁盘输入输出随机度信息与随机度阈值，根据比较结果在若干节点设备中进行任务调配。
[0007]其中，根据比较结果在若干节点设备中进行任务调配包括：根据比较结果得到磁盘运行饱和度；根据磁盘运行饱和度在若干节点设备中进行任务调配。
[0008]其中，状态数据还包括读写延时信息；根据比较结果得到磁盘运行饱和度包括：根据若干节点设备的负载信息、读写延时信息和比较结果得到运行饱和度。
[0009]其中，根据磁盘运行饱和度在若干节点设备中进行任务调配包括：将若干节点设备中磁盘运行饱和度大于运行饱和度阈值的节点设备的任务调配给磁盘运行饱和度小于运行饱和度阈值的节点设备。
[0010]其中，服务器根据状态数据在若干节点设备中进行任务调配包括：服务器中的任务调配模块根据状态数据在若干节点设备中进行任务调配。
[0011]本申请采用的另一种技术方案是提供一种分布式存储系统，该分布式存储系统包括：若干节点设备；服务器，与若干节点设备通信连接，用于获取若干节点设备各自磁盘的状态数据，状态数据包括磁盘输入输出随机度信息；并根据状态数据在若干节点设备中进行任务调配，以将任务从磁盘性能低的磁盘调配到磁盘性能高的磁盘。
[0012]其中，若干节点设备均包括磁盘状态检测模块，用于采集若干节点设备各自磁盘的状态数据。
[0013]本申请采用的另一种技术方案是提供一种服务器，该服务器包括处理器和与处理器连接的存储器、通信电路；其中，通信电路用于与节点设备通信，存储器用于存储程序数据，处理器用于执行程序数据，以实现如上述技术方案提供的任务调配方法。
[0014]本申请采用的另一种技术方案是提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序数据，程序数据在被处理器执行时，用于实现如上述技术方案提供的任务调配方法。
[0015]本申请的有益效果是：区别于现有技术的情况，本申请的服务器利用若干节点设备中磁盘的状态数据，将任务从磁盘性能低的磁盘调配到磁盘性能高的磁盘，实现任务动态调配，能够提升若干节点设备中磁盘的存储资源利用率，进而提升以服务器和若干节点设备构成的分布式存储系统的存储服务能力。
附图说明
[0016]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
[0017]图1是本申请提供的分布式存储系统一实施例的结构示意图；
[0018]图2是本申请提供的任务调配方法一实施例的流程示意图；
[0019]图3是本申请提供的任务调配方法另一实施例的流程示意图；
[0020]图4是本申请提供的图3中步骤32的具体流程示意图；
[0021]图5是本申请提供的图4中步骤322的具体流程示意图；
[0022]图6是本申请提供的任务调配方法另一实施例的流程示意图；
[0023]图7是本申请提供的分布式存储系统另一实施例的结构示意图；
[0024]图8是本申请提供的分布式存储系统中节点设备和服务器的交互示意图；
[0025]图9是本申请提供的服务器一实施例的结构示意图；
[0026]图10是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
[0027]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0028]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0029]参阅图1，图1是本申请提供的分布式存储系统一实施例的结构示意图。分布式存储系统10包括服务器11和若干节点设备12。分布式存储系统10是将数据分散存储在若干节点设备12的磁盘上。分布式存储系统10采用可扩展的系统结构，利用若干节点设备12分担存储负荷，利用服务器11定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
[0030]参阅图2，图2是本申请提供的任务调配方法一实施例的流程示意图。该方法包括：
[0031]步骤21：服务器获取若干节点设备各自磁盘的状态数据，状态数据包括磁盘输入输出随机度信息。
[0032]在本实施例中，服务器与若干节点设备通信连接，服务器可为每个节点设备分配相应的任务。对应的节点设备中的磁盘则会进行读写操作，来响应该任务。因此，当任务运行时，会生成相应的输入输出请求。当多个任务同时运行时，会产生大量的输入输出请求。节点设备可根据这些输入输出请求计算出对应的磁盘输入输出随机度信息。
[0033]具体地，输入输出请求包括随机输入输出请求和顺序输入输出请求。在计算磁盘输入输出随机度信息时，先计算随机输入输出请求和顺序输入输出请求的总数，然后求出随机输入输出请求在总数中的占比，将该占比作为磁盘输入输出随机度信息。...

【技术保护点】

【技术特征摘要】
1.一种任务调配方法，其特征在于，所述方法包括：服务器获取若干节点设备各自磁盘的状态数据，所述状态数据包括磁盘输入输出随机度信息；所述服务器根据所述状态数据在所述若干节点设备中进行任务调配，以将任务从磁盘性能低的磁盘调配到磁盘性能高的磁盘。2.根据权利要求1所述的方法，其特征在于，所述服务器根据所述状态数据在所述若干节点设备中进行任务调配包括：所述服务器从所述状态数据中得到所述磁盘输入输出随机度信息；所述服务器比较所述磁盘输入输出随机度信息与随机度阈值，根据比较结果在所述若干节点设备中进行任务调配。3.根据权利要求2所述的方法，其特征在于，所述根据比较结果在所述若干节点设备中进行任务调配包括：根据所述比较结果得到磁盘运行饱和度；根据所述磁盘运行饱和度在所述若干节点设备中进行任务调配。4.根据权利要求3所述的方法，其特征在于，所述状态数据还包括读写延时信息；所述根据所述比较结果得到磁盘运行饱和度包括：根据所述若干节点设备的负载信息、所述读写延时信息和所述比较结果得到所述运行饱和度。5.根据权利要求3所述的方法，其特征在于，所述根据所述磁盘运行饱和度在所述若干节点设备中进行任务调配包括：利用所述若干节点设备的所述磁盘运行饱和度得到平均磁盘运行饱和度；将所述磁盘运行饱和度高于所述平均磁盘运行饱和度的部分所述若干节点设备的任务调配...

【专利技术属性】
技术研发人员：尹欣，
申请(专利权)人：深圳市网心科技有限公司，
类型：发明
国别省市：