面向共享式突发数据缓存的基于竞争感知的节点分配方法组成比例

本发明专利技术公开了一种面向共享式突发数据缓存的基于竞争感知的节点分配方法，包括：实时记录和分析当前运行的作业应用的I/O状态信息；实时监控当前运行的作业应用在突发数据缓存系统中的分布情况，并利用运行的作业应用的I/O状态信息计算缓存节点的负载量；利用缓存节点调度分配算法，根据突发数据缓存系统中缓存节点的I/O带宽竞争情况与的负载量，为即将运行的作业应用分配相应的缓存节点，然后，更新当前运行的作业应用的I/O状态信息与缓存节点的负载量。该方法能够高效地管理突发数据缓存系统中缓存节点的调度分配并协调同时来自不同用户的大量作业应用并发执行以优化应用和系统的性能。

A node allocation method based on competition awareness for shared burst data cache

【技术实现步骤摘要】
面向共享式突发数据缓存的基于竞争感知的节点分配方法
本专利技术涉及计算机系统结构领域，尤其涉及一种面向共享式突发数据缓存的基于竞争感知的节点分配方法。
技术介绍
高性能科学应用通常包含大量的I/O访问操作并且会产生大量数据。数据传输已成为许多大规模科学计算应用的性能瓶颈。BurstBuffer突发数据缓存技术是解决这一性能瓶颈问题的有潜力的方案。它是位于计算节点与并行文件系统之间的由高速存储介质(如SSD固态硬盘)组成的独立缓存节点。缓存节点可以快速利用其本地SSD的高带宽和低延迟特性来迅速吸收计算节点发出的I/O流量，从而达到提高应用程序I/O性能的目的。目前针对此存储系统结构的研究主要集中在：1)基于新型存储硬件技术，致力于让硬盘的访问速度(尤其是随机访问的速度)追赶上内存的访问速度；2)如何通过在靠近数据存储的位置提供计算分析功能从而减少数据的传输量；3)通过在靠近计算节点的位置提供额外的快速缓存设备以减少数据的传输时间。但是现有的相关工作研究主要集中在提高单个应用在上述存储系统结构中的性能优化，没有考虑多应用并发访问时的存储资源分配、带宽竞争等问题。突发数据缓存系统被设计为数百或数千个以上用户和应用程序共享的存储资源。以往的研究工作主要集中在研究如何通过直接减少I/O时间以及利用应用程序的计算和I/O阶段之间的重叠来提高应用程序性能。但是针对共享式突发数据缓存的存储资源管理仍未得到充分研究，现有的缓存节点调度分配策略只考虑用户的容量需求，这可能会导致多个并发运行的数据密集型应用程序之间会产生I/O竞争阻塞。因此，亟需一种不仅能最大限度地提高存储资源利用率而且可以最大限度地减少应用之间的I/O带宽竞争的突发数据缓存节点分配算法。
技术实现思路
本专利技术的目的是提供一种面向共享式突发数据缓存的基于竞争感知的节点分配方法，能够高效地管理突发数据缓存系统中缓存节点的调度分配并协调同时来自不同用户的大量作业应用并发执行以优化应用和系统的性能。本专利技术的目的是通过以下技术方案实现的：一种面向共享式突发数据缓存的基于竞争感知的节点分配方法，包括：实时记录和分析即将运行的作业应用的I/O状态信息；实时监控当前运行的作业应用在突发数据缓存系统中的分布情况，从而计算缓存节点的负载量；利用缓存节点调度分配算法，根据突发数据缓存系统中缓存节点的I/O带宽竞争情况与负载量以及即将运行的作业应用的I/O状态信息，为即将运行的作业应用分配相应的缓存节点，然后，更新即将运行的作业应用的I/O状态信息与缓存节点的负载量。由上述本专利技术提供的技术方案可以看出，能够实现面向共享式突发数据缓存的节点动态分配。不仅能最大限度地提高存储资源利用率，而且可以最大限度地减少应用之间的I/O带宽竞争。通过动态分配当前负载较低的BurstBuffer节点来满足不同应用的存储需求，从而有效地提高应用程序的I/O性能和缓存系统的带宽利用率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种面向共享式突发数据缓存的基于竞争感知的节点分配方法的流程图；图2为本专利技术实施例提供的基于竞争感知的节点分配算法示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例提供一种面向共享式突发数据缓存的基于竞争感知的节点分配方法，能够高效地管理突发数据缓存系统中缓存节点的调度分配并协调同时来自不同用户的大量作业应用并发执行以优化应用和系统的性能。实现的方法能够动态捕获任何在系统运行中的数据密集型应用的I/O状态信息并实时监视分析整个突发数据缓存系统的节点负载情况。根据实时收集的应用和系统的状态数据来采用相应的节点分配策略算法，算法将为每个即将要运行访问存储系统的应用动态分配最优的缓存节点来让每个应用尽可能获得最大的I/O性能。算法通过动态分配当前负载较低的缓存节点来满足不同应用的存储需求，从而提高应用程序的I/O性能和系统的带宽利用率。如图1所示，为本专利技术实施例提供的一种面向共享式突发数据缓存的基于竞争感知的节点分配方法的流程图，其主要包括如下步骤：步骤1、实时记录和分析即将运行的作业应用的I/O状态信息。本步骤主要是进行应用的I/O特征分析，过程如下：1)接收用户通过脚本提交的作业应用，并写入等待队列；接收用户通过脚本提交的作业应用时，还接收用户提供的作业应用的附加信息，包括：I/O进程的数量以及所需存储空间大小等。2)作业调度程序将安排等待队列中的各个作业应用的执行顺序。3)当从作业从等待队列中释放并开始运行访问突发数据缓存系统时，开始分析作业应用的I/O状态信息并实时记录更新在运行时数据库中。本专利技术实施例中，I/O状态信息主要包括：I/O进程数量和作业应用所能得到的I/O带宽。步骤2、实时监控当前运行的作业应用在突发数据缓存系统中的分布情况，从而计算缓存节点的负载量。本步骤主要是进行缓存节点的负载分析，其中，作业应用的分布情况主要是指每个作业应用运行在哪个缓存节点。同时，对于当前运行的作业应用，根据相应的I/O状态信息，可以计算并使用并发I/O进程的数量来描述每个缓存节点的负载量。系统会监控各个缓存节点的应用进程分布情况和每个缓存节点的负载情况。示例性的，可以以(节点名称，作业负载分布)的格式记录更新在运行时数据库以供其他模块需要。运行时维护的信息能够细粒度地显示了当前应用的I/O进程分布情况。步骤3、利用缓存节点调度分配算法，根据突发数据缓存系统中缓存节点的I/O带宽竞争情况与负载量以及即将运行的作业应用的I/O状态信息，为即将运行的作业应用分配相应的缓存节点，然后，更新即将运行的作业应用的I/O状态信息与缓存节点的负载量。本步骤主要是进行缓存节点的动态调度，当等待队列中的新作业准备开始运行时，根据缓存节点负载量，结合该作业应用的存储需求，并通过调用相应的调度分配算法(通过图1所示的节点调度模块实现)来确定将哪些缓存节点分配给新作业。在每给一个新作业动态分配完缓存节点资源后，作业跟踪模块和负载监控模块将相应地更新当前每个活跃作业的I/O状态信息和每个缓存节点上的负载情况。主要如下：1)分析缓存节点的I/O带宽竞争情况：每个进程都能够直接访问每个缓存节点，并且能够通过互联网络以最大带宽bm将数据传输到突发数据缓存系统；如果K个进程同时访问同一个缓存节点时，K个进程的聚合带宽K×bm不超过缓存节点最大峰值带宽BM，本文档来自技高网...

【技术保护点】
1.一种面向共享式突发数据缓存的基于竞争感知的节点分配方法，其特征在于，包括：/n实时记录和分析即将运行的作业应用的I/O状态信息；/n实时监控当前运行的作业应用在突发数据缓存系统中的分布情况，从而计算缓存节点的负载量；/n利用缓存节点调度分配算法，根据突发数据缓存系统中缓存节点的I/O带宽竞争情况与负载量以及即将运行的作业应用的I/O状态信息，为即将运行的作业应用分配相应的缓存节点，然后，更新即将运行的作业应用的I/O状态信息与缓存节点的负载量。/n

【技术特征摘要】
1.一种面向共享式突发数据缓存的基于竞争感知的节点分配方法，其特征在于，包括：
实时记录和分析即将运行的作业应用的I/O状态信息；
实时监控当前运行的作业应用在突发数据缓存系统中的分布情况，从而计算缓存节点的负载量；
利用缓存节点调度分配算法，根据突发数据缓存系统中缓存节点的I/O带宽竞争情况与负载量以及即将运行的作业应用的I/O状态信息，为即将运行的作业应用分配相应的缓存节点，然后，更新即将运行的作业应用的I/O状态信息与缓存节点的负载量。


2.根据权利要求1所述的一种面向共享式突发数据缓存的基于竞争感知的节点分配方法，其特征在于，所述实时记录和分析即将运行的作业应用的I/O状态信息包括：
接收用户通过脚本提交的作业应用，并写入等待队列；
作业调度程序将安排等待队列中的各个作业应用的执行顺序；
当从作业从等待队列中释放并开始运行访问突发数据缓存系统时，开始分析作业应用的I/O状态信息并实时记录更新在运行时数据库中。


3.根据权利要求1所述的一种面向共享式突发数据缓存的基于竞争感知的节点分配方法，其特征在于，接收用户通过脚本提交的作业应用时，还接收用户提供的作业应用的附加信息，包括：I/O进程的数量以及所需存储空间大小。


4.根据权利要求1所述的一种面向共享式突发数据缓存的基于竞争感知的节点分配方法，其特征在于，所述利用缓存节点调度分配算法...

【专利技术属性】
技术研发人员：安虹，梁伟浩，韩文廷，陈俊仕，方涛，张子豫，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34