一种基于作业时序缓存共享的方法技术

本发明专利技术提供了一种基于作业时序缓存共享的方法，包括：在JOB提交运行前，声明JOB运行过程中的需要的DFS Cache资源量；系统为各个JOB的作业分配相应的DFS Cache资源，并启动JOB作业运行；使得各个JOB作业运行多轮，其中JOB会产生多次对于DFS Cache的访问，使系统采集各个JOB作业访问DFS Cache的时间间隔；在JOB作业访问缓存资源的时间间隔趋于稳定的情况下，记录所述时间间隔，并且启动DFS Cache共享分配算法；在执行JOB作业时，由存储管理系统按照运行的所有JOB作业访问DFS Cache的情况对JOB作业的数据进行读写，如果存储管理系统确定存在JOB数据访问超过时间窗口，重新启动DFS Cache共享分配算法。

【技术实现步骤摘要】

本专利技术涉及计算机
，具体涉及一种基于作业时序缓存共享的方法。
技术介绍
高性能计算机规模巨大，任务执行期间并发的数据访问量也数以万计，因此对于分布式文件系统的性能有很高的要求，为此分布式文件系统一般会在服务器上配置一定得加速资源，实现对于大量数据的读写请求处理，这些缓存资源相对于分布式文件系统本身的存储容量而言容量很小、但是其性能高却可能数倍于分布式文件系统本身的性能，成本也很高，因此作业运行过程中独占式的缓存资源分配虽然简单，但却并不合理。JOB是一种运行在高性能计算机计算资源上应用软件，其一般执行一定的科学计算任务，并在计算任务的一定阶段将数据写入分布式文件系统，课题一次输出的数据量很大，往往在数十TB甚至上百上千TB，对于分布式文件构建的存储资源的性能要求很高。高性能计算中JOB启动时，系统一般会为JOB分配一定得DFS(DistributeFileSystem，分布式文件系统集成大量存储服务器资源和缓存资源，运行在存储服务器上，通过软件实现了一个共享的存储空间，为高性能计算机提供高性能、高并发的数据读写支持)缓存资源，用来加速JOB的数据读写性能，JOB执行过程中，一般地该DFS缓存资源会固定地分配给JOB，由于JOB在数据访问是的阶段性，即存在间隙，且访问间隙一般超过十分钟以上，因此在访问间隙造成了缓存资源的空闲，也间接造成了缓存资源的浪费。更具体地说，当一个JOB启动运行时，系统会针对这个JOB分配DFSCache资源。DFSCache是一种分布式文件系统缓存，该分布式文件系统在其运行的服务器上一般可以部署一定的SSD、内存等专用加速分布式文件访问的资源，并通过分布式文件系统调度这些缓存资源，为计算任务得数据访问性能加速提供支撑。这样，在JOB运行过程中，该资源由JOB独占，而JOB在运行过程中，往往具有数据访问的阶段性，即在数据读写的一个阶段完成后，JOB只有完成一定的计算任务后才会进行下一个阶段的数据读写，由于HPC中DFSCache资源往往性能高、成本高，因此会造成资源浪费。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种能够实现JOB之间的DFSCache共享的基于作业时序缓存共享的方法。根据本专利技术，提供了一种基于作业时序缓存共享的方法，包括：第一步骤：在JOB提交运行前，声明JOB运行过程中的需要的DFSCache资源量；第二步骤：系统为各个JOB的作业分配相应的DFSCache资源，并启动JOB作业运行；第三步骤：使得各个JOB作业运行多轮，其中JOB会产生多次对于DFSCache的访问，使系统采集各个JOB作业访问DFSCache的时间间隔；第四步骤：在JOB作业访问缓存资源的时间间隔趋于稳定的情况下，记录所述时间间隔，并且启动DFSCache共享分配算法。优选地，所述基于作业时序缓存共享的方法还包括：第五步骤：在执行JOB作业时，由存储管理系统按照运行的所有JOB作业访问DFSCache的情况对JOB作业的数据进行读写，如果存储管理系统确定存在JOB数据访问超过时间窗口，重新返回第四步骤以重新启动DFSCache共享分配算法。第六步骤：作业执行完成后，释放所述作业所占用DFSCache资源。优选地，所述DFSCache共享分配算法包括：建立系统中所有JOB的作业时间间隔分配表，确定是否存在DFSCache具有空闲时间段能够让该DFSCache所对应的JOB与其它JOB共享DFSCache；而且在存在DFSCache具有空闲时间段能够让该DFSCache所对应的JOB与其它JOB共享DFSCache的情况下，判断该DFSCache的缓存空间是否存在剩余缓存空间。优选地，所述DFSCache共享分配算法还包括：如果所述空闲时间段以及该DFSCache的剩余缓存空间满足新启动的JOB的要求，那么直接将所述空闲时间段以及该DFSCache的剩余缓存空间分配给新启动的JOB。优选地，所述DFSCache共享分配算法还包括：如果所述空闲时间段以及DFSCache剩余缓存空间不足以满足新启动的JOB的要求，则在使得新启动的JOB利用所述剩余缓存空间资源后再为新启动的JOB分配新的资源。优选地，所述DFSCache共享分配算法还包括：如果DFSCache缓存空间没有剩余，则为新启动的JOB分配新DFSCache，并在另一个JOB作业启动之前由该新启动的JOB的作业独占分配的所述新DFSCache。优选地，时间间隔趋于稳定指时间间隔为恒定值或者大于特定值。本专利技术解决了DFS缓存资源固定分配给JOB的弊端，通过在存储层采集作业访问DFS缓存的间隙信息，按照作业缓存访问间隙来调动作业，实现不同DFS缓存资源在作业访问DFS缓存间隙之间的复用，提高系统的综合利用效率。附图说明结合附图，并通过参考下面的详细描述，将会更容易地对本专利技术有更完整的理解并且更容易地理解其伴随的优点和特征，其中：图1示意性地示出了根据本专利技术优选实施例的基于作业时序缓存共享的方法的流程图。需要说明的是，附图用于说明本专利技术，而非限制本专利技术。注意，表示结构的附图可能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。具体实施方式为了使本专利技术的内容更加清楚和易懂，下面结合具体实施例和附图对本专利技术的内容进行详细描述。高性能计算HPC(HighPerformanceComputing)是集成大规模计算资源和存储资源的系统，实现对于超大规模问题的处理，这种系统集成数万个中央处理器并行计算，并将大量数据写入到分布式文件系统构建的存储资源中，所对于存储资源的并发度支撑、性能等要求都很高。在高性能计算HPC中，应用通过提交作业即JOB的方式使用计算资源和存储资源解决科学问题，对于数据输出量较大的JOB，在其启动运行时，系统会针对这个JOB分配DFSCache资源，并在JOB运行过程中，为JOB数据管理的简单，确保JOB数据安全，该资源由JOB独占，而JOB在运行过程中，往往具有数据访问的阶段性，即在数据读写的一个阶段完成后，JOB只有完成一定的计算任务后才会进行下一个阶段的数据读写，由于高性能计算HPC中DFSCache资源往往性能高、成本高，因此会造成资源浪费。...

【技术保护点】
一种基于作业时序缓存共享的方法，其特征在于包括：第一步骤：在JOB提交运行前，声明JOB运行过程中的需要的DFS Cache资源量；第二步骤：系统为各个JOB的作业分配相应的DFS Cache资源，并启动JOB作业运行；第三步骤：使得各个JOB作业运行多轮，其中JOB会产生多次对于DFS Cache的访问，使系统采集各个JOB作业访问DFS Cache的时间间隔；第四步骤：在JOB作业访问缓存资源的时间间隔趋于稳定的情况下，记录所述时间间隔，并且启动DFS Cache共享分配算法。

【技术特征摘要】
1.一种基于作业时序缓存共享的方法，其特征在于包括：
第一步骤：在JOB提交运行前，声明JOB运行过程中的需要的
DFSCache资源量；
第二步骤：系统为各个JOB的作业分配相应的DFSCache资源，
并启动JOB作业运行；
第三步骤：使得各个JOB作业运行多轮，其中JOB会产生多次
对于DFSCache的访问，使系统采集各个JOB作业访问DFSCache
的时间间隔；
第四步骤：在JOB作业访问缓存资源的时间间隔趋于稳定的情
况下，记录所述时间间隔，并且启动DFSCache共享分配算法。
2.根据权利要求1所述的基于作业时序缓存共享的方法，其特
征在于还包括：
第五步骤：在执行JOB作业时，由存储管理系统按照运行的所
有JOB作业访问DFSCache的情况对JOB作业的数据进行读写，如
果存储管理系统确定存在JOB数据访问超过时间窗口，重新返回第
四步骤以重新启动DFSCache共享分配算法。
3.根据权利要求1或2所述的基于作业时序缓存共享的方法，
其特征在于还包括：
第六步骤：作业执行完成后，释放所述作业所占用DFSCache
资源。
4.根据权利要求1或2所述的基于作业时序缓存共享的方法，
其特征在于，所述DFSCache共享分配算法包括：建立系统中所有
JOB的作业时间间隔分配表，确定是否存在DFSCache具有空闲时间

\t段能够让该DFSCa...

【专利技术属性】
技术研发人员：何晓斌，魏巍，王红艳，
申请(专利权)人：无锡江南计算技术研究所，
类型：发明
国别省市：江苏;32