一种基于作业时序缓存共享的方法技术

本发明专利技术提供了一种基于作业时序缓存共享的方法，包括：在JOB提交运行前，声明JOB运行过程中的需要的DFS Cache资源量；系统为各个JOB的作业分配相应的DFS Cache资源，并启动JOB作业运行；使得各个JOB作业运行多轮，其中JOB会产生多次对于DFS Cache的访问，使系统采集各个JOB作业访问DFS Cache的时间间隔；在JOB作业访问缓存资源的时间间隔趋于稳定的情况下，记录所述时间间隔，并且启动DFS Cache共享分配算法；在执行JOB作业时，由存储管理系统按照运行的所有JOB作业访问DFS Cache的情况对JOB作业的数据进行读写，如果存储管理系统确定存在JOB数据访问超过时间窗口，重新启动DFS Cache共享分配算法。

【技术实现步骤摘要】

本专利技术涉及计算机
，具体涉及一种基于作业时序缓存共享的方法。
技术介绍
高性能计算机规模巨大，任务执行期间并发的数据访问量也数以万计，因此对于分布式文件系统的性能有很高的要求，为此分布式文件系统一般会在服务器上配置一定得加速资源，实现对于大量数据的读写请求处理，这些缓存资源相对于分布式文件系统本身的存储容量而言容量很小、但是其性能高却可能数倍于分布式文件系统本身的性能，成本也很高，因此作业运行过程中独占式的缓存资源分配虽然简单，但却并不合理。JOB是一种运行在高性能计算机计算资源上应用软件，其一般执行一定的科学计算任务，并在计算任务的一定阶段将数据写入分布式文件系统，课题一次输出的数据量很大，往往在数十TB甚至上百上千TB，对于分布式文件构建的存储资源的性能要求很高。高性能计算中JOB启动时，系统一般会为JOB分配一定得DFS(DistributeFileSystem，分布式文件系统集成大量存储服务器资源和缓存资源，运行在存储服务器上，通本文档来自技高网...

【技术保护点】
一种基于作业时序缓存共享的方法，其特征在于包括：第一步骤：在JOB提交运行前，声明JOB运行过程中的需要的DFS Cache资源量；第二步骤：系统为各个JOB的作业分配相应的DFS Cache资源，并启动JOB作业运行；第三步骤：使得各个JOB作业运行多轮，其中JOB会产生多次对于DFS Cache的访问，使系统采集各个JOB作业访问DFS Cache的时间间隔；第四步骤：在JOB作业访问缓存资源的时间间隔趋于稳定的情况下，记录所述时间间隔，并且启动DFS Cache共享分配算法。

【技术特征摘要】
1.一种基于作业时序缓存共享的方法，其特征在于包括：
第一步骤：在JOB提交运行前，声明JOB运行过程中的需要的
DFSCache资源量；
第二步骤：系统为各个JOB的作业分配相应的DFSCache资源，
并启动JOB作业运行；
第三步骤：使得各个JOB作业运行多轮，其中JOB会产生多次
对于DFSCache的访问，使系统采集各个JOB作业访问DFSCache
的时间间隔；
第四步骤：在JOB作业访问缓存资源的时间间隔趋于稳定的情
况下，记录所述时间间隔，并且启动DFSCache共享分配算法。
2.根据权利要求1所述的基于作业时序缓存共享的方法，其特
征在于还包括：
第五步骤：在执行JOB作业时，由存储管理系统按照运行的所
有JOB作业访问DFSCache的情况对JOB作业的数据进行读写，如
果存储管理系统确定存在JOB数据访问超过时间窗口，重新返回第
四步骤以重新启动DFSCache共享分配算法。
3.根据权利要求1或2所述的基于作业时序缓存共享的方法，
其特征在于还包括：
第六步骤：作业执行完成后，释放所述作业所占用DFSCache
资源。
4.根据权利要求1或2所述的基于作业时序缓存共享的方法，
其特征在于，所述DFSCache共享分配算法包括：建立系统中所有
JOB的作业时间间隔分配表，确定是否存在DFSCache具有空闲时间

\t段能够让该DFSCa...

【专利技术属性】
技术研发人员：何晓斌，魏巍，王红艳，
申请(专利权)人：无锡江南计算技术研究所，
类型：发明
国别省市：江苏;32