一种超级计算机作业数据分层存储系统及方法技术方案

本发明专利技术涉及一种超级计算机作业数据分层存储系统及方法，通过将存储层分为包括高速存储层、在线存储层和近线存储层的三层存储系统，同时基于三层存储系统分别构建了作业数据拷贝回传机制、原始数据存留时间计算机制和作业数据自动归档和换回机制，并将超级计算机系统与三层存储系统进行融合，实现了在控制存储系统整体设备成本的前提下，解决了超级计算机系统用户作业数据存储空间、存取性能和设备成本之间的矛盾，在保持存储设备低成本的同时，提高存储系统总可用空间和存储服务IO性能，提高数据总可用存储空间，降低存储系统设备平均成本。成本。成本。

【技术实现步骤摘要】
一种超级计算机作业数据分层存储系统及方法


[0001]本专利技术属于超级计算机存储领域，尤其是一种超级计算机作业数据分层存储系统及方法。

技术介绍

[0002]随着高性能计算技术的不断发展，超级计算机所能提供的计算性能越来越强，有越来越多的科研人员开始使用超级计算机来运行自己的作业，以降低作业运算时间，提高科研工作效率。然而，在同一时期，超级计算机底层存储系统的发展速度则较为平缓，随着超级计算机计算性能的不断提高，与之配套的存储系统开始力不从心，在运行高IO的计算作业时，存储系统开始成为整个高性能计算系统的瓶颈，制约高性能计算系统性能的进一步提高。
[0003]当前，为了解决超级计算机中的存储系统性能瓶颈问题，一般会使用高性能存储设备来搭建存储集群，以提供较高的存储系统IO性能，从而满足计算作业对底层存储系统的性能需求。而对于超级计算机来说，整个存储系统的数据量非常大，考虑到成本因素，不可能将整个存储集群都使用高性能存储设备来搭建。因此，只能搭建一个小的专有集群，在一定程度上解决问题。当前尚没有一个较通用的方法，能够从整体上来解决这一问题。
[0004]另一方面，由于作业所产生的数据量的持续增加，整个存储系统长期处于高空间使用率的状态，再叠加上超级计算机作业运行，给其带来的IO压力，导致整个存储系统的稳定性变差，也因此而导致其上层超级计算机系统的运行不稳定。当前为了解决这一问题，只能采用存储系统扩容或者督促用户及时删除无用数据的方法，前者增加了存储系统的硬件成本，而后者则降低了用户对超级计算机的使用满意度。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的不足，提出一种超级计算机作业数据分层存储系统及方法，能够在控制存储系统整体设备成本的前提下，解决超级计算机系统运行存储性能瓶颈的问题，并提高存储系统乃至整个超级计算机的运行稳定性。
[0006]本专利技术解决其技术问题是采取以下技术方案实现的：一种超级计算机作业数据分层存储系统，包括设置在超级计算机中的三层存储系统，三层存储系统分别为高速存储层、在线存储层和近线存储层，所述高速存储层挂载一般计算节点；在线存储层挂载登陆节点和小微作业计算节点，在线存储层用于用户登陆、作业数据操作管理和小作业任务的处理。
[0007]而且，所述高速存储层选用利于超级计算机作业运行的存储资源；所述在线存储层选用空间和性能利于超级计算机系统用户日常数据管理的存储资源；所述近线存储层选用利于长期不使用的作业数据进行归档存储的存储资源。
[0008]一种基于超级计算机作业数据分层存储系统的存储方法，包括以下步骤：步骤1、构建作业数据拷贝回传机制；
步骤2、构建原始数据存留时间计算机制；步骤3、构建作业数据自动归档和换回机制；步骤4、在高速存储层、在线存储层和近线存储层的三层存储系统中植入步骤1的作业数据拷贝回传机制；采用步骤2的原始数据存留时间计算机制和步骤3的作业数据自动归档和换回机制实现超级计算机作业数据分层存储。
[0009]而且，所述步骤1中作业数据拷贝回传机制为：作业数据存于在线存储层中，当用于进行提交作业数据时，将作业数据自动从在线存储层拷贝到高速存储层进行计算，在作业数据计算完成后，自动将作业数据以及作业数据的计算结果从高速存储层回传至在线存储层。
[0010]而且，所述步骤1的具体实现方法为：将yhrun交互式提交作业命令和yhbatch批处理式提交作业命令进行重写，在实际执行提交作业之前，先获取作业提交脚本中的作业文件路径，生成在高速存储层中对应的路径，将作业数据拷贝到高速存储层中；然后再实际执行yhrun交互式提交作业命令或yhbatch批处理式提交作业命令提交作业；提交成功后，获取jobid提交作业的ID，通过该提交作业的ID设置触发器，监控作业运行状态，作业运行完毕后，自动将结果数据回传。
[0011]而且，所述步骤2中原始数据存留时间计算机制为：作业数据第一次提交高速存储层并计算运行完毕后，保留作业数据的预设时间。
[0012]而且，所述保留作业数据的预设时间的计算方法为：T
留存时间 = D
作业数据量
/S
拷贝速度
/R
作业运行时间
*(0.1*W
警告 + E
错误 + 10*KE
关键错误
)*(1
‑
U
空间使用率
)2*δ
常量系数
其中，T
留存时间
为作业原始数据留存时间；D
作业数据量
为作业原始数据总大小，S
拷贝速度
为作业原始数据拷贝速度，R
作业运行时间
为作业运行时间，W
警告
为作业运行日志警告数量，E
错误
为作业运行日志错误数量，KE
关键错误
为作业运行日志关键错误数量，U
空间使用率
为高速存储层当前空间使用率，δ
常量系数
为常量系数值。
[0013]而且，所述步骤3中作业数据自动归档和换回机制为：定期扫描在线存储层，若在线存储层存在超过阈值时间未访问的文件，则将其移动到近线存储层，然后在原有的位置创建一个软连接，指向文件被移动到的位置。
[0014]本专利技术的优点和积极效果是：1、本专利技术通过将存储层分为包括高速存储层、在线存储层和近线存储层的三层存储系统，同时基于三层存储系统分别构建了作业数据拷贝回传机制、原始数据存留时间计算机制和作业数据自动归档和换回机制，并将超级计算机系统与三层存储系统进行融合，实现了在控制存储系统整体设备成本的前提下，解决了超级计算机系统用户作业数据存储空间、存取性能和设备成本之间的矛盾，在保持存储设备低成本的同时，提高存储系统总可用空间和存储服务IO性能，提高数据总可用存储空间，降低存储系统设备平均成本。
[0015]2、本专利技术通过构建作业数据拷贝回传机制和作业数据自动归档和换回机制，使作业数据在线存储层和高速存储层进行传输操作，解决了超级计算机运行高IO作业时的存储系统性能瓶颈问题。
[0016]3、本专利技术通过构建原始数据存留时间计算机制，能够保证需多次提交的作业，其原始数据能够留存在高速存储层中，减少作业原始数据的拷贝成本；同时使高速存储层保
持较低的存储空间使用率，从而解决了超级计算机运行高IO作业时的存储系统性能瓶颈问题，并提高存储系统的稳定性，进而提高整个超级计算机系统的稳定性。
附图说明
[0017]图1为本专利技术超级计算机作业数据分层存储系统；图2为本专利技术超级计算机系统与分层存储系统融合方法；图3为本专利技术超级计算机系统用户提交作业处理流程；图4为本专利技术作业数据自动归档整体处理流程；图5为为本专利技术作业数据自动换回整体处理流程。
具体实施方式
[0018]以下结合附图对本专利技术做进一步详述。
[0019]一种超级计算机作业数据分层存储系统，包括设置在超级计算机中的三层存储系统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超级计算机作业数据分层存储系统，其特征在于：包括设置在超级计算机中的三层存储系统，三层存储系统分别为高速存储层、在线存储层和近线存储层，所述高速存储层挂载一般计算节点；在线存储层挂载登陆节点和小微作业计算节点，在线存储层用于用户登陆、作业数据操作管理和小作业任务的处理。2.根据权利要求1所述的一种超级计算机作业数据分层存储系统，其特征在于：所述高速存储层选用利于超级计算机作业运行的存储资源；所述在线存储层选用空间和性能利于超级计算机系统用户日常数据管理的存储资源；所述近线存储层选用利于长期不使用的作业数据进行归档存储的存储资源。3.一种基于权利要求1至2任一项所述的超级计算机作业数据分层存储系统的存储方法，其特征在于，包括以下步骤：步骤1、构建作业数据拷贝回传机制；步骤2、构建原始数据存留时间计算机制；步骤3、构建作业数据自动归档和换回机制；步骤4、在高速存储层、在线存储层和近线存储层的三层存储系统中植入步骤1的作业数据拷贝回传机制；采用步骤2的原始数据存留时间计算机制和步骤3的作业数据自动归档和换回机制实现超级计算机作业数据分层存储。4.根据权利要求3所述的一种超级计算机作业数据分层存储系统的存储方法，其特征在于：所述步骤1中作业数据拷贝回传机制为：作业数据存于在线存储层中，当用于进行提交作业数据时，将作业数据自动从在线存储层拷贝到高速存储层进行计算，在作业数据计算完成后，自动将作业数据以及作业数据的计算结果从高速存储层回传至在线存储层。5.根据权利要求3所述的一种超级计算机作业数据分层存储系统的存储方法，其特征在于：所述步骤1的具体实现方法为：将yhrun交互式提交作业命令和yhbatch批处理式提交作业命令进行重写，在实际执行提交作业之前，先获取作业提交脚本中的作业文件路径，生成在高速存储层中对应的路径，将作业数据拷贝到高速存储层中；然后再实际执行yhrun交互式提交作业命令或yhbatch批处理式提交作业命令提交作业；提交成...

【专利技术属性】
技术研发人员：庞晓磊，李长松，张婷，刘嘉琦，赵欣婷，徐斌，夏梓峻，张健，孙福兴，贾子傲，王普，杨晶，
申请(专利权)人：天津市天河计算机技术有限公司，
类型：发明
国别省市：