本发明专利技术公开一种针对高性能计算的动态的存储资源划分方法，基于以下模块：用户模块，Project配置模块，为每个作业创建project标识符、配置project标识符的属性，并保存到数据库，还用于从数据库取出project配置信息，提供给作业管理系统；启停文件系统模块，向数据库调取对应的project的属性信息并打包成消息发送给作业管理系统，服务监控模块，监控I/O转发节点的I/O代理转发系统服务是否正常，并更新到数据库；数据库接口模块，作业管理系统，根据作业的project标识符，调用存储调度系统提供的文件系统启停模块，将来自文件系统启停模块的消息分发到所有计算节点。本发明专利技术使得计算资源与I/O代理资源之间比例不再固定，动态的为其分配存储资源，使存储资源的使用更加灵活高效。效。效。
【技术实现步骤摘要】
针对高性能计算的动态的存储资源划分方法
[0001]本专利技术涉及一种针对高性能计算的动态的存储资源划分方法，属于计算机
技术介绍
[0002]高性能计算机应用于的科学领域越来越宽泛，高性能计算系统中的文件I/O的需求呈多样化特征，其中有的科学计算课题计算量大，计算密集，需要的存储资源较少，而另一些科学计算课题的计算量相对不大，但读写数据较多，I/O密集，需要的存储资源较多。高性能计算中主要采用的存储结构是共享的并行文件系统，将存储资源从计算资源中剥离出来集中管理，呈现给用户和计算资源是全局一致的用户视图。计算资源和存储资源通过高速网络进行连接，但随着计算资源规模的不断扩展，集中式的并行文件系统难以及时响应并发的IO服务，集中式的元数据竞争问题凸显。
[0003]为了解决这一问题，在某些计算资源规模巨大的HPC上，其存储结构中引入了I/O转发系统。通过在计算节点和存储服务节点间引入I/O转发节点，每个I/O转发节点服务固定比例的计算节点，暂存和转发计算节点的I/O请求，从而极大地提升了存储系统的可扩展性。但是这一结构仍然存在不足，这种存储资源分配模式中，计算节点和I/O代理节点的对应关系都是固定的，这样每个作业的计算节点固定，使用了多少计算节点，就使用了相同比例的I/O代理节点，而不同作业对存储资源的需求是不相同的，I/O密集型作业需要的I/O转发节点数目大于I/O需求少的作业，每个I/O转发节点服务相同比例计算节点的方法使存储资源的分配变得不均衡，I/O密集型作业使用这些存储资源可能会不够用，负载较大，影响效率，I/O需求较小的作业使用这些存储资源可能会浪费资源。
[0004]因此，如何设计出在HPC中面向作业的动态的存储资源划分方法，成为本领域技术人员努力的方向。
技术实现思路
[0005]本专利技术的目的是提供一种针对高性能计算的动态的存储资源划分方法，该针对高性能计算的动态的存储资源划分方法使得计算资源与I/O代理资源之间比例不再固定，不同I/O需求课题，提交作业时配置不同属性，动态的为其分配存储资源，使存储资源的使用更加灵活高效。
[0006]为达到上述目的，本专利技术采用的技术方案是：一种针对高性能计算的动态的存储资源划分方法，基于以下模块：用户接口模块，用于向高性能计算上运行的作业提供特定的管理命令与接口，以project为基本单位，对project所需要的存储资源进行申请、查询、释放操作；Project配置模块，接收用户接口模块的申请操作指令，为project分配所需要的存储资源，为每个作业创建project标识符、配置project标识符的属性，并保存到数据库，还用于从数据库取出project配置信息，提供给作业管理系统；
配置于计算节点内的存储服务启停模块，根据作业管理系统所发送的资源分配情况，自动连接到所分配的存储服务资源，并在作业管理系统退出时自动与存储服务资源断开连接；服务监控模块，用于实时获取存储服务节点的资源是否正常、负载、能力数据，并将这些信息写入到数据库；作业管理系统，用于启动或停止应用，在应用启动时根据作业的project标识符，则直接从数据库取出project所分配的存储资源列表信息，并传递给计算节点上的存储服务启停模块；数据库，用于存储多类信息，包括存储资源的基本信息和project标识信息，所述存储资源的基本信息包括是否正常、服务能力、负载占用、采集时间数据，所述project标识信息，包括project的名称、用户、申请的资源、分配的资源列表、申请时间、分配时间信息；包括以下步骤：S1、用户接口模块提出为应用project分配存储资源的申请；S2、Project配置模块为project分配存储资源，并写入数据库；S3、作业管理系统启动project，并在启动时将project所分配的存储资源的列表发送给应用project运行的所有计算节点；S4、计算节点上运行的存储服务启停模块根据作业管理系统所传递的存储资源列表自动计算其所需要连接的存储资源，并启动存储服务；S5、project运行结束后，存储服务启停模块自动停止存储服务；S6、Project配置模块在project声明周期结束后释放其所分配的资源，更新数据中的project标识信息表，删除project信息，更新存储资源信息表，减少相应存储资源负载占用。
[0007]上述技术方案中进一步改进的方案如下：1. 上述方案中，所述用户接口模块可以直接查询数据库，获取某一个project所申请与分配的资源信息。
[0008]2. 上述方案中，所述服务监控模块实时监控每个存储资源节点上的状态，主要包括服务是否正常，系统负载即其所服务的计算节点数量，并写入数据库的存储资源的基本信息表。
[0009]3. 上述方案中，所述project标识符的属性对应对存储的相应需求，包括作业需要带宽与IOPS需求信息。
[0010]4. 上述方案中，在S2中，结合当前存储资源的负载信息，为project分配存储资源列表，即存储节点的名称列表，具体方法如下：S21、事先为每个存储资源节点测试一个基准的可服务的并发访问进程的单元值和每个存储资源节点所能实现的最高带宽基准值；S22、用户通过用户接口模块创建project的名称和所需要的存储资源，存储资源通过带宽表示；S23、计算project所申请的并发进程所需要的存储资源节点数量，如果节点数量超过现有存储系统所配置的最大节点数量，则直接拒绝；S24、对现有存储资源计算其能力余量，即使用基准带宽能力减去负载占用的计算节点
数量*单个计算节点所能获得的带宽；S25、对所有存储资源的能力余量进行从高到底排序，获得排序好的能力余量列表；S26、按照从高到低的顺序，为project分配存储资源中的存储服务节点，每分配一个节点均累积计算之前所分配接点的能力余量的和，如果大于等于project所需求的带宽，则分配停止，否则分配继续，如果分配至最后一个节点仍然未能满足project所申请的带宽，则将错误信息写入project标识信息表中的已分配服务节点列表项，否则将分配的所有存储服务节点的列表写入project标识信息表的已分配服务节点列表项，同时更新存储资源的基本信息表中每个被分配接点的负载占用项的值，增加值为project的并发规模/分配存储服务节点的数量。
[0011]5. 上述方案中，project使用结束，回收时按照所分配的节点列表，删除project所申请的带宽需求，更新存储资源的基本信息表中每个被分配接点的负载占用项的值，减少值为project的并发规模/分配存储服务节点的数量。
[0012]6. 上述方案中，所述启停文件系统模块包括启动文件系统接口和停止文件系统接口，所述启动文件系统接口用于在作业开始时解包消息，并根据消息中的project属性挂载使用相应数量代理节点的文件系统，所述停止文件系统接口用于在作业结束时卸载相应的文件系统。
[0013]由于上述技术方案的运用，本专利技术与现有技术相比具有下列优点：本专利技术针对高性能计算本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种针对高性能计算的动态的存储资源划分方法，其特征在于：基于以下模块：用户接口模块，用于向高性能计算上运行的作业提供特定的管理命令与接口，以project为基本单位，对project所需要的存储资源进行申请、查询、释放操作；Project配置模块，接收用户接口模块的申请操作指令，为project分配所需要的存储资源，为每个作业创建project标识符、配置project标识符的属性，并保存到数据库，还用于从数据库取出project配置信息，提供给作业管理系统；配置于计算节点内的存储服务启停模块，根据作业管理系统所发送的资源分配情况，自动连接到所分配的存储服务资源，并在作业管理系统退出时自动与存储服务资源断开连接；服务监控模块，用于实时获取存储服务节点的资源是否正常、负载、能力数据，并将这些信息写入到数据库；作业管理系统，用于启动或停止应用，在应用启动时根据作业的project标识符，则直接从数据库取出project所分配的存储资源列表信息，并传递给计算节点上的存储服务启停模块；数据库，用于存储多类信息，包括存储资源的基本信息和project标识信息，所述存储资源的基本信息包括是否正常、服务能力、负载占用、采集时间数据，所述project标识信息，包括project的名称、用户、申请的资源、分配的资源列表、申请时间、分配时间信息；包括以下步骤：S1、用户接口模块提出为应用project分配存储资源的申请；S2、Project配置模块为project分配存储资源，并写入数据库；S3、作业管理系统启动project，并在启动时将project所分配的存储资源的列表发送给应用project运行的所有计算节点；S4、计算节点上运行的存储服务启停模块根据作业管理系统所传递的存储资源列表自动计算其所需要连接的存储资源，并启动存储服务；S5、project运行结束后，存储服务启停模块自动停止存储服务；S6、Project配置模块在project声明周期结束后释放其所分配的资源，更新数据中的project标识信息表，删除project信息，更新存储资源信息表，减少相应存储资源负载占用。2.根据权利要求1所述的针对高性能计算的动态的存储资源划分方法，其特征在于：所述用户接口模块可以直接查询数据库，获取某一个project所申请与分配的资源信息。3.根据权利要求1所述的针对高性能计算的动态的存储资源划分方法，其特征在于：所述服务监控模块实时监控每个存储资源节点上的状态，主要包括...
【专利技术属性】
技术研发人员：何晓斌，魏巍，余婷，陈起，王红艳，肖伟，王涛，
申请(专利权)人：无锡江南计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。