一种用于异构存储集群系统的I/O服务质量维护方法技术方案

本发明专利技术公开了一种用于异构存储集群系统的I/O服务质量维护方法，其实施步骤如下：1）将异构存储集群系统的快速存储分区的存储资源划分为多个存储资源分组，且所述存储资源分组之间的I/O过程不存在相关性，使不同存储资源分组分别进行I/O时其性能不会相互受到影响；2）当异构存储集群系统收到作业时，根据当前作业I/O输出的性能需求等级以及各个存储资源分组的状态从所述多个存储资源分组中选择存储资源分组分配给当前作业，并更新所述多个存储资源分组中各个存储资源分组的状态。本发明专利技术具有I/O服务性能高、I/O带宽需求低、I/O服务质量好，尤其适合I/O密集型作业的优点。

【技术实现步骤摘要】

本专利技术涉及异构存储的集群系统中对I/O性能较为敏感场景下的I/O服务质量维护
，具体涉及一种用于异构存储集群系统的I/O服务质量维护方法。
技术介绍
存储系统是并行计算机系统中的重要组成部分。伴随着并行计算机系统规模以及应用处理数据规模的不断扩大，存储系统的性能成为了影响和制约系统实际应用效能的重要因素。为保证海量数据分析等I/O密集型应用的执行效率，集群系统中常常采用异构存储架构，即将存储系统划分为快速存储分区和慢速存储分区，快速存储分区部署固态存储等高速存储设备，慢速存储分区部署普通磁盘或高可靠存储设备。对于I/O性能比较敏感的应用，采用快速存储分区作为数据输出的目标以保证其I/O带宽的需求得到满足，而对于I/O性能不敏感的应用，则使用慢速存储分区作为数据存储的目标，从而避免其对I/O性能敏感应用的执行效率产生影响。通过上述方法，异构存储架构实现了对不同类型应用的存储服务隔离，从而为I/O密集型应用提供了I/O过程的服务质量保证。随着I/O密集型应用的不断增多，集群系统快速存储分区的存储资源也出现了竞争问题。当大量I/O密集型应用使用快速存储分区时，一方面I/O请求的增加加剧了存储资源的访问冲突，导致作业I/O性能难以得到保障，另一方面由于快速存储分区的磁盘空间相对有限，大量数据的快速生成导致可用空间的快速下降，快速存储分区的可用性也会受到严重影响，这些都使得异构存储系统的I/O服务质量无法得到保证。为了解决这些问题，异构存储系统通常会构造快速存储分区和慢速存储分区的数据同步机制，即数据在保存到快速存储分区后，会在适当时机在后台将数据逐步同步到慢速存储分区，在完全同步完成后清除快速存储分区的数据，从而实现对快速存储分区空间的有效释放。此外，为缓解快速存储分区局部存储资源的热点问题，会在各I/O服务节点间构造负载均衡机制，通过调度机制平衡各服务节点的I/O作业数，从而达到提高快速存储分区资源利用率的目的。然而，上述方法虽然改善了存储资源的使用情况，却仍然无法从根本上解决I/O密集型应用的I/O服务质量问题，无法保证关键作业的I/O可用带宽，从而对存储系统的服务质量保证带来影响。如图1所示，异构存储集群系统通常由计算子系统、管理子系统、存储子系统以及监控诊断子系统等部分组成，各部分之间通过多套通讯网络相互连接。存储子系统中包含快速存储分区和慢速存储分区两类存储分区。快速存储分区通常采用高带宽、低延迟的存储设备，为I/O密集型应用提供更高的I/O性能。慢速存储分区则提供大容量高可靠的存储设备，为作业的长期数据安全可靠存储提供支持。管理子系统包括管理节点和登录节点，用户加载作业时，通常通过登录节点提交作业，并向管理节点发出作业资源需求，管理节点的作业和资源管理模块根据用户需求配置相应的计算和存储资源，从而将用户作业加载到相应的计算节点上开始运行。监控诊断子系统则负责对系统的整体情况进行监控和维护。目前，计算作业的实时性要求正在逐渐增强，作业能否在预定时间内完成对作业执行结果的有效性会带来严重的影响，而数据输入输出过程是计算作业的重要环节，如果这一过程无法保证性能要求，会对计算作业的成败带来严重影响。因此，在现有异构存储集群系统的架构下，如何保证作业的I/O性能已经成为了影响现有高性能计算系统可用性的关键问题。
技术实现思路
本专利技术要解决的技术问题是提供一种I/O服务性能高、I/O带宽需求低、I/O服务质量好，尤其适合I/O密集型作业的用于异构存储集群系统的I/O服务质量维护方法。为了解决上述技术问题，本专利技术采用的技术方案为：一种用于异构存储集群系统的I/O服务质量维护方法，其实施步骤如下：1）将异构存储集群系统的快速存储分区的存储资源划分为多个存储资源分组，且所述存储资源分组之间的I/O过程不存在相关性，使不同存储资源分组分别进行I/O时其性能不会相互受到影响；2）当异构存储集群系统收到作业时，根据当前作业I/O输出的性能需求等级以及各个存储资源分组的状态从所述多个存储资源分组中选择存储资源分组分配给当前作业，并更新所述多个存储资源分组中各个存储资源分组的状态。优选地，所述步骤1）中的存储资源分组为一个存储结点或者负责一套磁盘阵列的一组存储服务器。优选地，所述步骤2）的详细步骤如下：2.1）预先将作业根据I/O输出的性能需求等级划分为独占需求作业和非独占需求作业两类，所述独占需求作业指该类作业对I/O的输出带宽有明确的服务质量需求，对所分配的I/O资源必须保证独占性，在作业结束前不允许其他作业使用其所占用的存储资源分组；所述非独占需求作业指该类作业对I/O的输出带宽有性能需求，但对所分配的I/O资源不需要保证独占性，在系统存储资源紧张的情况下允许其他作业使用其所占用的存储资源分组；将所述分组根据是否被作业占据的情况以及数据是否已经同步到慢速存储设备的情况划分为空闲、独占、准空闲、准独占四种状态，所述空闲状态表示该分组当前未被作业占据且分组内不存在数据未同步到慢速存储设备，所述独占状态表示该分组当前被独占作业占据且作业未退出，所述准空闲状态表示该分组当前未被作业占据但存在数据未同步到慢速存储设备，所述准独占状态表示该分组当前被非独占作业占据且作业未退出；2.2）当异构存储集群系统收到作业时，根据用户指定的当前作业I/O输出的性能需求等级对当前作业的类型进行判断，如果当前作业为独占需求作业则跳转执行步骤2.3），如果当前作业为非独占需求作业则跳转执行步骤2.4）；2.3）查找处于空闲状态的存储资源分组，若处于空闲状态的存储资源分组数量可以满足当前作业的需求，则返回对应数量的空闲存储资源分组给当前作业，并将被选择存储资源分组的状态设置为独占状态，分配过程结束，跳转执行步骤2.5）；若空闲状态的存储资源分组数量无法满足当前作业的需求，则报告作业I/O需求无法满足的异常，分配过程结束并退出；2.4）查找处于空闲状态、准空闲状态及准独占状态的存储资源分组，若上述三种状态的存储资源分组总数量可以满足当前作业的需求，则按照优先分配空闲状态的存储资源分组、其次分配准空闲状态的存储资源分组、再次分配准独占状态的存储资源分组的方式选择相应数量的存储资源分组返回给当前作业，将被选择存储资源分组的状态设置为准独占状态，分配过程结束，跳转执行步骤2.5）；若空闲状态、准空闲状态及准独占状态的存储资源分组总数量无法满足当前作业的需求，则报告作业I/O需求无法满足的异常，分配过程结束并退出；2.5）在当前作业执行结束时，若当前作业所占据的存储资源分组内仍然存在数据未同步到慢速存储设备，则将所述存储资源分组的状态设置为准空闲状态；若所述存储资源分组内不存在数据未同步到慢速存储设备，则将所述存储资源分组状态设置为空闲状态；同时，在异构存储集群系统的分组同步程序将存储资源分组的所有数据同步到慢速存储设备后，如果存储资源分组目前未被作业占据，则将该存储资源分组设置为空闲状态。本专利技术用于异构存储集群系本文档来自技高网...

【技术保护点】
一种用于异构存储集群系统的I/O服务质量维护方法，其特征在于实施步骤如下：1）将异构存储集群系统的快速存储分区的存储资源划分为多个存储资源分组，且所述存储资源分组之间的I/O过程不存在相关性，使不同存储资源分组分别进行I/O时其性能不会相互受到影响；2）当异构存储集群系统收到作业时，根据当前作业I/O输出的性能需求等级以及各个存储资源分组的状态从所述多个存储资源分组中选择存储资源分组分配给当前作业，并更新所述多个存储资源分组中各个存储资源分组的状态。

【技术特征摘要】
1.一种用于异构存储集群系统的I/O服务质量维护方法，其特征在于实施步骤如下：
1）将异构存储集群系统的快速存储分区的存储资源划分为多个存储资源分组，且所述存储资源分组之间的I/O过程不存在相关性，使不同存储资源分组分别进行I/O时其性能不会相互受到影响；
2）当异构存储集群系统收到作业时，根据当前作业I/O输出的性能需求等级以及各个存储资源分组的状态从所述多个存储资源分组中选择存储资源分组分配给当前作业，并更新所述多个存储资源分组中各个存储资源分组的状态。
2.根据权利要求1所述的用于异构存储集群系统的I/O服务质量维护方法，其特征在于：所述步骤1）中的存储资源分组为一个存储结点或者负责一套磁盘阵列的一组存储服务器。
3.根据权利要求1或2所述的用于异构存储集群系统的I/O服务质量维护方法，其特征在于，所述步骤2）的详细步骤如下：
2.1）预先将作业根据I/O输出的性能需求等级划分为独占需求作业和非独占需求作业两类，所述独占需求作业指该类作业对I/O的输出带宽有明确的服务质量需求，对所分配的I/O资源必须保证独占性，在作业结束前不允许其他作业使用其所占用的存储资源分组；所述非独占需求作业指该类作业对I/O的输出带宽有性能需求，但对所分配的I/O资源不需要保证独占性，在系统存储资源紧张的情况下允许其他作业使用其所占用的存储资源分组；将所述分组根据是否被作业占据的情况以及数据是否已经同步到慢速存储设备的情况划分为空闲、独占、准空闲、准独占四种状态，所述空闲状态表示该分组当前未被作业占据且分组内不存在数据未同步到慢速存储设备，所述独占状态表示该分组当前被独占作业占据且作业未退出，所述准空闲状态表示该分组当前未被作业占据但存在数据未同步到慢速存储设...

【专利技术属性】
技术研发人员：张伟，周恩强，卢宇彤，谢旻，董勇，曹宏嘉，陈海涛，所光，蒋艳凰，张百达，陈志广，王立新，孙立桐，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南;43