一种存储系统扩容方法、可读存储介质及计算设备技术方案

本公开提供一种存储系统扩容方法，所述方法包括：管理服务器接收存储系统扩容指令；所述管理服务器确定用于数据块分配的预设第一阈值；所述管理服务器对原有数据进行重新分配，将所述访问频次超过预设第一阈值的数据块分散写入在固态硬盘中，并且，每个固态硬盘之间数据块的总访问频次和空间占用比率的差异低于预设第二阈值；以及，所述管理服务器将所述访问频次低于预设第一阈值的数据块分散写入在机械硬盘中，并且，每个机械硬盘之间数据块的总访问频次和空间占用比率的差异低于预设第三阈值。本发明专利技术有效提升了系统整体的I/O性能。

A storage system expansion method, readable storage medium and computing equipment

【技术实现步骤摘要】
一种存储系统扩容方法、可读存储介质及计算设备
本专利技术涉及计算机
，具体而言，涉及一种存储系统扩容方法、可读存储介质及计算设备。
技术介绍
随着信息技术的发展，数字资产已经成为企业、机构的核心资产，在运营过程中，企业、机构持续收集、产生了大量的数据，这些数据具有重要价值，需要中长期的存储，因此，对存储容量有着强劲的需求。在业务场景下，这些数据还包括一些热数据，需要频繁地访问，对存储系统的I/O也会造成一定的压力。固态硬盘是近年来在存储领域的革命性产品，其数倍甚至数十倍于传统机械硬盘的I/O效率，使其广泛地应用在商用领域。然而，受限于高昂的价格，较低的容量，固态硬盘尚不能完全替代传统机械硬盘。因此，在大规模存储领域，目前仍以机械硬盘为主。存储系统在扩容时，可以适当地加入一些固态硬盘，形成固态硬盘和机械硬盘混合阵列，能够提升系统I/O能力。但是，如何对存储资源进行分配，充分、合理发挥固态硬盘、机械硬盘各自的优势，避免劣势，现有技术还没有给出解决方案。
技术实现思路
为此，本专利技术提供一种存储系统扩容方法、可读存储介质及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。根据本专利技术实施例的一个方面，提供了一种存储系统扩容方法，包括：管理服务器接收存储系统扩容指令；所述管理服务器检测已接入的扩容存储设备的容量及设备类型，所述设备类型包括机械硬盘和固态硬盘；所述管理服务器根据所述已接入的扩容存储设备的容量及设备类型，原有存储设备的容量及设备类型，以及，预先获取的原有数据各个数据块的访问频次，确定用于数据块分配的预设第一阈值；所述管理服务器对原有数据进行重新分配，将所述访问频次超过预设第一阈值的数据块分散写入在固态硬盘中，并且，每个固态硬盘之间数据块的总访问频次和空间占用比率的差异低于预设第二阈值；以及，所述管理服务器将所述访问频次低于预设第一阈值的数据块分散写入在机械硬盘中，并且，每个机械硬盘之间数据块的总访问频次和空间占用比率的差异低于预设第三阈值。可选地，所述管理服务器根据所述已接入的扩容存储设备的容量及设备类型，原有存储设备的容量及设备类型，以及，预先获取的原有数据各个数据块的访问频次，确定用于数据块分配的预设第一阈值，包括：所述管理服务器根据所述已接入的扩容存储设备的容量和原有存储设备的容量，原有存储设备的容量及设备类型，计算固态硬盘的容量占比；根据所述原有数据各个数据块的访问频次，以及所述固态硬盘的容量占比，确定所述预设第一阈值。可选地，该方法还包括：当有新增数据块产生时，根据大数据学习的结果预估所述新数据块的访问频次，当预估的访问频次超过所述预设第一阈值时，将所述新增数据块存储至固态硬盘，当预估的访问频次低于所述预设第一阈值时，将所述新增数据块存储至机械硬盘；在实际使用过程中，当监测到机械硬盘的新增数据块的访问频次超过所述预设第一阈值时，将新增数据块迁移至固态硬盘，当监测到固态硬盘的新增数据块的访问频次低于所述预设第一阈值时，将新增数据块迁移至机械硬盘。可选地，该方法还包括：所述管理服务器在本地实时更新数据路径。可选地，所述数据块包括：数据库表。可选地，该方法还包括：统计数据库的子表或表项的访问频次；将访问频次超过预设第一阈值的子表或表项分拆，存入固态硬盘。可选地，该方法还包括：设置用于备份的机械硬盘，将原有存储设备的数据在所述用于备份的机械硬盘连续存储。可选地，该方法还包括：在扩容期间，先移动应存入固态硬盘的数据，再移动应存入机械硬盘的数据。根据本专利技术实施例的又一个方面，提供了一种可读存储介质，适于存储一个或多个程序，所述一个或多个程序被配置为由计算设备执行上述的数据扩容方法。根据本专利技术实施例的又一个方面，提供了一种计算设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行上述的数据扩容方法。根据本专利技术实施例，在数据扩容期间，根据硬盘的设备类型，以及数据块的访问频次，合理分配数据在各个硬盘的存储，有效提升了存储系统整体的I/O吞吐能力，以及使得各个硬盘都能够公平地分担存储压力和I/O压力，便于后续的管理维护工作。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1示出了本专利技术实施例的系统架构示意图；图2示出了本专利技术实施例的方法流程图。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。如图1所示，本专利技术实施例提供了一种网络架构示意图，用以对本专利技术提供的方法进行辅助说明。其中，业务处理层的业务服务器用于对业务逻辑进行处理，而管理服务器是一个抽象的设备，用于实现计算资源的管理功能，例如：任务分配、数据路由、层间耦合、数据管理等，管理服务器可能是一个设备，也可能依据功能划分为多个设备。如图2所示，根据本专利技术的实施例的一种数据扩容方法，包括：S110、管理服务器接收存储系统扩容指令；S120、所述管理服务器检测已接入的扩容存储设备的容量及设备类型，所述设备类型包括机械硬盘和固态硬盘；S130、所述管理服务器根据所述已接入的扩容存储设备的容量及设备类型，原有存储设备的容量及设备类型，以及，预先获取的原有数据各个数据块的访问频次，确定用于数据块分配的预设第一阈值；S140、所述管理服务器对原有数据进行重新分配，将所述访问频次超过预设第一阈值的数据块分散写入在固态硬盘中，并且，每个固态硬盘之间数据块的总访问频次和空间占用比率的差异低于预设第二阈值；以及，所述管理服务器将所述访问频次低于预设第一阈值的数据块分散写入在机械硬盘中，并且，每个机械硬盘之间数据块的总访问频次和空间占用比率的差异低于预设第三阈值。预设第一阈值是计算出的值，对应的计算过程包括：所述管理服务器根据所述已接入的扩容存储设备的容量和原有存储设备的容量，原有存储设备的容量及设备类型，计算固态硬盘的容量占比；根据所述原有数据各个数据块的访问频次，以及所述固态硬盘的容量占比，确定所述预设第一阈值。下面结合具体示例进行说明：某存储系统原有机械硬盘100个，容量1PB，现扩容至200个，容量2PB，其中有1.9PB是机械硬盘，0.1PB是固态硬盘，固态硬盘容量占比5%。因此，将原有数据块中，访问频次前5%的数据存储至固态硬盘，对应的访问频次门限即为预设第一阈值。...

【技术保护点】
1.一种存储系统扩容方法，其特征在于，所述方法包括：/n管理服务器接收存储系统扩容指令；/n所述管理服务器检测已接入的扩容存储设备的容量及设备类型，所述设备类型包括机械硬盘和固态硬盘；/n所述管理服务器根据所述已接入的扩容存储设备的容量及设备类型，原有存储设备的容量及设备类型，以及，预先获取的原有数据各个数据块的访问频次，确定用于数据块分配的预设第一阈值；/n所述管理服务器对原有数据进行重新分配，将所述访问频次超过预设第一阈值的数据块分散写入在固态硬盘中，并且，每个固态硬盘之间数据块的总访问频次和空间占用比率的差异低于预设第二阈值；/n以及，所述管理服务器将所述访问频次低于预设第一阈值的数据块分散写入在机械硬盘中，并且，每个机械硬盘之间数据块的总访问频次和空间占用比率的差异低于预设第三阈值。/n

【技术特征摘要】
1.一种存储系统扩容方法，其特征在于，所述方法包括：
管理服务器接收存储系统扩容指令；
所述管理服务器检测已接入的扩容存储设备的容量及设备类型，所述设备类型包括机械硬盘和固态硬盘；
所述管理服务器根据所述已接入的扩容存储设备的容量及设备类型，原有存储设备的容量及设备类型，以及，预先获取的原有数据各个数据块的访问频次，确定用于数据块分配的预设第一阈值；
所述管理服务器对原有数据进行重新分配，将所述访问频次超过预设第一阈值的数据块分散写入在固态硬盘中，并且，每个固态硬盘之间数据块的总访问频次和空间占用比率的差异低于预设第二阈值；
以及，所述管理服务器将所述访问频次低于预设第一阈值的数据块分散写入在机械硬盘中，并且，每个机械硬盘之间数据块的总访问频次和空间占用比率的差异低于预设第三阈值。


2.如权利要求1所述的方法，其特征在于，所述管理服务器根据所述已接入的扩容存储设备的容量及设备类型，原有存储设备的容量及设备类型，以及，预先获取的原有数据各个数据块的访问频次，确定用于数据块分配的预设第一阈值，包括：
所述管理服务器根据所述已接入的扩容存储设备的容量和原有存储设备的容量，原有存储设备的容量及设备类型，计算固态硬盘的容量占比；
根据所述原有数据各个数据块的访问频次，以及所述固态硬盘的容量占比，确定所述预设第一阈值。


3.如权利要求1所述的方法，其特征在于，该方法还包括：
当有新增数据块产生时，根据大数据学习的结果预估所述新数据块的访问频次，当预估的访问频次超过所述预设第一阈值时，将所述新增数据块存储至固态硬盘，...

【专利技术属性】
技术研发人员：张国超，郭丝嘉，
申请(专利权)人：河南文正电子数据处理有限公司，
类型：发明
国别省市：河南;41