数据处理方法、装置及存储介质制造方法及图纸

本申请公开了一种数据处理方法，包括：当确定第一存储池的存储优化指标达到第一阈值时，从所述第一存储池中选择待迁移出的云硬盘；确定与所述云硬盘所在物理硬盘的类型对应的目标存储池集合，所述目标存储池集合中包含至少一个目标存储池；在所述目标存储池集合中，选择存储优化指标小于等于第二阈值的第二存储池；将所述云硬盘迁移到所述选择的第二存储池中。本申请还公开了相应的装置及存储介质。

Data Processing Method, Device and Storage Media

【技术实现步骤摘要】
数据处理方法、装置及存储介质
本申请涉及互联网
，尤其涉及一种数据处理方法、装置及存储介质。
技术介绍
云平台可为用户提供云计算、云存储等基于互联网的相关服务，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云平台使用虚拟机(CloudVirtualMachine，云服务器)面向使用者提供服务。使用者可向云平台提交申请创建云服务器，云平台选择宿主机(host)，在该宿主机上创建云服务器，并依据使用者的需求向存储集群申请创建一个或多个云硬盘。云硬盘(CloudBlockStorage，CBS)是一种基于分布式存储架构，可弹性扩展的虚拟块存储设备。云硬盘可作为云服务器的系统盘或数据盘，在作为系统盘时，可用于存放虚拟机的操作系统，在作为数据盘时，可用于存放使用者的业务数据。
技术实现思路
本申请实例提供了一种数据处理方法，包括：当确定第一存储池的存储优化指标达到第一阈值时，从所述第一存储池中选择待迁移出的云硬盘；确定与所述云硬盘所在物理硬盘的类型对应的目标存储池集合，所述目标存储池集合中包含至少一个目标存储池；在所述目标存储池集合中，选择存储优化指标小于等于第二阈值的第二存储池；将所述云硬盘迁移到所述选择的第二存储池中。本申请实例还提供了一种数据处理装置，包括：选择模块，当确定第一存储池的存储优化指标达到第一阈值时，从所述第一存储池中选择待迁移出的云硬盘；确定与所述云硬盘所在物理硬盘的类型对应的目标存储池集合，所述目标存储池集合中包含至少一个存储池；在所述目标存储池集合中，选择存储优化指标小于等于第二阈值的第二存储池；迁移模块，将所述云硬盘迁移到所述选择的第二存储池中。本申请实例还提供了一种存储介质，存储有计算机可读指令，可以使至少一个处理器执行上述方法。上述技术方案中，多个存储池的设置，可以实现对各终端的资源进行物理隔离，从而提高了各存储池的安全使用性能。此外，通过上述技术方案，可以将存储优化指标达到第一阈值的第一存储池中的云硬盘迁移至满足条件的第二存储池中，使得各存储池得以充分利用，以进一步提高各存储池的整体利用率。附图说明为了更清楚地说明本申请实例中的技术方案，下面将对实例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1a是本申请一些实例涉及的一种系统构架示意图；图1b是本申请一些实例涉及的用户界面示意图；图2是本申请一些实例的方法流程图；图3是本申请一些实例提供的数据处理方法的另一流程图；图4a-4b是本申请一些实例涉及的云硬盘迁移的示意图；图5是本申请一些实例的装置结构示意图；及图6是本申请一些实例的设备结构示意图。具体实施方式下面将结合本申请实例中的附图，对本申请实例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅是本申请一部分实例，而不是全部的实例。基于本申请中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本申请保护的范围。本申请实例提出了一种数据处理方法，可应用于图1a的系统架构中，如图1a所示，该系统构架包括：终端101a和云平台102a，两者通过网络103a进行通信，其中，云平台102a包括管理模块和存储集群。其中，存储集群包括至少一个数据处理装置和多个存储池，如图1a所示的存储池1、存储池2……存储池n，且每个存储池可以包括一个或多个物理硬盘。这里，当某个存储池发生故障时，仅会对使用该存储池的终端产生影响，相比于一个存储集群仅有一个存储池时，一旦发生故障或访问高峰，将对该存储集群中的所有终端产生影响的情形，可以将影响降到最低，能够达到将各终端101a的资源进行物理隔离的技术效果，从而提高了存储集群的使用性能。一个数据处理装置可以对多个(例如12个)物理硬盘进行管理，每一个物理硬盘的空间可以为2T或者更多。其中，一个存储池中的存储空间可以分配给各个终端101a，形成多个云硬盘，如存储池1包含云硬盘11、云硬盘12……云硬盘1n，存储池n包含云硬盘n1、云硬盘n2……云硬盘nn。云平台102a的管理模块接收终端101a的请求，为终端101a创建云服务器，每个云服务器都具有处理器、内存、网络连接和存储功能等，可以运行各自的操作系统和应用程序。管理模块还可以向存储集群申请创建一个或多个云硬盘，该一个或多个云硬盘与上述云服务器对应。在一些实施例中，存储集群中的数据处理装置可以响应于管理模块的申请，在存储集群的任一存储池为终端101a创建一个或多个云硬盘，供终端101a使用，即该一个或多个云硬盘的存储空间已被终端101a预订。终端101a可以是个人用户终端，也可以是企业用户终端。对于企业用户来说，传统存储的硬件故障会导致业务中断数十小时。云硬盘高效支持虚拟机热迁移，提前避免物理故障造成业务中断。云硬盘具备完善的数据备份、快照、数据恢复能力；适用于高负载、核心关键业务系统，满足企业弹性可靠的大容量块存储办公需求。图1b为本申请实例涉及的用户界面示意图。如图1b所示，终端101a在该界面中可以通过操作控件101b所示的“+新建”来购买云硬盘，这里，操作控件101b后，弹出窗口102b，窗口102b中显示有云硬盘的大小、类型、所在区域等选项，以供终端101a选择。例如，终端101a可以根据其需求指定云硬盘的大小和类型等，如终端101a为企业用户终端，对数据安全级别较高，则可以选择安全级别较高的云硬盘进行数据存储，例如可以选择如图1b中103b所示的固态硬盘驱动器(SSD，SolidStateDrives)云硬盘；此外，使用该终端101a的用户还可以操作图1b中控件104b来选择相应大小的云硬盘存储空间，或操作图1b中控件105b来输入任意数值以选择相应大小的云硬盘存储空间。例如，数据处理装置可以将存储池1中100GB的存储空间分配给终端A，此时，终端101a需求的云硬盘的存储空间较小，例如终端101a为个人用户终端，该100GB的存储空间称为云硬盘11；类似的，数据处理装置还可以将存储池1中10000GB的存储空间分配给终端B，该10000GB的空间称为云硬盘12，此时，终端101a需求的云硬盘的存储空间较大，例如终端101a为企业用户终端；依此类推。这里，推广方在前期可能没法投入足够多的设备，会将所述存储集群的存储空间进行超卖，例如，卖家只有100GB的空间，即上述物理硬盘的总存储空间为100GB，但实际卖给用户200GB空间，即将所述总存储空间进行放大，这里放大比例为2，或者说超卖比就是2，在一些实例中，放大比例可以为1.3～1.6，以便增加收入。随着各终端不断地将资源写入各云硬盘，各存储池的数据越来越多，最终导致各存储池有可能被写满的风险，此时，该存储池的运行将非常缓慢，其运行性能将大大下降。针对这种情形，在一些实例中，可以对即将写满的存储池进行扩容，即增大该存储池的总存储空间。当数据处理装置调高超卖比后，该存储池将再次面临上述问题，此时，数据处理装置仍然可以再次对该存储池进行扩容，然而当对该存储池扩容了多次后，该存储池的总存储空间将变得非常大，给存储集群整体的运营带来了巨大的挑战。在一些实例中，存储本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：当确定第一存储池的存储优化指标达到第一阈值时，从所述第一存储池中选择待迁移出的云硬盘；确定与所述云硬盘所在物理硬盘的类型对应的目标存储池集合，所述目标存储池集合中包含至少一个目标存储池；在所述目标存储池集合中，选择存储优化指标小于等于第二阈值的第二存储池；将所述云硬盘迁移到所述选择的第二存储池中。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：当确定第一存储池的存储优化指标达到第一阈值时，从所述第一存储池中选择待迁移出的云硬盘；确定与所述云硬盘所在物理硬盘的类型对应的目标存储池集合，所述目标存储池集合中包含至少一个目标存储池；在所述目标存储池集合中，选择存储优化指标小于等于第二阈值的第二存储池；将所述云硬盘迁移到所述选择的第二存储池中。2.根据权利要求1所述的方法，所述第一存储池的存储优化指标包括所述第一存储池的存储利用率；其中，所述第一存储池的存储利用率代表所述第一存储池中已占用空间占第一存储池的总存储空间的比例；所述第二存储池的存储优化指标包括所述第二存储池的存储利用率；其中，所述第二存储池的存储利用率代表所述第二存储池中已占用空间占第二存储池的总存储空间的比例。3.根据权利要求2所述的方法，其中，所述存储优化指标进一步包括以下至少一个：存储利用率的平均增长率，平均磁盘利用率、平均带宽利用率；其中，所述存储利用率的平均增长率代表所述存储利用率的增长率的平均值；所述平均磁盘利用率代表各物理硬盘的磁盘利用率的平均值；所述平均带宽利用率代表各物理硬盘的带宽利用率的平均值。4.根据权利要求3所述的方法，其中，所述存储优化指标是根据以下公式确定的：score＝X+Y*n1+Z*n2+W*n3其中，score代表所述存储优化指标，X代表所述存储利用率；Y代表所述存储利用率的平均增长率；n1代表所述存储利用率的平均增长率对应的第一权重系数；Z代表所述平均磁盘利用率；n2代表所述平均磁盘利用率对应的第二权重系数；W代表所述平均带宽利用率；n3代表所述平均带宽利用率对应的第三权重系数。5.根据权利要求1所述的方法，其中，所述确定与所述云硬盘所在物理硬盘的类型对应的目标存储池集合包括：获取所述云硬盘所在物理硬盘的类型；根据所述物理硬盘的类型，寻找包含相同类型的物理硬盘的一个或多个目标存储池；寻找出的所述一个或多个目标存储池形成所述目标存储池集合。6.根据权利要求1所述的方法，其中，所述从所述第一存储池中选择待迁移出的云硬盘包括：将所述第一存储池中各云硬盘按照云硬盘利用率进行排序；其中，所述云硬盘利用率代表该云硬盘中已占用空间占云硬盘总存储空间的比例；将前N个云硬盘确定为所述待迁移的云硬盘；其中，在将所述前N个云硬盘迁移出所述第一存储池之后，所述第一存储池的存储优化指标小于第三阈值，N为正整数。7.根据权利要求1所述的方法，其中，所述从所述第一存储池中选择待迁移出的云硬盘...

【专利技术属性】
技术研发人员：符策富，吉永光，马文霜，史佳婧，肖军，吴光辉，高学强，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44