一种设备集群扩容性能预测方法及装置制造方法及图纸

一种设备集群扩容性能预测方法及装置，用于提高预测设备集群扩容性能的精准度。包括：预测设备获取预测参考信息集，预测参考信息集为预先对第一设备集群中包括的至少一个设备处理数据的过程进行测试得到的，预测参考信息集包括一个设备处理数据不同阶段中，每个阶段的不同轮分别包含不同任务数量时所对应需要的运行资源参数；预测设备基于所述预测参考信息集，预测第二设备集群中每个设备处理数据过程中执行不同阶段分别被分配到的任务时所需消耗的实际资源参数；预测设备基于所述每个设备的实际资源参数，预测第二设备集群处理数据所需消耗的资源情况；其中，第二设备集群为基于第一设备集群进行扩容得到的虚拟仿真集群。

A method and device for prediction of capacity expansion of equipment cluster

A method and device for predicting the capacity of the equipment cluster expansion is used to improve the precision of the capacity expansion of the prediction equipment cluster. Including: prediction of equipment to obtain the predictive reference information set, reference information for prediction of the first device in advance group comprises at least one device data processing process to test the predictive reference information set includes a data processing apparatus in different stages, each stage of the different wheel respectively contains parameters needed by resource operation corresponding to the different number of tasks; the prediction reference information set based on the prediction of equipment, the actual resource consumption required to predict second parameters in each cluster of data processing equipment equipment performed during different stages were assigned to the task; prediction of equipment based on the actual parameters of each of the equipment resources, resources of second cluster processing equipment forecast the data required for consumption; the second is the first equipment equipment cluster cluster expansion based on the virtual simulation Cluster.

【技术实现步骤摘要】
一种设备集群扩容性能预测方法及装置
本申请涉及计算机领域，尤其涉及一种设备集群扩容性能预测方法及装置。
技术介绍
随着科学技术和互联网的发展，现代社会的信息量迅速增长，这些信息积累着大规模的数据，这些数据中将会有部分数据存储在云平台中或借助云平台进行处理。借助海杜普Hadoop，用户在不了解分布式底层细节的情况下，通过编写分布式并行程序，并将其运行在由多个设备组成的设备集群上，以高效地存储、管理和分析这些存储在云平台中的数据。Hadoop是一个能够对大量数据进行分布式处理的软件框架，其最底部是分布式文件系统(HadoopDistributedFileSystem，HDFS)，通过采用分布式存储方式来进行海量数据存储，以提高数据的读写速率，并扩大存储容量，HDFS的上一层是映射简化(MapReduce)引擎，是通过Map和Reduce两个步骤对HDFS中国的海量数据进行并行处理，以保证分析和处理数据的高效性。正是由于Hadoop突出的优势，Hadoop在许多领域中被广泛应用，但是在应用的过程中，一些问题也随之产生，例如，为方便客户做投资决策，降低投资风险误差，或为方便地对计算机集群的相关参数进行优化，在对小规模的设备集群进行扩容得到大规模的设备集群之前，需要对待搭建的大规模设备集群的性能指标进行预测。而目前，一般基于算法和架构原型验证对设备集群的扩容性能进行预测，仅能实现功能仿真或定性预测扩容性能趋势，无法做到定量预测。所以，现有技术中对设备集群的扩容性能的预测的精准度较低。
技术实现思路
本申请实施例提供一种设备集群的扩容性能预测方法，用于提高预测设备集群的扩容性能的精准度。第一方面，本申请实施例提供了一种设备集群的扩容性能预测方法。在该方法包括：预测设备获取预测参考信息集，所述预测参考信息集为预先对第一设备集群中包括的至少一个设备处理数据的过程进行测试得到的，所述预测参考信息集包括一个设备处理数据不同阶段中，每个阶段的不同轮分别包含不同任务数量时所对应需要的运行资源参数；所述预测设备基于所述预测参考信息集，预测第二设备集群中每个设备处理数据过程中执行所述不同阶段分别被分配到的任务时所需消耗的实际资源参数；所述预测设备基于所述每个设备的实际资源参数，预测所述第二设备集群处理数据所需消耗的资源情况；其中，所述第二设备集群为基于所述第一设备集群进行扩容得到的虚拟仿真集群。本申请实施例中，首先获取第一设备集群中一个设备在处理数据的不同阶段中，每个阶段的不同轮分别包含不同任务数量时所需要的运行资源参数，然后基于获取的运行资源参数来预测第二设备集群中每个设备处理数据过程中执行不同阶段分别被分配到的任务时所需消耗的实际资源参数，实现对第二设备集群的性能的定量预测，从而提高预测第二设备集群的性能的精准度。在一个可能的设计中，所述不同阶段包括：设备执行数据映射操作的第一阶段；设备执行数据洗牌操作和合并操作的第二阶段；设备执行数据化简操作的第三阶段。在本申请实施例中，不同阶段的划分可能有不同的形式，且以上几种只是举例，在本申请实施例中对不同阶段中具体包括哪几个阶段不作限制。在一个可能的设计中，所述不同轮包括：设备在所述不同阶段被分配的任务的任务数量大于所述设备在所述不同阶段能够处理的任务的最大任务数量时，所述设备按照时间顺序处理所述任务时得到的各轮。在本申请实施例中，在不同阶段被分配的任务数量大于设备在不同阶段能够处理的最大任务数量时，设备将被分配的任务按照多轮执行，从而测试得到第一设备集群中的设备在不同阶段的不同轮包含不同任务数量时的执行时长，细化了测试粒度，进而能够更精确的预测第二设备集群包括的每个设备的性能指标。相应的，在本申请实施例中，在不同阶段被分配的任务数量小于不同阶段能够处理的最大任务数量时，则一轮就能够执行完，该轮可以被称为尾轮。在一个可能的设计中，所述预测设备基于所述预测参考信息集，预测第二设备集群中每个设备在处理数据过程中执行不同阶段分别被分配到的任务时所需消耗的实际资源参数，包括：所述预测设备基于所述每个阶段的不同轮分别包含不同任务数量时所对应需要的执行时长，调用不同的触发事件；其中，所述不同的触发事件用于触发所述每个设备在所述不同阶段之间跳转；所述预测设备基于所述不同的触发事件，运行所述每个设备在所述不同阶段对应的仿真程序，预测所述每个设备在处理数据过程中执行不同阶段的不同轮分别被分配到的任务时所需的执行时长。在本申请实施例中，通过对第一设备集群中包括的设备进行基准测试，可以对第二设备集群的设备在不同阶段的不同轮的执行时长进行真实黑盒刻画；通过不同阶段的划分，可以对第二设备集群设备间事件驱动流程进行白盒刻画，然后通过事件驱动和时间推进机制将二者结合并推广到整个第二设备集群分布式调度执行情况，所以能够较为真实地刻画出第二设备集群各阶段的执行时长。在一个可能的设计中，所述预测设备基于所述每个阶段包含不同任务数量时所对应需要的执行时长，调用不同的触发事件，包括：所述预测设备基于所述第二设备集群的配置参数，获取所述每个设备在所述第一阶段能够处理的任务的第一最大任务数量及在所述第三阶段能够处理的任务的第二最大任务数量，以及所述每个设备在所述第一阶段能够处理的任务的第一最大任务数量的第一任务数量总和及所述每个设备在所述第三阶段能够处理的任务的第二最大任务数量的第二任务数量总和；所述预测设备从所述每个阶段包含不同任务数量时所对应需要的执行时长中，确定出与所述第一最大任务数量和所述第二最大任务数量对应的所述第一阶段的不同轮的执行时长和所述第三阶段的不同轮的执行时长，以及确定出与所述第一任务数量总和和所述第二最大任务数量总和对应的所述第二阶段的不同轮的执行时长；所述预测设备根据所述第一阶段的不同轮的执行时长、所述第二阶段的不同轮的执行时长，以及所述第三阶段的不同轮的执行时长，调用所述不同的触发事件。在本申请实施例中，在调用触发事件时，对于不同阶段调用的原则不相同，例如，在第一阶段和第三阶段，基于每个设备在所述第一阶段能够处理的任务的第一最大任务数量及在所述第三阶段能够处理的任务的第二最大任务数量进行调度；在第二阶段，基于每个设备在所述第一阶段能够处理的任务的第一最大任务数量的第一任务数量总和及每个设备在第三阶段能够处理的任务的第二最大任务数量的第二任务数量总和。细化了调度粒度，能够更精确的预测出第二设备集群中每个设备在不同阶段的执行时长。在一个可能的设计中，所述资源参数包括硬件资源利用率。在本申请实施例中，资源参数还可以包括硬件资源利用率，例如CPU利用率、内存利用率、磁盘读速率，或是磁盘写速率等，在本申请实施例中不作限制。第二方面，本申请实施例提供一种设备集群扩容性能预测装置。该装置包括获取模块、第一预测模块和第二预测模块。获取模块、第一预测模块和第二预测模块可执行上述第一方面或第一方面的任意一种可能的设计所提供的方法中的相应功能。第三方面，本申请实施例提供一种设备集群扩容性能预测装置。该装置包括：存储器，存储有计算机程序和预测参考信息集。处理器，与存储器耦合。其中存储器所存储的计算机程序代码包括指令，当处理器执行所述指令时，所述指令使装置执行上述第一方面或第一方面的任意一种可能的设计中所提供的方法。本文档来自技高网...

【技术保护点】
一种设备集群扩容性能预测方法，其特征在于，包括：预测设备获取预测参考信息集，所述预测参考信息集为预先对第一设备集群中包括的至少一个设备处理数据的过程进行测试得到的，所述预测参考信息集包括一个设备处理数据不同阶段中，每个阶段的不同轮分别包含不同任务数量时所对应需要的运行资源参数；所述预测设备基于所述预测参考信息集，预测第二设备集群中每个设备处理数据过程中执行所述不同阶段分别被分配到的任务时所需消耗的实际资源参数；所述预测设备基于所述每个设备的实际资源参数，预测所述第二设备集群处理数据所需消耗的资源情况；其中，所述第二设备集群为基于所述第一设备集群进行扩容得到的虚拟仿真集群。

【技术特征摘要】
1.一种设备集群扩容性能预测方法，其特征在于，包括：预测设备获取预测参考信息集，所述预测参考信息集为预先对第一设备集群中包括的至少一个设备处理数据的过程进行测试得到的，所述预测参考信息集包括一个设备处理数据不同阶段中，每个阶段的不同轮分别包含不同任务数量时所对应需要的运行资源参数；所述预测设备基于所述预测参考信息集，预测第二设备集群中每个设备处理数据过程中执行所述不同阶段分别被分配到的任务时所需消耗的实际资源参数；所述预测设备基于所述每个设备的实际资源参数，预测所述第二设备集群处理数据所需消耗的资源情况；其中，所述第二设备集群为基于所述第一设备集群进行扩容得到的虚拟仿真集群。2.根据权利要求1所述的方法，其特征在于，所述不同阶段包括：设备执行数据映射操作的第一阶段；设备执行数据洗牌操作和合并操作的第二阶段；设备执行数据化简操作的第三阶段。3.根据权利要求1所述的方法，其特征在于，所述不同轮包括：设备在所述不同阶段被分配的任务的任务数量大于所述设备在所述不同阶段能够处理的任务的最大任务数量时，所述设备按照时间顺序处理所述任务时得到的各轮。4.根据权利要求2或3所述的方法，其特征在于，所述资源参数包括执行时长；所述预测设备基于所述预测参考信息集，预测第二设备集群中每个设备在处理数据过程中执行不同阶段分别被分配到的任务时所需消耗的实际资源参数，包括：所述预测设备基于所述每个阶段的不同轮分别包含不同任务数量时所对应需要的执行时长，调用不同的触发事件；其中，所述不同的触发事件用于触发所述每个设备在所述不同阶段之间跳转；所述预测设备基于所述不同的触发事件，运行所述每个设备在所述不同阶段对应的仿真程序，预测所述每个设备在处理数据过程中执行不同阶段的不同轮分别被分配到的任务时所需的执行时长。5.根据权利要求4所述的方法，其特征在于，所述预测设备基于所述每个阶段包含不同任务数量时所对应需要的执行时长，调用不同的触发事件，包括：所述预测设备基于所述第二设备集群的配置参数，获取所述每个设备在所述第一阶段能够处理的任务的第一最大任务数量及在所述第三阶段能够处理的任务的第二最大任务数量，以及所述每个设备在所述第一阶段能够处理的任务的第一最大任务数量的第一任务数量总和及所述每个设备在所述第三阶段能够处理的任务的第二最大任务数量的第二任务数量总和；所述预测设备从所述每个阶段包含不同任务数量时所对应需要的执行时长中，确定出与所述第一最大任务数量和所述第二最大任务数量对应的所述第一阶段的不同轮的执行时长和所述第三阶段的不同轮的执行时长，以及确定出与所述第一任务数量总和和所述第二最大任务数量总和对应的所述第二阶段的不同轮的执行时长；所述预测设备根据所述第一阶段的不同轮的执行时长、所述第二阶段的不同轮的执行时长，以及所述第三阶段的不同轮的执行时长，调用所述不同的触发事件。6.根据权利要求1～5任一所述的方法，其特征在于，所述资源参数包括硬件资源利用率。7.一种设备集群扩容性能预测装置，其特征在于，包括存储器和处理器，其中：所述存储器，存储有计算机程序和预测参考信息集，所述预测参考信息集为预先对第一设备集群中包括的至少...

【专利技术属性】
技术研发人员：周波，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44