一种处理节点数量调整方法及装置制造方法及图纸

本发明专利技术实施例公开了一种处理节点数量调整方法及装置，应用于实时计算系统中的管理节点，方法包括：检测是否接收到所述管理节点所管理的处理节点发送的任务处理完成消息；如果是，根据预先设置的管理节点所管理的处理节点的最大负载率和最小负载率，确定管理节点管理的处理节点对应的目标负载率；根据目标负载率、基本负载率以及管理节点所管理的处理节点的当前数量，确定处理节点数量调整后的目标数量，其中，基本负载率为所记录的负载率的平均值；根据当前数量以及目标数量，确定处理节点数量是否需要调整；如果是，根据目标数量对管理节点所管理的处理节点的数量进行调整。应用本发明专利技术实施例，提高了处理节点的资源利用率。

Method and device for adjusting number of processing nodes

The embodiment of the invention discloses a method and a device for adjusting the number of processing nodes, including node management, applied to real time computing system method: to determine whether the received processing node transmits the management node management task completion message; if it is, according to the maximum load rate of processing node management node set the minimum load rate, determine the corresponding processing node management node management target load rate; according to the number of processing nodes target load rate, load rate and basic management node management, determine the number of target node number after the adjustment of the basic load rate as recorded by the average load rate according to the current value; number and number of targets, determine whether the number of processing nodes need to be adjusted; if it is, according to the number of target management The number of processing nodes managed by the node is adjusted. By using the embodiment of the invention, the resource utilization ratio of the processing node is improved.

【技术实现步骤摘要】

本专利技术涉及实时计算
，特别涉及一种处理节点数量调整方法及装置。
技术介绍
实时计算是近几年兴起的技术，相较于批处理，实时计算可以快速的返回计算结果，最小处理延迟可以达到秒级，因此，实时计算系统被广泛应用到报表统计，实时推荐，ETL(ExtractionTransformationLoading，数据提取、转换和加载)等领域。在现有的实时计算系统中包括管理节点和处理节点，管理节点将获取到的用户的实时数据分割成多个任务，将同一个任务调度给所有的处理节点处理，处理节点对接收到的数据进行处理并将处理结果反馈给管理节点。如果处理该任务所花费的时间小于用户预先设置的时间间隔，则管理节点等待直至到达预先设置的时间间隔，才会调度下一个任务给处理节点处理，在等待期间，该管理节点管理的所有处理节点均处于空闲状态。在现有技术中，管理节点能够调度的处理节点的数量，可以在未运行实时处理程序时进行调整，调整过程为：根据估算的最大负载确定需要的处理节点的数量，根据所确定的处理节点的数量，对自身当前管理的处理节点的数量进行调整。在实时计算系统中，管理节点只能在未运行实时处理程序时，基于估算的最大负载对处理节点的数量进行调整，为了防止程序运行失败而造成的任务不能被处理的情况发生，一般估算的最大负载都大于实际使用时的最大负载，且负载与处理节点的数量成正比，则现有的方法使得管理节点管理的处理节点数量比实际需要的处理节点的数量多。因此，在实际运行时，会导致处理任务所花费的时间会小于预先设置的时间间隔，使得在每一次对任务进行处理时，均有一段时间所有处理节点都处于空闲状态，这样造成了处理节点的资源利用率较低。
技术实现思路
本专利技术实施例的目的在于提供一种处理节点数量调整方法及装置，以提高处理节点的资源利用率。为达到上述目的，本专利技术实施例公开了一种处理节点数量调整方法，应用于实时计算系统中的管理节点，所述方法包括：检测是否接收到所述管理节点所管理的所有处理节点发送的任务处理完成消息；如果是，根据预先设置的所述管理节点所管理的处理节点的最大负载率和最小负载率，确定所述管理节点管理的处理节点对应的目标负载率；根据所述目标负载率、基本负载率以及所述管理节点所管理的处理节点的当前数量，确定处理节点数量调整后的目标数量，其中，所述基本负载率为所记录的负载率的平均值；根据所述当前数量以及所述目标数量，确定处理节点数量是否需要调整；如果是，根据所述目标数量对所述管理节点所管理的处理节点的数量进行调整。较佳的，所述目标负载率为：所述最大负载率和所述最小负载率的平均值。较佳的，所述根据所述目标负载率、基本负载率以及所述管理节点所管理的处理节点的当前数量，确定处理节点数量调整后的目标数量所采用的公式为：较佳的，所记录的负载率中的负载率i＝任务i的实际处理时间/预设的任务i的目标处理时间。较佳的，所述根据所述目标数量对所述管理节点所管理的处理节点的数量进行调整，包括：在所述当前数量大于所述目标数量的情况下，将所述管理节点所管理的处理节点的数量减少至所述目标数量；在所述当前数量小于所述目标数量的情况下，判断所述目标数量是否不大于与预先设置的最大处理节点数量；如果不大于，将所述管理节点管理的处理节点的数量增加至所述目标数量；如果大于，将所述管理节点管理的处理节点的数量增加至所述最大处理节点数量。为达到上述目的，本专利技术实施例还公开了一种处理节点数量调整装置，应用于实时计算系统中的管理节点，所述装置包括：检测模块，用于检测是否接收到所述管理节点所管理的所有处理节点发送的任务处理完成消息；第一确定模块，用于在所述检测模块的检测结果为是的情况下，根据预先设置的所述管理节点所管理的处理节点的最大负载率和最小负载率，确定所述管理节点管理的处理节点对应的目标负载率；第二确定模块，用于根据所述目标负载率、基本负载率以及所述管理节点所管理的处理节点的当前数量，确定处理节点数量调整后的目标数量，其中，所述基本负载率为所记录的负载率的平均值；第三确定模块，根据所述当前数量以及所述目标数量，确定处理节点数量是否需要调整；调整模块，用于在所述第三确定模块的确定结果为是的情况下，根据所述目标数量对所述管理节点所管理的处理节点的数量进行调整。较佳的，所述目标负载率为：所述最大负载率和所述最小负载率的平均值。较佳的，所述第二确定模块所采用的公式为：较佳的，所记录的负载率中的负载率i＝任务i的实际处理时间/预设的任务i的目标处理时间。较佳的，所述调整模块，包括：在所述当前数量大于所述目标数量的情况下，将所述管理节点所管理的处理节点的数量减少至所述目标数量；在所述当前数量小于所述目标数量的情况下，判断所述目标数量是否不大于与预先设置的最大处理节点数量；如果不大于，将所述管理节点管理的处理节点的数量增加至所述目标数量；如果大于，将所述管理节点管理的处理节点的数量增加至所述最大处理节点数量。由上述技术方案可见，本专利技术实施例提供一种处理节点数量调整方法及装置，应用于实时计算系统中的管理节点，所述方法包括：检测是否接收到所述管理节点所管理的所有处理节点发送的任务处理完成消息；如果是，根据预先设置的所述管理节点所管理的处理节点的最大负载率和最小负载率，确定所述管理节点管理的处理节点对应的目标负载率；根据所述目标负载率、基本负载率以及所述管理节点所管理的处理节点的当前数量，确定处理节点数量调整后的目标数量，其中，所述基本负载率为所记录的负载率的平均值；根据所述当前数量以及所述目标数量，确定处理节点数量是否需要调整；如果是，根据所述目标数量对所述管理节点所管理的处理节点的数量进行调整。应用本专利技术实施例，根据计算处理节点数量调整后的目标数量与处理节点的当前数量进行对比，对处理节点的数量进行调整，使得当前实时计算系统中，处理节点的数量随着负载率进行动态变化的，相较于现有技术，使得处理节点处于空闲状态的时间大大减少，因此，提高了处理节点的资源利用率。当然，实施本专利技术的任一产品或方法必不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种处理节点数量调整方法的流程示意图；图2为实时数据流量随时间的变化趋势图；图3为利用本专利技术实施例提供的方法与现有技术方法，处理节点数量随实时数据流量的变化趋势图；图4为本专利技术实施例提供的一种处理节点数量调整装置的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了解决现有技术问题，本专利技术实施例提供了一种处理节点数量调整方法及装置。下面首先对本专利技术实施例所提供的一种处理节点数量调整方法进行介绍。需要说明的是，本专利技术实施例优先应用于实时计算系统中的管理节点。每个实时计算系统中存本文档来自技高网...

【技术保护点】
一种处理节点数量调整方法，其特征在于，应用于实时计算系统中的管理节点，所述方法包括：检测是否接收到所述管理节点所管理的所有处理节点发送的任务处理完成消息；如果是，根据预先设置的所述管理节点所管理的处理节点的最大负载率和最小负载率，确定所述管理节点管理的处理节点对应的目标负载率；根据所述目标负载率、基本负载率以及所述管理节点所管理的处理节点的当前数量，确定处理节点数量调整后的目标数量，其中，所述基本负载率为所记录的负载率的平均值；根据所述当前数量以及所述目标数量，确定处理节点数量是否需要调整；如果是，根据所述目标数量对所述管理节点所管理的处理节点的数量进行调整。

【技术特征摘要】
1.一种处理节点数量调整方法，其特征在于，应用于实时计算系统中的管理节点，所述方法包括：检测是否接收到所述管理节点所管理的所有处理节点发送的任务处理完成消息；如果是，根据预先设置的所述管理节点所管理的处理节点的最大负载率和最小负载率，确定所述管理节点管理的处理节点对应的目标负载率；根据所述目标负载率、基本负载率以及所述管理节点所管理的处理节点的当前数量，确定处理节点数量调整后的目标数量，其中，所述基本负载率为所记录的负载率的平均值；根据所述当前数量以及所述目标数量，确定处理节点数量是否需要调整；如果是，根据所述目标数量对所述管理节点所管理的处理节点的数量进行调整。2.根据权利要求1所述的方法，其特征在于，所述目标负载率为：所述最大负载率和所述最小负载率的平均值。3.根据权利要求1所述的方法，其特征在于，所述根据所述目标负载率、基本负载率以及所述管理节点所管理的处理节点的当前数量，确定处理节点数量调整后的目标数量所采用的公式为：4.根据权利要求1所述的方法，其特征在于，所记录的负载率中的负载率i＝任务i的实际处理时间/预设的任务i的目标处理时间。5.根据权利要求1所述的方法，其特征在于，所述根据所述目标数量对所述管理节点所管理的处理节点的数量进行调整，包括：在所述当前数量大于所述目标数量的情况下，将所述管理节点所管理的处理节点的数量减少至所述目标数量；在所述当前数量小于所述目标数量的情况下，判断所述目标数量是否不大于与预先设置的最大处理节点数量；如果不大于，将所述管理节点管理的处理节点的数量增加至所述目标数量；如果大于，将所述管理节点管理的处理节点的数量增加至所述最大处理节点数量...

【专利技术属性】
技术研发人员：马元文，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11