资源动态调配方法、装置、设备及系统制造方法及图纸

本申请实施例提供了一种资源动态调配方法、装置、设备及系统，其中方法包括：获取多个服务提供节点的服务提供数据；其中，每个服务提供节点中运行至少一个进程，不同的进程基于分配的物理资源提供相同或不同的数据处理服务；根据服务提供数据，确定各数据处理服务中是否存在满足资源动态调配条件的目标数据处理服务；若是，则根据预先获取的目标数据处理服务对应的物理资源的第一资源信息及每个服务提供节点的物理资源的第二资源信息，进行物理资源的动态调配处理。本申请实施例实现了资源的准确分配，有利于提升资源使用率和服务质量。量。量。

【技术实现步骤摘要】
资源动态调配方法、装置、设备及系统


[0001]本申请涉及计算机
，尤其涉及一种资源动态调配方法、装置、设备及系统。

技术介绍

[0002]随着人工智能以及物联网技术的不断发展，需要处理的图像数据、音视频数据等越来越多。相应的，对于数据处理所需的计算资源进行合理分配变得越来越重要。当前计算资源的分配方式通常是通过监控各数据处理服务的资源使用率，当资源使用率到达设置的阈值时，进行弹性伸缩。但是，在一些场景中，资源使用率并不能很准确的反应出数据处理服务的服务质量，因此存在资源分配不合理等问题。

技术实现思路

[0003]本申请实施例的目的是提供一种资源动态调配方法、装置、设备及系统，以解决现有资源分配方式存在的资源分配不合理等问题。
[0004]为解决上述技术问题，本申请实施例是这样实现的：
[0005]第一方面，本申请实施例提供了一种资源动态调配方法，包括：
[0006]获取多个服务提供节点的服务提供数据；其中，每个所述服务提供节点中运行至少一个进程，不同的所述进程基于分配的物理资源提供相同或不同的数据处理服务；
[0007]根据所述服务提供数据，确定各所述数据处理服务中是否存在满足资源动态调配条件的目标数据处理服务；
[0008]若是，则根据预先获取的所述目标数据处理服务对应的所述物理资源的第一资源信息及每个所述服务提供节点的所述物理资源的第二资源信息，进行所述物理资源的动态调配处理。
[0009]第二方面，本申请实施例提供了一种资源动态调配装置，包括：
[0010]处理器，用于获取多个服务提供节点的服务提供数据；根据所述服务提供数据，确定各所述数据处理服务中是否存在满足资源动态调配条件的目标数据处理服务；若是，则根据预先获取的所述目标数据处理服务对应的所述物理资源的第一资源信息及每个所述服务提供节点的所述物理资源的第二资源信息，进行所述物理资源的动态调配处理；其中，每个所述服务提供节点中运行至少一个进程，不同的所述进程基于分配的物理资源提供相同或不同的数据处理服务；
[0011]存储器，用于存储所述第一资源信息和所述第二资源信息。
[0012]第三方面，本申请实施例提供了一种资源动态调配系统，包括：资源管理节点和多个服务提供节点；
[0013]所述服务提供节点，用于基于运行的至少一个进程提供数据处理服务；其中，不同的所述进程基于分配的物理资源提供相同或不同的数据处理服务；
[0014]所述资源管理节点，用于根据上述第一方面所提供的资源动态调配方法，对所述
服务提供节点的所述物理资源进行动态调配处理。
[0015]第四方面，本申请实施例提供了一种资源动态调配设备，包括：处理器，与所述处理器电连接的存储器。所述存储器存储有计算机程序，所述处理器用于从所述存储器调用并执行所述计算机程序以实现上述第一方面所提供的资源动态调配方法的步骤。
[0016]第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所提供的资源动态调配方法的步骤。
[0017]在本申请实施例中，通过获取多个服务提供节点的服务提供数据，其中每个服务提供节点中运行至少一个进程，不同的进程提供相同或不同的数据处理服务；以及在根据服务提供数据确定各数据处理服务中存在满足资源动态调配条件的目标数据处理服务时，进行物理资源的动态调配处理。由于服务提供数据能够真实的反应出相应数据处理服务的服务质量和资源使用情况，因此基于服务提供数据进行物理资源的动态调配，不仅能够实现物理资源的准确调配，提升资源利用率；而且有利于提升服务质量。
附图说明
[0018]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本说明书实施例提供的一种资源动态调配方法的第一种流程示意图；
[0020]图2为本说明书实施例提供的一种资源动态调配方法的第二种流程示意图；
[0021]图3为本说明书实施例提供的一种资源动态调配方法的第三种流程示意图；
[0022]图4为本说明书实施例提供的一种资源动态调配方法的第四种流程示意图；
[0023]图5为本说明书实施例提供的一种资源动态调配方法的第五种流程示意图；
[0024]图6为本说明书实施例提供的一种资源动态调配装置的模块组成示意图；
[0025]图7为本说明书实施例提供的一种资源动态调配系统的组成示意图；
[0026]图8为本说明书实施例提供的一种资源动态调配设备的组成示意图。
具体实施方式
[0027]为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0028]图1为本说明书一个或多个实施例提供的一种资源动态调配方法的流程示意图，应用于资源管理节点，参见图1，该方法具体可以包括如下步骤：
[0029]步骤102，获取多个服务提供节点的服务提供数据；其中，每个服务提供节点中运行至少一个进程，不同的进程基于分配的物理资源提供相同或不同的数据处理服务；
[0030]本申请提供的资源动态调配方法，可应用于包括多个服务提供节点的异构系统。
其中，每个服务提供节点中运行至少一个进程，每个进程基于分配的物理资源运行相应的数据处理应用，以提供对应的数据处理服务。物理资源可以包括计算资源和运行资源，计算资源可以包括GPU(Graphics Processing Unit，图形处理器)、CPU(Central Processing Unit，中央处理器)等，运行资源可以包括显存、内存等。数据处理服务可以包括图像数据的处理服务、音视频数据的处理服务等。也就是说，每个服务提供节点可以提供至少一种类型的数据处理服务。
[0031]进一步的，服务提供节点可以记录自身运行的各进程所提供的数据处理服务的服务提供数据。可选地，服务提供节点在每次数据处理服务提供结束(例如对一张图像处理结束)时，将记录的该数据处理服务的服务提供数据发送给资源管理节点；或者，各服务提供节点在确定到达预设的统计周期的截止时间时，将记录的该统计周期内的各服务提供数据发送给资源管理节点；相应的，步骤102可以包括：接收各服务提供节点发送的服务提供数据。或者，资源管理节点可以主动获取服务提供数据；相应的，步骤102可以包括：若确定到达预设的统计周期的截止时间，则向各服务提供节点发送数据获取请求，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源动态调配方法，其特征在于，包括：获取多个服务提供节点的服务提供数据；其中，每个所述服务提供节点中运行至少一个进程，不同的所述进程基于分配的物理资源提供相同或不同的数据处理服务；根据所述服务提供数据，确定各所述数据处理服务中是否存在满足资源动态调配条件的目标数据处理服务；若是，则根据预先获取的所述目标数据处理服务对应的所述物理资源的第一资源信息及每个所述服务提供节点的所述物理资源的第二资源信息，进行所述物理资源的动态调配处理。2.根据权利要求1所述的方法，其特征在于，所述根据所述服务提供数据，确定各所述数据处理服务中是否存在满足资源动态调配条件的目标数据处理服务，包括：根据所述服务提供数据，确定对应的各所述数据处理服务在当前统计周期内的当前服务参数；根据所述当前服务参数，确定对应的数据处理服务是否为满足资源扩充条件的第一目标数据处理服务；若否，则根据所述当前服务参数，确定对应的数据处理服务是否为满足资源缩减条件的第二目标数据处理服务。3.根据权利要求2所述的方法，其特征在于，所述根据所述当前服务参数，确定对应的数据处理服务是否为满足资源扩充条件的第一目标数据处理服务，包括：确定所述当前服务参数是否不小于预设的服务参数阈值；若是，则获取相应数据处理服务在连续的预设数量的历史统计周期内的历史服务参数；若确定所述历史服务参数均不小于所述服务参数阈值，则将相应的数据处理服务确定为满足资源扩充条件的第一目标数据处理服务；所述根据所述当前服务参数，确定对应的数据处理服务是否为满足资源缩减条件的第二目标数据处理服务，包括：若确定所述当前服务参数包括的失败率为零、且所述当前服务参数包括的平均耗时低于平均耗时阈值，则将相应的数据处理服务确定为满足资源缩减条件的第二目标数据处理服务。4.根据权利要求2所述的方法，其特征在于，所述物理资源包括计算资源；所述根据预先获取的所述目标数据处理服务对应的所述物理资源的第一资源信息及每个所述服务提供节点的所述物理资源的第二资源信息，进行所述物理资源的动态调配处理，包括：若确定存在所述第一目标数据处理服务，则根据所述当前服务参数确定待启动进程的第一数量；基于资源均衡原则，根据所述第一目标数据处理服务的计算资源类型和所述第一资源信息、所述第一数量及所述第二资源信息，进行所述物理资源的分配处理；若确定存在所述第二目标数据处理服务，则根据所述当前服务参数确定待关闭进程的第二数量；基于资源均衡原则，根据所述第二目标数据处理服务的所述第一资源信息、所述第二数量及所述第二资源信息，进行物理资源的回收处理。5.根据权利要求4所述的方法，其特征在于，所述当前服务参数包括服务失败率，所述根据所述当前服务参数确定待启动进程的第一数量，包括：
根据所述服务失败率，确定在所述当前统计周期内处理失败的数据的第三数量；根据所述第一目标数据处理服务的服务标识，从预设的服务标识与第四数量的关联关系中，获取关联的目标第四数量；其中，所述第四数量是所述进程提供所述第一目标数据处理服务时，在每个所述统计周期内可成功处理的数据的数量；根据所述第三数量和所述第四数量，确定待启动进程的第一数量；或者，所述当前服务参数包括平均耗时，所述根据所述当前服务参数确定待启动进程的第一数量，包括：确定当前提供所述第一目标数据处理服务的进程的第五数量；根据所述平均耗时、预设的平均耗时阈值和所述第五数量，确定待启动进程的第一数量；或者，所述当前服务参数包括失败率和平均耗时，所述根据所述当前服务参数确定待启动进程的第一数量，包括：分别根据所述失败率和所述平均耗时，确定对应的候选数量；将所述候选数量中的最大数量确定为待启动进程的第一数量。6.根据权利要求4所述的方法，其特征在于，所述基于资源均衡原则，根据所述第一目标数据处理服务的计算资源类型和所述第一资源信息、所述第一数量及所述第二资源信息，进行所述物理资源的分配处理，包括：根据所述第一目标数据处理服务对应的计算资源类型，从各所述服务提供节点中确定与所述计算资源类型相匹配的候选服务提供节点；确定每个所述候选服务提供节点当前可用的物理资源的...

【专利技术属性】
技术研发人员：谭现成，
申请(专利权)人：杭州萤石软件有限公司，
类型：发明
国别省市：