实例管理方法、系统、物理主机、设备和存储介质技术方案

本发明专利技术实施例提供一种实例管理方法、系统、物理主机、设备和存储介质，该方法包括：物理主机上部署有提供服务的目标实例集群，集群中的实例使用物理主机的GPU计算资源来提供服务，基于此，控制设备先确定目标实例集群的GPU利用率，然后，同时根据GPU利用率以及目标实例集群所提供的服务的忙闲特征调整该集群中实例的数量。其中，目标实例集群的GPU利用率能够反映该集群的工作负载大小，目标实例集群所提供的服务的忙闲特征可以反映该集群所提供服务对应的数据流量产生规律。上述方法通过参考集群的负载压力以及集群提供服务的类型来对集群进行扩缩容，使得集群中实例的调整数量和调整时机都更加合理，以降低集群扩缩容对服务质量的影响。质量的影响。质量的影响。

【技术实现步骤摘要】
实例管理方法、系统、物理主机、设备和存储介质


[0001]本专利技术涉及云计算领域，尤其涉及一种实例管理方法、系统、物理主机、设备和存储介质。

技术介绍

[0002]基于机器学习模型实现的人工智能已经应用到越来越多的场景中。比如利用机器学习模型可以实现多种语言的翻译。比如利用机器学习模型能够实现对图像或视频中目标对象的检测，目标对象的检测在智慧交通、智能安防场景都有广泛的应用。又比如，利用机器学习还能够实现人机对话。并且上述各种功能都可以作为一种服务提供给用户。
[0003]在实际中，可以利用部署有机器学习模型的实例集群来提供上述各种服务。并且还可以通过对实例集群进行扩缩容以保证服务质量。而扩缩容往往又需要一定时长，因此，如何降低扩缩容对服务质量的影响就成为一个亟待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种实例管理方法、系统、物理主机、设备和存储介质，用以降低扩缩容对服务质量的影响。
[0005]第一方面，本专利技术实施例提供一种实例管理方法，包括：
[0006]确定目标实例集群的图形处理器GPU利用率，所述目标实例集群部署在物理主机上，所述目标实例集群中的实例使用所述物理主机提供的GPU计算资源提供服务；
[0007]根据所述GPU利用率和所述目标实例集群提供的服务的忙闲特征，调整所述目标实例集群中实例的数量。
[0008]第二方面，本专利技术实施例提供一种实例管理方法，包括：
[0009]响应于目标实例集群提供的目标服务的运行，确定所述目标实例集群的图形处理器GPU利用率，所述目标实例集群部署在物理主机上，所述目标实例集群中的实例使用所述物理主机提供的GPU计算资源提供所述目标服务；
[0010]根据所述GPU利用率和所述目标服务的忙闲特征，调整所述目标实例集群中实例的数量，以使数量调整后的所述目标实例集群提供所述目标服务，所述目标服务包括在线翻译、自动驾驶、视频识别、人机对话中的至少一种。
[0011]第三方面，本专利技术实施例提供一种实例管理系统，包括：控制设备和部署有目标实例集群的物理主机，所述目标实例集群中的实例使用所述物理主机提供的GPU计算资源提供服务；
[0012]所述控制设备，用于确定所述目标实例集群的图形处理器GPU利用率；根据所述GPU利用率和所述目标实例集群提供服务的忙闲特征，确定是否调整所述目标实例集群中实例的数量。
[0013]第四方面，本专利技术实施例提供一种物理主机，包括：
[0014]控制组件和目标实例集群；
[0015]所述控制组件，用于确定所述目标实例集群的图形处理器GPU利用率，所述目标实例集群中的实例使用所述物理主机提供的GPU计算资源提供服务；根据所述GPU利用率和所述目标实例集群提供服务的忙闲特征，确定是否调整所述目标实例集群中实例的数量。
[0016]第五方面，本专利技术实施例提供一种实例管理装置，包括：
[0017]利用率确定模块，用于确定目标实例集群的图形处理器GPU利用率，所述目标实例集群部署在物理主机上，所述目标实例集群中的实例使用所述物理主机提供的GPU计算资源提供服务；
[0018]调整模块，用于根据所述GPU利用率和所述目标实例集群提供的服务的忙闲特征，调整所述目标实例集群中实例的数量。
[0019]第六方面，本专利技术实施例提供一种实例管理装置，包括：
[0020]确定模块，用于响应于目标实例集群提供的目标服务的运行，确定所述目标实例集群的图形处理器GPU利用率，所述目标实例集群部署在物理主机上，所述目标实例集群中的实例使用所述物理主机提供的GPU计算资源提供所述目标服务；
[0021]数量调整模块，用于根据所述GPU利用率和所述目标服务的忙闲特征，调整所述目标实例集群中实例的数量，以使数量调整后的所述目标实例集群提供所述目标服务，所述目标服务包括在线翻译、自动驾驶、视频识别、人机对话中的至少一种。
[0022]第七方面，本专利技术实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面或第二方面中的实例管理方法。该电子设备还可以包括通信接口，用于与其他设备或通信系统通信。
[0023]第八方面，本专利技术实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如上述第一方面或第二方面中的实例管理方法。
[0024]本专利技术实施例提供的实例管理方法，物理主机上部署有提供服务的目标实例集群，集群中的实例使用物理主机的GPU计算资源来提供服务，基于此，控制设备先确定目标实例集群的GPU利用率，然后，同时根据GPU利用率以及目标实例集群所提供的服务的忙闲特征调整该集群中实例的数量。其中，目标实例集群的GPU利用率能够反映该集群的工作负载大小，目标实例集群所提供的服务的忙闲特征可以反映该集群所提供服务对应的数据流量产生规律，忙闲特征也与服务内容相关，数据流量可以由集群中的实例处理。
[0025]可见，上述方法通过参考不同维度的信息即集群的负载压力以及集群提供服务的类型来对集群进行扩缩容，使得集群中实例的调整数量和调整时机都更加合理，降低集群扩缩容对服务质量的影响，提高服务扩缩容后重新启动的速度。同时还可以提高GPU资源利用率，降低服务正常提供所需的成本。
[0026]从另一角度来说，本专利技术中的实例使用的是物理设备提供的GPU计算资源，创建这种实例所需的时间通常较长，导致服务扩容并重新启动的时间也较长，而创建合适数量的实例能使集群尽快完成扩容，更能降低集群扩缩容对服务质量的影响，也即是降低出现因实例不合理地大量创建所耗费过长时间而导致服务不稳定的情况。
附图说明
[0027]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0028]图1为本专利技术实施例提供的一种实例管理方法的流程图；
[0029]图2为本专利技术实施例提供的一种获取GPU利用率之前的判断逻辑的流程图；
[0030]图3为本专利技术实施例提供的另一种实例管理方法的流程图；
[0031]图4为本专利技术实施例提供的又一种实例管理方法的流程图；
[0032]图5为本专利技术实施例提供的又一种实例管理方法的流程图；
[0033]图6为本专利技术实施例提供的又一种实例管理方法的流程图；
[0034]图7为本专利技术实施例提供的一种实例管理系统的结构示意图；
[0035]图8为本专利技术实施例提供的一种物理主机的结构示意图；
[0036]图9为将本专利技术实施例提供的方法应用于翻译场景的示意图；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实例管理方法，其特征在于，包括：确定目标实例集群的图形处理器GPU利用率，所述目标实例集群部署在物理主机上，所述目标实例集群中的实例使用所述物理主机提供的GPU计算资源提供服务；根据所述GPU利用率和所述目标实例集群提供的服务的忙闲特征，调整所述目标实例集群中实例的数量。2.根据权利要求1所述的方法，其特征在于，应用于控制设备，所述物理主机上部署有包括所述目标实例集群在内的至少一个实例集群；所述确定目标实例集群的图形处理器GPU利用率之前，所述方法还包括：根据所述物理主机的第一状态信息，确定在当前时间所述物理主机是否允许调整所述至少一个实例集群中实例的数量，所述第一状态信息反映在所述当前时间所述物理主机是否对所述控制设备开启实例数量的调整权限。3.根据权利要求1所述的方法，其特征在于，应用于控制设备，所述物理主机上部署有包括所述目标实例集群在内的至少一个实例集群；所述方法还包括：若在当前时间所述物理主机允许调整所述至少一个实例集群中实例的数量，则根据所述目标实例集群的第二状态信息，确定在所述当前时间所述目标实例集群是否允许调整实例的数量，所述第二状态信息反映在所述当前时间所述目标实例集群是否对所述控制设备开启实例数量的调整权限。4.根据权利要求1或3所述的方法，其特征在于，所述确定目标实例集群的图形处理器GPU利用率之前，所述方法还包括：确定当前时间是否处于所述目标实例集群对应的可调整时段；若所述当前时间处于所述可调整时段，则确定所述目标实例集群的GPU利用率，所述可调整时段与所述忙闲特征对应。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：若所述当前时间不处于所述可调整时段，则将所述目标实例集群的实例数量恢复为预设数量，所述预设数量与所述忙闲特征对应。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述GPU利用率和所述目标实例集群提供的服务的忙闲特征，调整所述目标实例集群中实例的数量，包括；若在当前时间所述GPU利用率大于预设利用率上限，则获取所述目标实例集群包含的实例数量；若所述实例数量未超出预设数量范围内，则根据所述GPU利用率大于所述预设利用率上限的程度以及所述忙闲特征，为所述目标实例集群创建第一数量的新增实例，所述预设数量范围与所述忙闲特征对应。7.根据权利要求6所述的方法，其特征在于，实例中部署有机器学习模型，所述实例提供的服务与所述机器学习模型的功能对应；所述为所述目标实例集群创建第一数量的新增实例，包括：创建所述第一数量的初始实例；将机器学习模型分别部署到所述第一数量的初始实例中，以完成所述新增实例的创建。
8.根据...

【专利技术属性】
技术研发人员：徐浩广，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：