任务处理方法和装置、存储介质和电子设备制造方法及图纸

本公开实施例提供一种任务处理方法和装置、存储介质和电子设备，其中，该任务处理方法可以包括：接收待处理的至少一个目标任务，所述至少一个目标任务对应同一服务；由云平台中对应所述服务的多个服务实例中，获取存在空闲处理资源的目标服务实例；所述多个服务实例部署在所述云平台中不同的硬件资源；将所述至少一个目标任务分配至所述目标服务实例，并通过所述目标服务实例对所述目标任务进行处理。本公开实施例的云平台具备了异构硬件的混合部署的能力，同一个服务可以部署运行在多种不同的硬件上，满足了市场对多种硬件的需求。满足了市场对多种硬件的需求。满足了市场对多种硬件的需求。

【技术实现步骤摘要】
任务处理方法和装置、存储介质和电子设备


[0001]本公开涉及云计算技术，具体涉及一种任务处理方法和装置、存储介质和电子设备。

技术介绍

[0002]早期的计算机视觉推理服务基本只能运行在单一型号的硬件上，AI服务平台也使用单一的硬件进行规划建设。但随着时间的发展，最近几年出现了大量TPU(Tensor Processing Units)设备，AI服务在通过适配后能运行在多种异构的硬件上。随着技术的不断进步发展，各种型号的AI服务推理硬件如雨后春笋般出现在市场上，云服务平台也需要同时支持多种规则的硬件以满足市场的需求。然而，为了简化工程设计，当前市场上的云服务平台均使用统一的硬件进行建设维护，后续的平台扩容维护也使用该型号的硬件，云服务平台无法享受新时代高能硬件带来的技术红利。

技术实现思路

[0003]本公开实施例至少提供一种任务处理方法和装置、存储介质和电子设备。
[0004]第一方面，提供一种任务处理方法，所述方法包括：
[0005]接收待处理的至少一个目标任务，所述至少一个目标任务对应同一服务；
[0006]由云平台中对应所述服务的多个服务实例中，获取存在空闲处理资源的目标服务实例；所述多个服务实例部署在所述云平台中不同的硬件资源；
[0007]将所述至少一个目标任务分配至所述目标服务实例，并通过所述目标服务实例对所述目标任务进行处理。
[0008]第二方面，提供一种任务处理装置，所述装置包括：
[0009]任务接收模块，用于接收待处理的至少一个目标任务，所述至少一个目标任务对应同一服务；
[0010]实例获取模块，用于由云平台中对应所述服务的多个服务实例中，获取存在空闲处理资源的目标服务实例；所述多个服务实例部署在所述云平台中不同的硬件资源；
[0011]任务分配模块，用于将所述至少一个目标任务分配至所述目标服务实例，并通过所述目标服务实例对所述目标任务进行处理。
[0012]第三方面，提供一种电子设备，包括：存储器、处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机指令，实现本公开任一实施例的方法。
[0013]第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例的方法。
[0014]本公开实施例提供的任务处理方法和装置、存储介质和电子设备，通过在云平台设置部署在不同硬件资源的服务实例，使得云平台具备了异构硬件的混合部署的能力，同一个服务可以部署运行在多种不同的硬件上，满足了市场对多种硬件的需求。
附图说明
[0015]为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0016]图1示出了本公开至少一个实施例提供的一种实例启动的流程图；
[0017]图2示出了本公开至少一个实施例提供的一种云平台的服务实例启动示意图；
[0018]图3示出了本公开至少一个实施例提供的一种任务处理方法的流程图；
[0019]图4示出了本公开至少一个实施例提供的一种任务下发示意图；
[0020]图5示出了本公开至少一个实施例提供的一种任务处理装置的结构示意图；
[0021]图6示出了本公开至少一个实施例提供的一种任务处理装置的结构示意图。
具体实施方式
[0022]为了使本
的人员更好地理解本公开一个或多个实施例中的技术方案，下面将结合本公开一个或多个实施例中的附图，对本公开一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
[0023]本公开实施例提供的任务处理方法，可以由云平台执行，该云平台可以处理云平台用户下发的任务，例如，该任务可以是解析20路视频流，识别出视频流中包括的图像帧中的目标对象“铲车”。并且，云平台在处理任务时，云平台上所部署的用于处理任务的硬件资源对云平台用户可以是不透明的，用户在使用云平台提供的服务时可以感知不到其所使用的硬件信息。
[0024]本公开实施例的云平台支持异构硬件的混合部署，可以通过不同型号的硬件共同提供一种服务能力，可以将多种不同型号的硬件合并成一个云服务集群。如下将详细描述云平台的上述异构硬件的混合部署的方式。
[0025]首先，假设当前要在云平台上架一种新的“服务”，示例性的，该服务可以是某种视觉推理服务，例如，可以是通过预先训练好的神经网络识别图像中的铲车，如果将一张图像输入该神经网络，则神经网络可以输出图像中的铲车。若要将该视觉推理服务在云平台上架，可以在上架之前，进行服务在云平台使用的多种推理硬件上适配工作，即通过适配工作使得该服务的算法能够运行在云平台使用的各个推理硬件上，为后续的服务部署做准备。
[0026]此外，除了进行上述的服务在推理硬件的适配工作，还可以对服务在推理硬件运行时的性能进行标定，得到该服务在不同硬件型号的硬件运行时的运行性能。仍以视觉推理服务为例，假设云平台上使用的硬件包括：Nv_t4和Nv_p4，可以将该视觉推理服务在Nv_t4和Nv_p4进行性能标定，得到如下的运行性能：
[0027]a)、Nv_t4单卡16路：即单卡可以处理16路视频。
[0028]b)、Nv_p4单卡8路：即单卡可以处理8路视频。
[0029]可选的，若经过上述的适配工作后，服务能够在多种硬件上运行，这种情况下，还可以定义服务对多种硬件型号的硬件的使用优先级。例如，视觉推理服务可以在Nv_t4和
Nv_p4两种型号的硬件运行，可以定义该视觉推理服务在这两种型号的硬件的使用优先级是：
[0030]Nv_t4>>Nv_p4
[0031]上述使用优先级的定义指的是：在t4显卡有空闲时优先使用Nv_t4。需要注意的是，上述使用优先级的定义是可选的，在上架前也可以不定义该优先级。而通过定义服务对不同硬件型号的硬件的使用优先级，可以有助于运维人员或者云平台用户根据自己的需求灵活设置硬件的使用规则。
[0032]在进行了上述的硬件适配、性能标定、设置使用优先级等处理后，可以将服务在云平台上架。例如，云平台的运维人员可以将服务相关的运行文件以及服务的硬件支持属性的描述，上传到云平台的系统中。
[0033]其中，所述的服务相关的运行文件中可以包括服务运行所需的算法。例如，对于通过预先训练的神经网络识别图像中的铲车的视觉推理服务来说，可以将该视觉推理服务要使用的所述神经网络上传到云平台。
[0034]其中，服务的硬件支持属本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，其特征在于，所述方法包括：接收待处理的至少一个目标任务，所述至少一个目标任务对应同一服务；由云平台中对应所述服务的多个服务实例中，获取存在空闲处理资源的目标服务实例；所述多个服务实例部署在所述云平台中不同的硬件资源；将所述至少一个目标任务分配至所述目标服务实例，并通过所述目标服务实例对所述目标任务进行处理。2.根据权利要求1所述的方法，其特征在于，在所述接收待处理的至少一个目标任务之前，所述方法还包括：获取所述云平台中的平台硬件资源、所述服务的负载信息、以及所述服务的硬件支持属性；根据所述平台硬件资源、负载信息和硬件支持属性，确定所述服务在部署至所述云平台时的硬件使用信息，所述硬件使用信息用于表征所述云平台分配给所述服务的多种类型的硬件资源；在分配给所述服务的多种类型的硬件资源中，启动所述服务的服务实例。3.根据权利要求2所述的方法，其特征在于，所述获取所述云平台中的平台硬件资源，包括：获取所述云平台中的硬件的硬件型号和硬件数量；所述服务的硬件支持属性包括：所述服务适配的硬件的硬件型号、以及所述服务在所述硬件型号的硬件运行时的运行性能。4.根据权利要求3所述的方法，其特征在于，所述根据所述平台硬件资源、负载信息和硬件支持属性，确定所述服务在部署至所述云平台时的硬件使用信息，包括：由所述平台硬件资源中获取至少一种硬件型号的平台硬件，确定每种硬件型号的平台硬件分别对应的数量，其中，所述平台硬件的硬件型号是所述服务适配的硬件的硬件型号；根据各硬件型号的平台硬件分别对应的数量、以及所述服务分别在各硬件型号的平台硬件的所述运行性能，确定所述服务在所述至少一种硬件型号的平台硬件上运行时的第一负载量；响应于所述第一负载量大于或等于所述负载信息，根据所述至少一种硬件型号的平台硬件和每种硬件型号的平台硬件分别对应的数量，确定所述云平台分配给所述服务的硬件资源。5.根据权利要求4所述的方法，其特征在于，所述确定每种硬件型号的平台硬件分别对应的数量，包括：在每种硬件型号的平台硬件分别对应的硬件数量阈值的范围内，确定每种硬件型号的平台硬件分别对应的数量。6.根据权利要求5所述的方法，其特征在于，在所述服务适配的硬件的硬件型号的数量为多个的情况下，所述硬件支持属性，还包括：所述服务对多种硬件型号的硬件的使用优先级；所述至少一种硬件型号的平台硬件包括：第一型号的平台硬件、以及第二型号的平台硬件；且所述第一型号的优先级高于第二型号的优先级；
由所述平台硬件资源中获取至少一种硬件型号的平台硬件，确定每种硬件型号的平台硬件分别对应的数量，包括：由所述平台硬件资源中获取第一...

【专利技术属性】
技术研发人员：陈家园，由光鑫，黄弈廷，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：