作业处理方法、装置、电子设备、存储介质和程序产品制造方法及图纸

本公开公开了一种作业处理方法、装置、电子设备、存储介质和计算器程序产品，涉及人工智能领域，具体涉及计算机视觉方面。具体实现方案为：在接收到目标作业的部署请求的情况下，响应于所述部署请求，检测所述目标作业所需资源空间的大小；基于所述目标作业所需资源空间的大小，在目标服务器集群中确定目标资源空间，其中，所述目标资源空间的大小与所述目标作业所需资源空间的大小相适配；将所述目标作业部署于所述目标服务器集群，以使所述目标服务器集群基于所述目标资源空间处理所述目标作业的作业任务。本公开提供一种作业处理方法、装置、电子设备和程序产品，可以解决现有技术中对作业任务进行部署的效果较差的问题。

【技术实现步骤摘要】
作业处理方法、装置、电子设备、存储介质和程序产品
本公开涉及人工智能领域，具体涉及中的计算机视觉
方面，具体涉及一种作业处理方法、装置、电子设备和程序产品。
技术介绍
现有技术中，服务平台所处理的作业任务通常是由人工进行部署，具体而言，当部署人员接收到部署任务时，根据业务方提出的资源数量需求，在服务器集群中为所述作业任务划分对应的资源空间，并将所述作业任务部署于服务器集群，以便于服务器集群基于所划分的资源空间处理所述作业任务。
技术实现思路
本公开提供一种作业处理方法、装置、电子设备和程序产品，可以解决现有技术中对作业任务进行部署的效果较差的问题。根据本公开的第一方面，本公开提供一种作业处理方法，包括：在接收到目标作业的部署请求的情况下，响应于所述部署请求，检测所述目标作业所需资源空间的大小；基于所述目标作业所需资源空间的大小，在目标服务器集群中确定目标资源空间，其中，所述目标资源空间的大小与所述目标作业所需资源空间的大小相适配；将所述目标作业部署于所述目标服务器集群，以使所述目标服务器集群基于所述目标资源空间处理所述目标作业的作业任务。根据本公开的另一方面，提供了一种作业处理装置，包括：检测模块，用于在接收到目标作业的部署请求的情况下，响应于所述部署请求，检测所述目标作业所需资源空间的大小；确定模块，用于基于所述目标作业所需资源空间的大小，在目标服务器集群中确定目标资源空间，其中，所述目标资源空间的大小与所述目标作业所需资源空间的大小相适配；部署模块，用于将所述目标作业部署于所述目标服务器集群，以使所述目标服务器集群基于所述目标资源空间处理所述目标作业的作业任务。根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开提供的作业处理方法步骤。根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开提供的作业处理方法步骤。根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的作业处理方法步骤。根据本公开的技术方案，在接收到目标作业的部署任务的情况下，自动检测目标作业所需资源空间的大小，并在目标服务器集群中确定目标资源空间，然后，将部署任务部署于目标服务器集群，以使所述目标服务器集群基于所述目标资源空间处理目标作业。相对于现有技术中采用人工进行部署的方式而言，可以提高部署的效率，同时，可以提高资源的利用率，从而提高了对作业任务进行部署的效果。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本公开的限定。其中：图1是本公开实施例中所提供的作业处理方法的流程图；图2是本公开实施例中所提供的作业处理系统的模块图；图3是本公开实施例中所提供的作业处理装置的结构示意图之一；图4是本公开实施例中所提供的作业处理装置的结构示意图之二；图5是本公开实施例中部署模块的结构示意图；图6是用来实现本公开实施例的作业处理方法的电子设备的框图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。请参见图1，图1是本公开实施例提供的一种作业处理方法，包括：步骤S101、在接收到目标作业的部署请求的情况下，响应于所述部署请求，检测所述目标作业所需资源空间的大小。上述作业处理方法可以应用于电子设备，具体而言，可以在电子设备中构建作业提交系统，所述作业提交系统可以用于对接业务端与目标服务器集群。具体而言，业务端可以将目标作业的部署请求发送至所述作业提交系统，作业提交系统可以响应于所述部署请求，在所述目标服务器集群上部署所述目标作业。其中，上述目标作业可以是业务端向服务平台提交的各类作业请求，具体而言，所述目标作业可以是视觉智能计算类的作业请求。例如，所述目标作业可以是业务端所提交的对多媒体数据进行审核或分类等作业的请求。上述目标作业的部署请求可以包括测试包，所述测试包可以包括业务端在过去一段时间内的历史数据，可以通过对业务端的历史数据进行检测，以确定后续目标服务器集群处理所述业务端的业务时，所需投入的物理资源的数量。例如，所述业务端可以是短视频平台，所述短视频平台每天都会接收到平台用户上传的大量的视频数据，短视频平台在发布用户的视频数据之前，通常需要对用户上传的视频数据进行审核以及分类等工作。当所述目标作业为对短视频平台的视频数据进行审核和分类的作业时，可以将短视频平台在过去一段时间内所接收到的所有视频数据作业测试包发送至作业提交系统，此时，作业提交系统可以对所述测试包进行压测，以确定后续目标服务器集群处理所述业务端的业务时，所需投入的物理资源的数量。其中，所述测试包可以是从短视频平台过去一段时间内的历史视频数据中随机抽样得到的数据包。上述目标作业所需资源空间的大小即后续目标服务器集群处理所述业务端的业务时，所需投入的物理资源的数量。上述资源空间中的资源可以包括中央处理器(CPU，CentralProcessingUnit)、图形处理器(英语：GraphicsProcessingUnit，缩写：GPU)、内存磁盘等物理资源。其中，在服务平台发起算子调用申请，审批通过及完成部署后，正式开始运行的算子调用任务称为作业。申请作业接入时可以同时选择多个算子，实际运行和监控时一个独立算子调用记为一个独立作业。步骤S102、基于所述目标作业所需资源空间的大小，在目标服务器集群中确定目标资源空间，其中，所述目标资源空间的大小与所述目标作业所需资源空间的大小相适配。上述目标资源空间的大小与所述目标作业所需资源空间的大小相适配可以是指目标资源空间的大小与所述目标作业所需资源空间的大小相同，当然，也可以是指目标资源空间的大小大于所述目标作业所需资源空间的大小。步骤S103、将所述目标作业部署于所述目标服务器集群，以使所述目标服务器集群基于所述目标资源空间处理所述目标作业的作业任务。具体而言，在处理目标作业所需的资源空间的大小之后，从所述目标服务器集群中划分出所述目标资源空间作为处理所述目标作业的作业空间，同时，可以所述处理所述目标作业的作业算子，并将作业算子接入所述目标服务器集群，从而完成对所述本文档来自技高网...

【技术保护点】
1.一种作业处理方法，包括：/n在接收到目标作业的部署请求的情况下，响应于所述部署请求，检测所述目标作业所需资源空间的大小；/n基于所述目标作业所需资源空间的大小，在目标服务器集群中确定目标资源空间，其中，所述目标资源空间的大小与所述目标作业所需资源空间的大小相适配；/n将所述目标作业部署于所述目标服务器集群，以使所述目标服务器集群基于所述目标资源空间处理所述目标作业的作业任务。/n

【技术特征摘要】
1.一种作业处理方法，包括：
在接收到目标作业的部署请求的情况下，响应于所述部署请求，检测所述目标作业所需资源空间的大小；
基于所述目标作业所需资源空间的大小，在目标服务器集群中确定目标资源空间，其中，所述目标资源空间的大小与所述目标作业所需资源空间的大小相适配；
将所述目标作业部署于所述目标服务器集群，以使所述目标服务器集群基于所述目标资源空间处理所述目标作业的作业任务。


2.根据权利要求1所述的方法，其中，所述作业任务包括在线子任务，所述将所述目标作业部署于所述目标服务器集群之后，所述方法还包括：
基于所述目标服务器集群在预设时间段内接收到的在线子任务的数量,预测下一时间节点的在线子任务的数量；
基于所述下一时间节点的在线子任务的数量，对所述目标资源空间的大小进行调节。


3.根据权利要求2所述的方法，其中，所述基于所述下一时间节点的在线子任务的数量，对所述目标资源空间的大小进行调节，包括：
在所述下一时间节点的在线子任务的数量小于第一预设值的情况下，减小所述目标资源空间的大小；
在所述下一时间节点的在线子任务的数量大于第二预设值的情况下，增大所述目标资源空间的大小。


4.根据权利要求2所述的方法，其中，所述作业任务还包括离线子任务，所述基于所述目标服务器集群在预设时间段内接收到的在线子任务的数量,预测下一时间节点的在线子任务的数量之后，所述方法还包括：
在所述下一时间节点的在线子任务的数量小于所述第一预设值的情况下，将所接收到的离线子任务发送至所述目标服务器集群，以使所述目标服务器集群处理所述离线子任务。


5.根据权利要求1所述的方法，其中，所述目标服务器集群包括至少两个目标服务器，所述将所述目标作业部署于所述目标服务器集群之后，所述方法还包括：
在接收所述目标作业的第一作业任务的情况下，获取所述至少两个目标服务器中每个目标服务器的图形处理器利用率；
将所述第一作业任务发送至所述至少两个目标服务器中的第一目标服务器，其中，所述第一目标服务器为所述至少两个服务器中图形处理器利用率较低的目标服务器。


6.根据权利要求1所述的方法，其中，所述将所述目标作业部署于所述目标服务器集群，包括：
获取目标算子，其中，所述目标算子用于处理所述目标作业的作业任务；
检测所述目标算子处理所述目标作业的作业任务时，对所述目标服务器集群中的图像处理器的利用率；
在所述目标算子对所述图形处理器的利用率大于第三预设值的情况下，将所述目标算子接入所述目标服务器集群。


7.一种作业处理装置，包括：
检测模块，用于在接收到目标作业的部署请求的情况下，响应于所述部署请求，检测所述目标作业所需资源空间的大小；
确定模块，用于基于所述目标作业所需资源空间的大小，在目标服务器集群中确定目标资源...

【专利技术属性】
技术研发人员：曹璨，杨咏臻，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11