资源分配方法、装置及电子设备和存储介质制造方法及图纸

本申请实施例公开了一种资源分配方法、装置及电子设备和存储介质，计算任务中携带有计算任务的属性标识，不同的属性标识对应不同的计算引擎会话，不同的属性标识对应的计算资源池中的计算资源的数量可能是不同的，获得目标计算任务后，根据目标计算任务的目标属性标识对应的计算引擎会话，将目标计算任务拆分为多个子任务后下发到目标属性标识对应的计算资源池。源池。源池。

【技术实现步骤摘要】
资源分配方法、装置及电子设备和存储介质


[0001]本申请涉及数据处理
，更具体地说，涉及一种资源分配方法、装置及电子设备和存储介质。

技术介绍

[0002]随着大数据时代的到来，分布式计算引擎应运而生。分布式计算引擎具有若干计算资源(Executor)，可以为多个用户提供计算服务。
[0003]目前的分布式计算引擎的资源分配方式是：计算任务共享所有计算资源，即分布式计算引擎每收到一个计算任务，如果有空闲的计算资源，则将计算资源分配给该计算任务，如果没有空闲的计算资源，则等待有空闲的计算资源后再分配给该计算任务。这种资源分配方式易出现数据处理效率无法满足实际业务需求的情况。

技术实现思路

[0004]本申请的目的是提供一种资源分配方法、装置及电子设备和存储介质，包括如下技术方案：
[0005]一种资源分配方法，所述方法包括：
[0006]获得目标计算任务，所述目标计算任务中携带有所述目标计算任务的目标属性标识；
[0007]基于所述目标属性标识对应的计算引擎会话，将所述目标计算任务拆分为多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源分配方法，所述方法包括：获得目标计算任务，所述目标计算任务中携带有所述目标计算任务的目标属性标识；基于所述目标属性标识对应的计算引擎会话，将所述目标计算任务拆分为多个子任务；所述计算引擎会话中维护有所述目标属性标识对应的计算资源池标识，以及用于进行计算任务拆分的相关信息；基于所述计算引擎会话，将所述多个子任务下发到所述计算资源池标识对应的计算资源池。2.根据权利要求1所述的方法，所述基于所述目标属性标识对应的计算引擎会话，将所述目标任务拆分为多个子任务，包括：将所述目标计算任务添加到所述目标属性标识对应的队列中；从所述队列中读取所述目标计算任务后，基于所述目标属性标识对应的计算引擎会话，将所述目标计算任务拆分为多个子任务。3.根据权利要求1所述的方法，所述目标属性标识表征所述目标计算任务的至少一个维度的属性信息。4.根据权利要求3所述的方法，所述至少一个维度的属性信息包括计算任务所属用户；所述方法还包括：根据所述计算资源所属的分布式计算引擎的用户的变化，更新所述分布式计算引擎所维护的属性标识，和/或，更新属性标识对应的计算资源池。5.根据权利要求1所述的方法，所述基于所述计算引擎会话，将所述多个子任务下发到所述计算资源池标识对应的计算资源池，包括：基于所述计算引擎会话，将所述多个子任务下发到所述计...

【专利技术属性】
技术研发人员：李栋，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：