基于用户组的资源动态分配方法、系统、终端及存储介质技术方案

本发明专利技术提供一种基于用户组的资源动态分配方法、系统、终端及存储介质，包括：设置用户组并设置所述用户组的权重；采集用户组下的任务信息并根据所述任务信息生成用户组资源需求量；按所述资源需求量由大到小生成用户组资源分配顺序；根据当前资源可用量和用户组权重计算用户组资源分配量；根据所述资源分配顺序和所述用户组资源分配量向用户组分配资源。本发明专利技术能够公平的为不同的用户组合理的分配资源。

Dynamic resource allocation method, system, terminal and storage medium based on user group

【技术实现步骤摘要】
基于用户组的资源动态分配方法、系统、终端及存储介质
本专利技术涉及集群资源分配
，具体涉及一种基于大数据的发型推荐方法、系统、终端及存储介质。
技术介绍
人工智能领域，在进行模型训练时，需要巨大的算力来提高训练速度，越来越多的企业或者科研院所开始采购GPU服务器作为人工智能场景下的基础设施。目前的深度学习框架、经典的算法模型在运行时都需要较多的GPU显存、GPU卡数，通常一次模型训练都会占用一张或或者多张GPU，这会导致GPU是一种紧缺资源，GPU服务器成本较高，企业不可能购买大量的GPU服务器来，来同时满足全部算法人员的GPU资源需求。从资源利用率的角度，基础设施平台运维人员希望分配出去的资源能够被充分利用，提高集群的资源利用率，而使用GPU的算法人员希望获得更多的GPU卡，从而希望训练任务能够使用尽可能少的时间完成，加快模型的迭代速度。当存在不同的算法人员或者不同的部门时，如何能够公平有效的分配资源，是基础设施运维人员面临的一大困难。同时在有些场景下，例如科研人员临时紧急需要一批GPU资源，用于完成模型训练，不希望等待资源的分配，从而本文档来自技高网...

【技术保护点】
1.一种基于用户组的资源动态分配方法，其特征在于，包括：/n设置用户组并设置所述用户组的权重；/n采集用户组下的任务信息并根据所述任务信息生成用户组资源需求量；/n按所述资源需求量由大到小生成用户组资源分配顺序；/n根据当前资源可用量和用户组权重计算用户组资源分配量；/n根据所述资源分配顺序和所述用户组资源分配量向用户组分配资源。/n

【技术特征摘要】
1.一种基于用户组的资源动态分配方法，其特征在于，包括：
设置用户组并设置所述用户组的权重；
采集用户组下的任务信息并根据所述任务信息生成用户组资源需求量；
按所述资源需求量由大到小生成用户组资源分配顺序；
根据当前资源可用量和用户组权重计算用户组资源分配量；
根据所述资源分配顺序和所述用户组资源分配量向用户组分配资源。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
采集用户组下的任务信息；
将紧急任务从所述用户组的任务移除，并将所述紧急任务添加至紧急队列，所述紧急队列优先分配资源；
将已分配到最小可执行资源的任务移动至所述用户组的任务队列的末尾；
将所述用户组的任务队列的任务按任务由大到小进行先后排序，并将大小相同的任务按创建时间有早到晚进行先后排序。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述用户组的已分配资源向所述任务队列中的任务依次下发。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
采集用户组已分配资源量；
判断所述用户组需求资源量是否超过所述已分配资源量：
若是，则将所述用户组加入待分配资源队列；
若否，则将所述用户组从待分配资源队列移除。


5.根据权利要求1所述的方法，其特征在于，所述根据当前资源可用量和用户组权重计算用户组资源分配量，包括：
采集集群当前资源可用量；
计算用户组的权重比，所述权重比为所述用户组权重与所有用户组权重和之比；
计算所述当前资源可用量与所述权重比的乘积，并将所述乘积作为所述用户组的资源分配量；
采集所述用户组的历史资源分配量，将所述资源分配量与所述历...

【专利技术属性】
技术研发人员：王德奎，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32