一种控制资源访问的方法、装置及介质制造方法及图纸

本文公开了一种控制资源访问的方法、装置及介质,该方法包括：接收资源请求；确定发起所述资源请求的任务所属的目标作业；确定所述目标作业的资源分配状态，若所述资源分配状态不符合设定资源分配条件，则拒绝所述资源请求。本文将资源控制的粒度细化至作业级别，在同一用户提交多个作业时，其中一个作业不符合设定资源分配条件并且执行失败后不会影响此用户的其它作业，使用户尽可能多的作业得到顺利处理，提高作业处理效率。

A method, device and medium for controlling resource access

【技术实现步骤摘要】
一种控制资源访问的方法、装置及介质
本文涉及网络数据处理
，尤其涉及一种控制资源访问的方法、装置及介质。
技术介绍
在各种分布式计算系统的服务端都需要考虑如何控制资源访问量以防止系统过载。在传统的服务端的设计中，通常根据用户或者客户端进行节流(throttle)控制，例如限定某个用户所能使用的容量，或者限定每台客户端所能使用的容量。由于用户在处理业务时，经常会向计算机群同时提交多个作业，在其中一个作业对资源访问过量过大并且其它作业的访问量正常时，会按照用户进行资源访问限制，从而导致此用户不能进行任何作业处理，此用户中的多个访问量正常的作业均不能正常运行。
技术实现思路
为克服相关技术中存在的问题，本文提供了一种控制资源访问的方法、装置及介质。根据本文实施例的第一方面，提供了一种控制资源访问的方法，应用于分布式系统，包括：接收资源请求；确定发起所述资源请求的任务所属的目标作业；确定所述目标作业的资源分配状态；若所述资源分配状态不符合设定资源分配条件，则拒绝所述资源请求。在另一实施方式中，所述目标作业的资源分配状态包括以下各项中的至少一项：所述目标作业的每个资源类型对应的资源占用量、所述目标作业的每个资源类型对应的资源可用量、所述资源请求中每个资源类型对应的资源申请量；其中，所述目标作业的每个资源类型对应的资源占用量是所述目标作业下所有任务的相应资源类型对应的资源占用量的总和；所述目标作业的每个资源类型对应的资源可用量是根据所述目标作业的每个资源类型对应的资源配额量与所述目标作业的相应资源类型对应的资源占用量的差。在另一实施方式中，所述设定资源分配条件包括以下中的至少一种：所述目标作业的一资源类型对应的资源占用量与所述资源请求中相同的资源类型对应的资源申请量之和，小于或等于所述目标作业的相同的资源类型对应的资源配额量；所述资源请求中一资源类型对应的资源申请量小于或等于所述目标作业的相同的资源类型对应的资源配额量；所述目标作业的一资源类型对应的资源占用量小于或等于所述目标作业的相同的资源类型对应的资源配额量的第一比例，所述第一比例小于1且大于0；所述资源请求中一资源类型对应的资源申请量小于或等于所述目标作业的相同的资源类型对应的资源可用量；所述资源请求中一资源类型对应的资源申请量小于或等于所述目标作业的相同的资源类型对应的资源配额量；所述目标作业的一资源类型对应的资源可用量大于或等于所述目标作业的相同的资源类型对应的资源配额量的第二比例，所述第二比例小于1且大于0。在另一实施方式中，所述确定所述目标作业的资源分配状态包括以下中的至少一种：计算所述目标作业的每个资源类型对应的资源占用量；计算所述目标作业的每个资源类型对应的资源可用量；所述计算所述目标作业的每个资源类型对应的资源占用量，包括：获取所述目标作业与所述目标作业下所有任务的一对多映射关系；根据所述一对多映射关系确定所述目标作业下所有任务；计算所述目标作业下所有任务的相同资源类型对应的资源占用量的总和；所述计算所述目标作业的每个资源类型对应的资源可用量，包括：计算所述目标作业的每个资源类型对应的资源配额量与所述目标作业的相应资源类型对应的资源占用量的差。在另一实施方式中，所述方法还包括：获取用户的所有作业在设定历史时段内的各资源类型的资源占用量；根据所述用户的所有作业在设定历史时段内的各资源类型的资源占用量计算所述用户的各资源类型的参考资源占用量；将所述用户的作业对应的各资源类型的资源配额量设置为所述用户的相应资源类型的参考资源占用量。在另一实施方式中，所述方法还包括：检测用户的用户优先级；在用户的用户优先级变化时，根据所述用户的用户优先级变化幅度调整所述用户的作业对应的各资源类型的资源配额量。根据本文实施例的第二方面，还提供了一种控制资源访问的装置，应用于分布式系统，包括：接收模块，用于接收资源请求；第一确定模块，用于确定发起所述资源请求的任务所属的目标作业；第二确定模块，用于确定所述目标作业的资源分配状态；控制模块，用于在所述资源分配状态不符合设定资源分配条件时，拒绝所述资源请求。在另一实施例中，所述目标作业的资源分配状态包括以下各项中的至少一项：所述目标作业的每个资源类型对应的资源占用量、所述目标作业的每个资源类型对应的资源可用量、所述资源请求中每个资源类型对应的资源申请量；其中，所述目标作业的每个资源类型对应的资源占用量是所述目标作业下所有任务的相应资源类型对应的资源占用量的总和；所述目标作业的每个资源类型对应的资源可用量是根据所述目标作业的每个资源类型对应的资源配额量与所述目标作业的相应资源类型对应的资源占用量的差。在另一实施例中，所述设定资源分配条件包括以下中的至少一种：所述目标作业的一资源类型对应的资源占用量与所述资源请求中相同的资源类型对应的资源申请量之和，小于或等于所述目标作业的相同的资源类型对应的资源配额量；所述资源请求中一资源类型对应的资源申请量小于或等于所述目标作业的相同的资源类型对应的资源配额量；所述目标作业的一资源类型对应的资源占用量小于或等于所述目标作业的相同的资源类型对应的资源配额量的第一比例，所述第一比例小于1且大于0；所述资源请求中一资源类型对应的资源申请量小于或等于所述目标作业的相同的资源类型对应的资源可用量；所述资源请求中一资源类型对应的资源申请量小于或等于所述目标作业的相同的资源类型对应的资源配额量；所述目标作业的一资源类型对应的资源可用量大于或等于所述目标作业的相同的资源类型对应的资源配额量的第二比例，所述第二比例小于1且大于0。在另一实施例中，所述第二确定模块包括以下模块中的至少一个：第一计算模块，用于计算所述目标作业的每个资源类型对应的资源占用量；第二计算模块，用于计算所述目标作业的每个资源类型对应的资源可用量；所述第一计算模块包括：第一获取模块，用于获取所述目标作业与所述目标作业下所有任务的一对多映射关系；第三确定模块，用于根据所述一对多映射关系确定所述目标作业下所有任务；第三计算模块，用于计算所述目标作业下所有任务的相同资源类型对应的资源占用量的总和；第二计算模块包括：第四计算模块，用于计算所述目标作业的每个资源类型对应的资源配额量与所述目标作业的相应资源类型对应的资源占用量的差。在另一实施例中，所述装置还包括：第二获取模块，用于获取用户的所有作业在设定历史时段内的各资源类型的资源占用量；第五计算模块，用于根据所述用户的所有作业在设定历史时段内的各资源类型的资源占用量计算所述用户的各资源类型的参考资源占用量；设置模块，用于将所述用户的作业对应的本文档来自技高网...

【技术保护点】
1.一种控制资源访问的方法，应用于分布式系统，其特征在于，包括：/n接收资源请求；/n确定发起所述资源请求的任务所属的目标作业；/n确定所述目标作业的资源分配状态；/n若所述资源分配状态不符合设定资源分配条件，则拒绝所述资源请求。/n

【技术特征摘要】
1.一种控制资源访问的方法，应用于分布式系统，其特征在于，包括：
接收资源请求；
确定发起所述资源请求的任务所属的目标作业；
确定所述目标作业的资源分配状态；
若所述资源分配状态不符合设定资源分配条件，则拒绝所述资源请求。


2.如权利要求1所述的方法，其特征在于，
所述目标作业的资源分配状态包括以下各项中的至少一项：
所述目标作业的每个资源类型对应的资源占用量、所述目标作业的每个资源类型对应的资源可用量、所述资源请求中每个资源类型对应的资源申请量；
其中，所述目标作业的每个资源类型对应的资源占用量是所述目标作业下所有任务的相应资源类型对应的资源占用量的总和；
所述目标作业的每个资源类型对应的资源可用量是根据所述目标作业的每个资源类型对应的资源配额量与所述目标作业的相应资源类型对应的资源占用量的差。


3.如权利要求2所述的方法，其特征在于，
所述设定资源分配条件包括以下中的至少一种：
所述目标作业的一资源类型对应的资源占用量与所述资源请求中相同的资源类型对应的资源申请量之和，小于或等于所述目标作业的相同的资源类型对应的资源配额量；
所述资源请求中一资源类型对应的资源申请量小于或等于所述目标作业的相同的资源类型对应的资源配额量；
所述目标作业的一资源类型对应的资源占用量小于或等于所述目标作业的相同的资源类型对应的资源配额量的第一比例，所述第一比例小于1且大于0；
所述资源请求中一资源类型对应的资源申请量小于或等于所述目标作业的相同的资源类型对应的资源可用量；
所述资源请求中一资源类型对应的资源申请量小于或等于所述目标作业的相同的资源类型对应的资源配额量；
所述目标作业的一资源类型对应的资源可用量大于或等于所述目标作业的相同的资源类型对应的资源配额量的第二比例，所述第二比例小于1且大于0。


4.如权利要求2所述的方法，其特征在于，
所述确定所述目标作业的资源分配状态包括以下中的至少一种：
计算所述目标作业的每个资源类型对应的资源占用量；
计算所述目标作业的每个资源类型对应的资源可用量；
所述计算所述目标作业的每个资源类型对应的资源占用量，包括：
获取所述目标作业与所述目标作业下所有任务的一对多映射关系；
根据所述一对多映射关系确定所述目标作业下所有任务；
计算所述目标作业下所有任务的相同资源类型对应的资源占用量的总和；
所述计算所述目标作业的每个资源类型对应的资源可用量，包括：
计算所述目标作业的每个资源类型对应的资源配额量与所述目标作业的相应资源类型对应的资源占用量的差。


5.如权利要求1所述的方法，其特征在于，
所述方法还包括：
获取用户的所有作业在设定历史时段内的各资源类型的资源占用量；
根据所述用户的所有作业在设定历史时段内的各资源类型的资源占用量计算所述用户的各资源类型的参考资源占用量；
将所述用户的作业对应的各资源类型的资源配额量设置为所述用户的相应资源类型的参考资源占用量。


6.如权利要求1所述的方法，其特征在于，
所述方法还包括：
检测用户的用户优先级；
在用户的用户优先级变化时，根据所述用户的用户优先级变化幅度调整所述用户的作业对应的各资源类型的资源配额量。


7.一种控制资源访问的装置，应用于分布式系统，其特征在于，包括：
接收模块，用于接收资源请求；
第一确定模块，用于确定发起所述资源请求的任务所属的目标作业；
第二确定模块，用于确定所述目标作业的资源分配状态；
控制模块，用于在所述资源分配状态不符合设定资源分配条件时，拒绝所述资源请求。


8.如权利要求7所述的装置，其特征在于，
所述目标作业的资源分配状态包括以下各...

【专利技术属性】
技术研发人员：周应超，
申请(专利权)人：北京松果电子有限公司，
类型：发明
国别省市：北京;11