用于确定资源的方法和装置制造方法及图纸

本申请公开了用于确定资源的方法和装置，具体实现方案为：响应于接收到业务中某个资源的调度请求，获取业务的第一容器集合和第二容器集合；基于第一容器集合、第二容器集合和各个容器对应的第一因子，确定第一资源量和第二资源量，并生成与各个第一资源量和各个第二资源量相对应的资源总量；响应于资源总量大于阈值，基于容器评分，对第一容器集合和第二容器集合进行选取，生成选取后的各个容器对应的容器列表；基于容器列表和选取后的各个容器的第一因子，确定容器列表中各个容器的第三资源量，并生成与各个第三资源量相对应的目标资源总量。该方案通过周期性地对调度资源进行确定，找到最佳的资源分配给容器，提升了主机的资源利用率。资源利用率。资源利用率。

【技术实现步骤摘要】
用于确定资源的方法和装置


[0001]本申请的实施例涉及计算机
，具体涉及数据处理
，尤其涉及用于确定资源的方法和装置。

技术介绍

[0002]Apache Hadoop YARN(Yet Another Resource Negoitator)是当前大数据领域主流的集群管理与调度系统，也称其为数据中心操作系统，主要由资源管理ResourceManager、节点管理NodeManager以及应用程序主管ApplicationMaster等组件构成。其中NodeManager主要负责计算节点的资源汇报以及容器管理，容器负责执行ApplicationMaster分配的任务。NodeManager在启动容器时会根据容器所申请的资源量计算出对应的时间片，并通过cgroups技术实现容器的调度。然而现有Apache Hadoop YARN系统无法实现同一主机上容器资源的动态调度，导致主机资源利用率无法得到有效提升。

技术实现思路

[0003]本申请提供了一种用于确定资源的方法、装置、设备以及存储介质。
[0004]根据本申请的第一方面，提供了一种用于确定资源的方法，该方法包括：响应于接收到业务中某个资源的调度请求，获取业务的第一容器集合和第二容器集合，其中，第一容器集合用于表征业务中处于运行状态的各个容器的集合，第二容器集合用于表征业务中作为待启动的各个容器的集合；基于第一容器集合、第二容器集合和各个容器对应的第一因子，确定第一容器集合中各个容器的第一资源量和第二容器集合中各个容器的第二资源量，并生成与各个第一资源量和各个第二资源量相对应的资源总量，其中，第一因子用于表征资源的调整范围，第一资源量和第二资源量基于容器的资源的使用量和相应容器对应的第一因子的第一取值计算得到；响应于资源总量大于阈值，基于容器评分，对第一容器集合和第二容器集合进行选取，生成选取后的各个容器对应的容器列表；基于容器列表和选取后的各个容器的第一因子，确定容器列表中各个容器的第三资源量，并生成与各个第三资源量相对应的目标资源总量，其中，第三资源量基于容器的资源的使用量和相应容器对应的第一因子的第二取值计算得到，目标资源总量用于表征容器列表中各个容器的资源的待释放的资源量的总和。
[0005]在一些实施例中，基于第一容器集合、第二容器集合和各个容器对应的第一因子，确定第一容器集合中各个容器的第一资源量和第二容器集合中各个容器的第二资源量，并生成与各个第一资源量和各个第二资源量相对应的资源总量，包括：基于第一容器集合、第二容器集合和各个容器对应的第一因子的最大值，确定第一容器集合中各个容器的第一资源量和第二容器集合中各个容器的第二资源量，并生成与各个第一资源量和各个第二资源量相对应的资源总量，其中，各个容器对应的第一因子基于业务的优先级和各个容器对应的作业的优先级而动态调整。
[0006]在一些实施例中，基于容器列表和选取后的各个容器的第一因子，确定容器列表
中各个容器的第三资源量，并生成与各个第三资源量相对应的目标资源总量，包括：基于容器列表和选取后的各个容器的第一因子的最小值，确定容器列表中各个容器的第三资源量，并生成与各个第三资源量相对应的目标资源总量。
[0007]在一些实施例中，各个容器的第一因子利用深度学习网络预先训练得到。
[0008]在一些实施例中，阈值基于超卖理论预先设定。
[0009]在一些实施例中，方法还包括：响应于资源总量不大于阈值，基于第二资源量和阈值，对第二容器集合中的各个容器的资源值进行调整。
[0010]在一些实施例中，在基于容器列表和选取后的各个容器的第一因子，确定容器列表中各个容器的第三资源量，并生成与各个第三资源量相对应的目标资源总量之后，还包括：响应于资源总量与目标资源总量的差值不大于阈值，基于第三资源量和阈值，对容器列表中的各个容器的资源值进行调整。
[0011]在一些实施例中，在基于容器列表和选取后的各个容器的第一因子，确定容器列表中各个容器的第三资源量，并生成与各个第三资源量相对应的目标资源总量之后，还包括：响应于资源总量与目标资源总量的差值大于阈值，跳转至基于容器评分，对第一容器集合和第二容器集合进行选取，生成选取后的各个容器对应的容器列表。
[0012]根据本申请的第二方面，提供了一种用于确定资源的装置，装置包括：获取单元，被配置成响应于接收到业务中某个资源的调度请求，获取业务的第一容器集合和第二容器集合，其中，第一容器集合用于表征业务中处于运行状态的各个容器的集合，第二容器集合用于表征业务中作为待启动的各个容器的集合；第一确定单元，被配置成基于第一容器集合、第二容器集合和各个容器对应的第一因子，确定第一容器集合中各个容器的第一资源量和第二容器集合中各个容器的第二资源量，并生成与各个第一资源量和各个第二资源量相对应的资源总量，其中，第一因子用于表征资源的调整范围，第一资源量和第二资源量基于容器的资源的使用量和相应容器对应的第一因子的第一取值计算得到；选取单元，被配置成响应于资源总量大于阈值，基于容器评分，对第一容器集合和第二容器集合进行选取，生成选取后的各个容器对应的容器列表；第二确定单元，被配置成基于容器列表和选取后的各个容器的第一因子，确定容器列表中各个容器的第三资源量，并生成与各个第三资源量相对应的目标资源总量，其中，第三资源量基于容器的资源的使用量和相应容器对应的第一因子的第二取值计算得到，目标资源总量用于表征容器列表中各个容器的资源的待释放的资源量的总和。
[0013]在一些实施例中，第一确定单元进一步被配置成基于第一容器集合、第二容器集合和各个容器对应的第一因子的最大值，确定第一容器集合中各个容器的第一资源量和第二容器集合中各个容器的第二资源量，并生成与各个第一资源量和各个第二资源量相对应的资源总量，其中，各个容器对应的第一因子基于业务的优先级和各个容器对应的作业的优先级而动态调整。
[0014]在一些实施例中，第二确定单元进一步被配置成基于容器列表和选取后的各个容器的第一因子的最小值，确定容器列表中各个容器的第三资源量，并生成与各个第三资源量相对应的目标资源总量。
[0015]在一些实施例中，各个容器的第一因子利用深度学习网络预先训练得到；阈值基于超卖理论预先设定。
[0016]在一些实施例中，装置还包括：第一执行单元，被配置成响应于资源总量不大于阈值，基于第二资源量和阈值，对第二容器集合中的各个容器的资源值进行调整。
[0017]在一些实施例中，装置还包括：第二执行操作，被配置成响应于资源总量与目标资源总量的差值不大于阈值，基于第三资源量和阈值，对容器列表中的各个容器的资源值进行调整。
[0018]在一些实施例中，装置还包括：跳转单元，被配置成响应于资源总量与目标资源总量的差值大于阈值，跳转至基于容器评分，对第一容器集合和第二容器集合进行选取，生成选取后的各个容器对应的容器列表。
[0019]根据本申请的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于确定资源的方法，所述方法包括：响应于接收到业务中某个资源的调度请求，获取所述业务的第一容器集合和第二容器集合，其中，所述第一容器集合用于表征所述业务中处于运行状态的各个容器的集合，所述第二容器集合用于表征所述业务中作为待启动的各个容器的集合；基于所述第一容器集合、所述第二容器集合和各个容器对应的第一因子，确定所述第一容器集合中各个容器的第一资源量和所述第二容器集合中各个容器的第二资源量，并生成与各个所述第一资源量和各个所述第二资源量相对应的资源总量，其中，所述第一因子用于表征所述资源的调整范围，所述第一资源量和所述第二资源量基于容器的所述资源的使用量和相应容器对应的所述第一因子的第一取值计算得到；响应于所述资源总量大于阈值，基于容器评分，对所述第一容器集合和所述第二容器集合进行选取，生成选取后的各个容器对应的容器列表；基于所述容器列表和选取后的各个容器的所述第一因子，确定所述容器列表中各个容器的第三资源量，并生成与各个所述第三资源量相对应的目标资源总量，其中，所述第三资源量基于容器的所述资源的使用量和相应容器对应的所述第一因子的第二取值计算得到，所述目标资源总量用于表征所述容器列表中各个容器的所述资源的待释放的资源量的总和。2.根据权利要求1所述的方法，其中，所述基于所述第一容器集合、所述第二容器集合和各个容器对应的第一因子，确定所述第一容器集合中各个容器的第一资源量和所述第二容器集合中各个容器的第二资源量，并生成与各个所述第一资源量和各个所述第二资源量相对应的资源总量，包括：基于所述第一容器集合、所述第二容器集合和各个容器对应的第一因子的最大值，确定所述第一容器集合中各个容器的第一资源量和所述第二容器集合中各个容器的第二资源量，并生成与各个所述第一资源量和各个所述第二资源量相对应的资源总量，其中，所述各个容器对应的第一因子基于所述业务的优先级和各个容器对应的作业的优先级而动态调整。3.根据权利要求2所述的方法，其中，所述基于所述容器列表和选取后的各个容器的所述第一因子，确定所述容器列表中各个容器的第三资源量，并生成与各个所述第三资源量相对应的目标资源总量，包括：基于所述容器列表和选取后的各个容器的所述第一因子的最小值，确定所述容器列表中各个容器的第三资源量，并生成与各个所述第三资源量相对应的目标资源总量。4.根据权利要求1所述的方法，其中，所述各个容器的所述第一因子利用深度学习网络预先训练得到。5.根据权利要求1所述的方法，其中，所述阈值基于超卖理论预先设定。6.根据权利要求1所述的方法，还包括：响应于所述资源总量不大于所述阈值，基于所述第二资源量和所述阈值，对所述第二容器集合中的各个容器的所述资源值进行调整。7.根据权利要求1所述的方法，其中，在所述基于所述容器列表和选取后的各个容器的所述第一因子，确定所述容器列表中各个容器的第三资源量，并生成与各个所述第三资源量相对应的目标资源总量之后，还包括：
响应于所述资源总量与所述目标资源总量的差值不大于所述阈值，基于所述第三资源量和所述阈值，对所述容器列表中的各个容器的所述资源值进行调整。8.根据权利要求1所述的方法，其中，在所述基于所述容器列表和选取后的各个容器的所述第一因子，确定所述容器列表中各个容器的第三资源量，并生成与各个所述第三资源量相对应的目标资源总量之后，还包括：响应于所述资源总量与所述目标资源总量的差值大于所述阈值，跳转至基于容器评分，对所述第一容器集合和所述第二容器集合进行选取，生成选取后的各...

【专利技术属性】
技术研发人员：季万强，席淑海，逯晓斌，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：