计算资源的调度方法、装置、电子设备和存储介质制造方法及图纸

本申请公开了一种计算资源的调度方法、装置、电子设备和存储介质，涉及互联网领域。实现方案为：监测资源池中各计算资源的存活时长，在监测到存活时长达到对应的时长上限的目标计算资源时，查询任务队列，并确定任务队列中是否存在待执行的任务，若是，则延长目标计算资源的时长上限，若否，则确定目标计算资源处于空闲状态，将目标计算资源从资源池中释放。由此，可以实现根据任务队列中待执行的任务情况，动态调整资源池中的计算资源，一方面，可以避免资源的浪费，另一方面，还可以兼顾任务的执行效率。

【技术实现步骤摘要】
计算资源的调度方法、装置、电子设备和存储介质
本申请涉及互联网
，具体地，本申请提供了一种计算资源的调度方法、装置、电子设备和存储介质。
技术介绍
查询平台可以为需求方提供查询服务，从海量数据中提取需求方所需信息。其中，查询本身会转化为Spark计算任务提交至Spark集群执行。目前，为了实现提升任务的执行效率，可以利用常驻式的Spark计算资源(Session)，将一批计算资源在首次申请后不进行释放，即，一次性申请足够多的计算资源长期占用且不释放，以便利用长期占用的计算资源直接执行下一个或下一批到来的任务，从而加快查询速度。然而，长期占用计算资源，当查询平台处于空闲状态时会导致资源的浪费。
技术实现思路
本申请提供了一种用于计算资源的调度方法、装置、电子设备和存储介质。根据本申请的一方面，提供了一种计算资源的调度方法，包括：根据资源池中各计算资源的时长上限，监测各所述计算资源的存活时长；在监测到目标计算资源时，查询任务队列，其中，所述目标计算资源的存活时长达到对应的所述时长上限；响应于所述任务队列中存在待执行的任务，延长所述目标计算资源的所述时长上限；响应于所述任务队列中未存在待执行的任务，确定所述目标计算资源处于空闲状态则将所述目标计算资源从所述资源池中释放。根据本申请的另一方面，提供了一种计算资源的调度装置，包括：监测模块，用于根据资源池中各计算资源的时长上限，监测各所述计算资源的存活时长；查询模块，用于在监测到目标计算资源时，查询任务队列，其中，所述目标计算资源的存活时长达到对应的所述时长上限；处理模块，用于响应于所述任务队列中存在待执行的任务，延长所述目标计算资源的所述时长上限；释放模块，用于响应于所述任务队列中未存在待执行的任务，确定所述目标计算资源处于空闲状态则将所述目标计算资源从所述资源池中释放。根据本申请的又一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请上述实施例提出的计算资源的调度方法。根据本申请的再一方面，提供了一种计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请上述实施例提出的计算资源的调度方法。根据本申请的还一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本申请上述实施例提出的计算资源的调度方法。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1为本申请实施例一所提供的计算资源的调度方法的流程示意图；图2为本申请实施例二所提供的计算资源的调度方法的流程示意图；图3为本申请实施例三所提供的计算资源的调度方法的流程示意图；图4为本申请实施例四所提供的计算资源的调度方法的流程示意图；图5为本申请实施例的调度原理示意图；图6为本申请实施例五所提供的计算资源的调度装置的结构示意图；图7是根据本申请实施例的计算资源的调度方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。本申请主要针对现有技术中，利用常驻式的Spark计算资源，将一批计算资源在首次申请后不进行释放，当查询平台处于空闲状态时会导致资源的浪费的技术问题，提出一种计算资源的调度方法，该计算资源的调度方法通过监测资源池中各计算资源的存活时长，在监测到存活时长达到对应的时长上限的目标计算资源时，查询任务队列，并确定任务队列中是否存在待执行的任务，若是，则延长目标计算资源的时长上限，若否，则确定目标计算资源处于空闲状态，将目标计算资源从资源池中释放。由此，可以实现根据任务队列中待执行的任务情况，动态调整资源池中的计算资源，一方面，可以避免资源的浪费，另一方面，还可以兼顾任务的执行效率。下面参考附图描述本申请实施例的计算资源的调度方法、装置、电子设备和存储介质。图1为本申请实施例一所提供的计算资源的调度方法的流程示意图。本申请实施例以该计算资源的调度方法被配置于计算资源的调度装置中来举例说明，该计算资源的调度装置可以应用于任一电子设备中，以使该电子设备可以执行计算资源的调度功能。其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(PersonalComputer，简称PC)、移动终端、服务器等，移动终端例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。如图1所示，该计算资源的调度方法可以包括以下步骤：步骤101，根据资源池中各计算资源的时长上限，监测各计算资源的存活时长。在本申请实施例中，各计算资源的时长上限，是指各计算资源对应的存活时长上限。其中，各计算资源的时长上限为预先设置的。需要说明的是，不同计算资源的时长上限可以相同，或者也可以不同，可以根据实际使用需求进行设置，本申请对此并不做限制。在本申请实施例中，可以对资源池中各计算资源的存活时长进行监测，确定资源池中各计算资源的存活时长是否达到对应的时长上限，在监测到存活时长达到对应的时长上限的计算资源的情况下，可以执行步骤102，而在未监测到存活时长达到对应的时长上限的计算资源的情况下，可以继续对资源池中的各计算资源的存活时长进行监测。步骤102，在监测到目标计算资源时，查询任务队列，其中，目标计算资源的存活时长达到对应的时长上限。在本申请实施例中，当资源池中存在存活时长达到对应的时长上限的计算资源的情况下，可以将存活时长达到对应的时长上限的计算资源记为目标计算资源。在监测到目标资源时，可以查询任务队列，确定任务队列中是否存在待执行的任务，在任务队列中存在待执行的任务的情况下，可以执行步骤103，而在任务队列中未存在待执行的任务的情况下，可以执行步骤104。步骤103，响应于任务队列中存在待执行的任务，延长目标计算资源的时长上限。在本申请实施例中，为了提升任务的执行效率，在任务队列中存在待执行的任务的情况下，可以延长目标计算资源的时长上限，从而位于资源池中的目标计算资源可以继续执行任务，提升任务的执行效率。步骤104，响应于任务队列中未存在待执行的任务，确定目标计算资源处于空闲状态则将目标计算资源从资源池中释放。本文档来自技高网...

【技术保护点】
1.一种计算资源的调度方法，包括：/n根据资源池中各计算资源的时长上限，监测各所述计算资源的存活时长；/n在监测到目标计算资源时，查询任务队列，其中，所述目标计算资源的存活时长达到对应的所述时长上限；/n响应于所述任务队列中存在待执行的任务，延长所述目标计算资源的所述时长上限；/n响应于所述任务队列中未存在待执行的任务，确定所述目标计算资源处于空闲状态则将所述目标计算资源从所述资源池中释放。/n

【技术特征摘要】
1.一种计算资源的调度方法，包括：
根据资源池中各计算资源的时长上限，监测各所述计算资源的存活时长；
在监测到目标计算资源时，查询任务队列，其中，所述目标计算资源的存活时长达到对应的所述时长上限；
响应于所述任务队列中存在待执行的任务，延长所述目标计算资源的所述时长上限；
响应于所述任务队列中未存在待执行的任务，确定所述目标计算资源处于空闲状态则将所述目标计算资源从所述资源池中释放。


2.根据权利要求1所述的调度方法，其中，所述方法还包括：
在达到设定目标时段时，请求计算资源，并对请求的计算资源设置所述时长上限为第二时长；
将请求的计算资源添加至所述资源池中，以使所述资源池中的计算资源数量符合资源量标准值。


3.根据权利要求2所述的调度方法，其中，所述第二时长，是根据所述目标时段的持续时长确定的。


4.根据权利要求1所述的调度方法，其中，所述方法还包括：
对所述任务队列中所述待执行的任务监测等待时长；
在所述等待时长大于或等于设定时长时，请求计算资源，并对请求的计算资源设置所述时长上限为第一时长；
将所述请求的计算资源添加至所述资源池中。


5.根据权利要求4所述的调度方法，其中，所述请求计算资源之前，还包括：
确定所述资源池中的计算资源数量小于资源量上限值。


6.根据权利要求1-5任一项所述的调度方法，其中，所述方法还包括：
获取待执行的任务；其中，所述待执行的任务中包括业务信息；
根据所述业务信息，将所述待执行的任务添加至所述业务信息对应的任务队列中。


7.根据权利要求6所述的调度方法，其中，所述根据所述业务信息，将所述待执行任务添加至所述业务信息对应的任务队列中之后，还包括：
所述业务信息对应的资源池中存在处于空闲状态的计算资源，则从业务信息对应的所述任务队列中取出轮询到的任务；
调度所述处于空闲状态的计算资源执行所述轮询到的任务。


8.一种计算资源的调度装置，包括：
监测模块，用于根据资源池中各计算资源的时长上限，监测各所述计算资源的存活时长；
查询模块，用于在监测到目标计算资源时，查询任务队列，其中，所述目标计算资源的存活时长达到对应的所述时长上限；
处理模块，用于响应于所述任务队列中存在待执行的任务，延长所述目标计算资源的所述时长上限；
释放模块，用于响应于所...

【专利技术属性】
技术研发人员：薛景福，池阳，杨宏生，徐鹏，封磊，郑德来，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11