任务调度管理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及大数据领域，本发明专利技术公开了一种任务调度管理方法、装置、设备及存储介质，通过根据预设令牌桶设置调度公共库，所述调度公共库在运行环境Node.js中运行；获取所述调度公共库的历史调度资源消耗数据，根据所述历史调度资源消耗数据确定预设调度策略；根据所述调度公共库和预设调度策略对目标调度任务集进行调度管理，所述目标调度任务集为基于Node.js运行的待调度任务的集合，能够高效管理效率，提高资源利用率，提升了任务执行效率，有效控制任务并发程度和节奏，并且成本较低，易于接入现有系统。

Task Scheduling Management Method, Device, Equipment and Storage Media

【技术实现步骤摘要】
任务调度管理方法、装置、设备及存储介质
本专利技术涉及大数据领域，尤其涉及一种任务调度管理方法、装置、设备及存储介质。
技术介绍
在日常办公过程中，现在大多数的直译式脚本语言JavaScript的运行环境让JavaScript运行在服务端的开发平台Node.js在进行库的调度时，对系统资源的消耗较多，例如反应式扩展编程库RxJS(ReactiveExtensionsforJavaScript)等，RxJS是一个基于可观测数据流在异步编程应用中的库，但是类似的库一般只考虑生产与消费，未考虑资源消耗的情况，从而造成大量的带宽资源、处理器资源和内存资源被浪费，并且会造成办公效率低下。
技术实现思路
本专利技术的主要目的在于提供一种任务调度管理方法、装置、设备及存储介质，旨在解决现有技术中调度库管理过程中资源浪费严重，办公效率低下的技术问题。为实现上述目的，本专利技术提供一种任务调度管理方法，所述任务调度管理方法包括以下步骤：根据预设令牌桶设置调度公共库，所述调度公共库在运行环境Node.js中运行；获取所述调度公共库的历史调度资源消耗数据，根据所述历史调度资源消耗数据确定预设调度策略；根据所述调度公共库和预设调度策略对目标调度任务集进行调度管理，所述目标调度任务集为基于Node.js运行的待调度任务的集合。优选地，所述根据预设令牌桶设置调度公共库，所述调度公共库在运行环境Node.js中运行的步骤，包括：获取所述预设令牌桶对应的令牌桶算法；根据所述令牌桶算法以代码的形式固化为目标公共库，将所述目标公共库作为所述调度公共库，所述调度公共库在运行环境Node.js中运行。优选地，所述获取所述调度公共库的历史调度资源消耗数据，根据所述历史调度资源消耗数据确定预设调度策略的步骤，包括：获取所述调度公共库中的历史调度资源消耗数据，根据所述历史调度资源消耗数据确定令牌剩余数量；实时获取当前调度任务的当前调度速率，将所述令牌剩余数量与预设令牌阈值进行比较，获得第一比较结果；将所述当前调度速率与所述预设任务调度速率进行比较，获得第二比较结果；根据所述第一比较结果和所述第二比较结果确定所述预设调度策略。优选地，所述根据所述第一比较结果和所述第二比较结果确定所述预设调度策略的步骤，包括：在所述第一比较结果为所述令牌剩余数量小于预设令牌阈值，且所述第二比较结果为所述当前调度速率大于所述预设任务调度速率时，确定所述预设调度策略为将当前调度任务进行缓存；在所述第一比较结果为所述令牌剩余数量大于或等于预设令牌阈值，且所述第二比较结果为所述当前调度速率大于所述预设任务调度速率时，确定所述预设调度策略为将所述当前调度任务进行发送。优选地，所述获取所述调度公共库中的历史调度资源消耗数据，根据所述历史调度资源消耗数据确定令牌剩余数量的步骤，包括：通过预设公共库调用接口获取所述调度公共库对应的历史调度资源消耗数据；从所述历史调度资源消耗数据中获取历史CPU消耗数据和历史内存消耗数据，对所述历史CPU消耗数据和所述历史内存消耗数据进行分析，获得令牌剩余数量。优选地，所述根据所述调度公共库和预设调度策略对目标调度任务集进行调度管理，所述目标调度任务集为基于Node.js运行的待调度任务的集合的步骤，包括：获取目标调度任务集中需要同时执行的待处理任务的任务数量；获取所述调度公共库的预设同时运行任务数，将所述预设同时运行任务数与所述任务数量比较；在所述任务数量小于所述预设同时运行任务数时，根据预设调度策略对所述目标调度任务集中的任务进行调度管理；在所述任务数量大于或等于所述预设同时运行任务数时，对所述调度公共库进行更新，根据更新后的调度公共库对所述目标调度任务集中的任务进行调度。优选地，所述在所述任务数量大于或等于所述预设同时运行任务数时，对所述调度公共库进行更新，根据更新后的调度公共库对所述目标调度任务集中的任务进行调度的步骤，包括：在所述任务数量大于或等于所述预设同时运行任务数时，开启运行令牌桶调度接口；根据所述运行令牌桶调度接口回调所述预设令牌桶，完成对所述预设令牌桶的更新；根据更新后的预设令牌桶更新所述调度公共库，根据更新后的调度公共库对所述目标调度任务集中的任务进行调度。此外，为实现上述目的，本专利技术还提出一种任务调度管理设备，所述任务调度管理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的任务调度管理程序，所述任务调度管理程序配置为实现如上文所述的任务调度管理方法的步骤。此外，为实现上述目的，本专利技术还提出一种存储介质，所述存储介质上存储有任务调度管理程序，所述任务调度管理程序被处理器执行时实现如上文所述的任务调度管理方法的步骤。此外，为实现上述目的，本专利技术还提供一种任务调度管理装置，所述任务调度管理装置包括：设置模块、策略确定模块和调度模块；其中，所述设置模块，用于根据预设令牌桶设置调度公共库，所述调度公共库在运行环境Node.js中运行；所述策略确定模块，用于获取所述调度公共库的历史调度资源消耗数据，根据所述历史调度资源消耗数据确定预设调度策略；所述调度模块，用于根据所述调度公共库和预设调度策略对目标调度任务集进行调度管理，所述目标调度任务集为基于Node.js运行的待调度任务的集合。本专利技术提出的任务调度管理方法，通过根据预设令牌桶设置调度公共库，所述调度公共库在运行环境Node.js中运行；获取所述调度公共库的历史调度资源消耗数据，根据所述历史调度资源消耗数据确定预设调度策略；根据所述调度公共库和预设调度策略对目标调度任务集进行调度管理，所述目标调度任务集为基于Node.js运行的待调度任务的集合，能够高效管理效率，提高资源利用率，提升了任务执行效率，有效控制任务并发程度和节奏，并且成本较低，易于接入现有系统。附图说明图1为本专利技术实施例方案涉及的硬件运行环境的任务调度管理设备结构示意图；图2为本专利技术任务调度管理方法第一实施例的流程示意图；图3为本专利技术任务调度管理方法第二实施例的流程示意图；图4为本专利技术任务调度管理方法第三实施例的流程示意图；图5为本专利技术任务调度管理装置第一实施例的功能模块图。本专利技术目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例的解决方案主要是：本专利技术通过根据预设令牌桶设置调度公共库，所述调度公共库在运行环境Node.js中运行；获取所述调度公共库的历史调度资源消耗数据，根据所述历史调度资源消耗数据确定预设调度策略；根据所述调度公共库和预设调度策略对目标调度任务集进行调度管理，所述目标调度任务集为基于Node.js运行的待调度任务的集合，能够高效管理效率，提高资源利用率，提升了任务执行效率，有效控制任务并发程度和节奏，并且成本较低，易于接入现有系统，解决了现有技术中调度库管理过程中资源浪费严重，办公效率低下的技术问题。参照图1，图1为本专利技术实施例方案涉及的硬件运行环境的任务调度管理设备结构示意图。如图1所示，该任务调度管理设备可以包括：处理器1001，例如中央处理器(CentralProcessingUnit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信本文档来自技高网...

【技术保护点】
1.一种任务调度管理方法，其特征在于，所述方法包括：根据预设令牌桶设置调度公共库，所述调度公共库在运行环境Node.js中运行；获取所述调度公共库的历史调度资源消耗数据，根据所述历史调度资源消耗数据确定预设调度策略；根据所述调度公共库和预设调度策略对目标调度任务集进行调度管理，所述目标调度任务集为基于Node.js运行的待调度任务的集合。

【技术特征摘要】
1.一种任务调度管理方法，其特征在于，所述方法包括：根据预设令牌桶设置调度公共库，所述调度公共库在运行环境Node.js中运行；获取所述调度公共库的历史调度资源消耗数据，根据所述历史调度资源消耗数据确定预设调度策略；根据所述调度公共库和预设调度策略对目标调度任务集进行调度管理，所述目标调度任务集为基于Node.js运行的待调度任务的集合。2.如权利要求1所述的方法，其特征在于，所述根据预设令牌桶设置调度公共库，所述调度公共库在运行环境Node.js中运行的步骤，包括：获取所述预设令牌桶对应的令牌桶算法；根据所述令牌桶算法以代码的形式固化为目标公共库，将所述目标公共库作为所述调度公共库，所述调度公共库在运行环境Node.js中运行。3.如权利要求2所述的方法，其特征在于，所述获取所述调度公共库的历史调度资源消耗数据，根据所述历史调度资源消耗数据确定预设调度策略的步骤，包括：获取所述调度公共库中的历史调度资源消耗数据，根据所述历史调度资源消耗数据确定令牌剩余数量；实时获取当前调度任务的当前调度速率，将所述令牌剩余数量与预设令牌阈值进行比较，获得第一比较结果；将所述当前调度速率与所述预设任务调度速率进行比较，获得第二比较结果；根据所述第一比较结果和所述第二比较结果确定所述预设调度策略。4.如权利要求3所述的方法，其特征在于，所述根据所述第一比较结果和所述第二比较结果确定所述预设调度策略的步骤，包括：在所述第一比较结果为所述令牌剩余数量小于预设令牌阈值，且所述第二比较结果为所述当前调度速率大于所述预设任务调度速率时，确定所述预设调度策略为将当前调度任务进行缓存；在所述第一比较结果为所述令牌剩余数量大于或等于预设令牌阈值，且所述第二比较结果为所述当前调度速率大于所述预设任务调度速率时，确定所述预设调度策略为将所述当前调度任务进行发送。5.如权利要求4所述的方法，其特征在于，所述获取所述调度公共库中的历史调度资源消耗数据，根据所述历史调度资源消耗数据确定令牌剩余数量的步骤，包括：通过预设公共库调用接口获取所述调度公共库对应的历史调度资源消耗数据；从所述历史调度资源消耗数据中获取历史CPU消耗数据和历史内存消耗数据，对所述历史CPU消耗数据和所述历...

【专利技术属性】
技术研发人员：袁宝驹，杨洋，沙成阳，朱红晓，
申请(专利权)人：平安城市建设科技深圳有限公司，
类型：发明
国别省市：广东,44