本申请提供了一种基于分布式调度引擎的任务调度方法及装置，包括：由调度节点对配置至每个执行节点上的待执行任务进行实时监测，确定每个待执行任务是否执行异常；当确定存在异常待执行任务时，识别异常待执行任务的调度方式以及所述异常待执行任务当前所在的执行节点，并将当前所在的执行节点确定为异常执行节点；针对异常待执行任务，由调度节点根据异常待执行任务的调度方式从除异常执行节点外的其余执行节点中确定出异常待执行任务的目标执行节点，并将该异常待执行任务调度至目标执行节点上进行任务执行。这样，当任务执行异常时，进行任务自动转移进行持续运行，从而保障生产场景下数据集成和处理计算任务异常情况下依然能够高稳定运行。况下依然能够高稳定运行。况下依然能够高稳定运行。
【技术实现步骤摘要】
一种基于分布式调度引擎的任务调度方法及装置
[0001]本申请涉及计算机处理
，尤其是涉及一种基于分布式调度引擎的任务调度方法及装置。
技术介绍
[0002]现有的调度引擎能够实现分布式负载调度，但是当节点故障或者节点环境资源不足等情况下引起的任务执行异常，围绕该场景，现有技术都是直接反馈应用，显示任务异常。但生产上基本要求任务功能7*24小时持续稳定运行，当节点故障或节点资源环境不足以运行任务时，必须有高稳定的故障转移机制，保障节点故障或者节点资源动态不足等情况下，节点上任务能够自动转移到其他执行节点上运行。因此，自动进行任务转移以保障生产场景下数据集成和处理计算任务异常情况下依然能够7*24小时高稳定运行，是亟待解决的技术问题。
技术实现思路
[0003]有鉴于此，本申请的目的在于提供一种基于分布式调度引擎的任务调度方法及装置，当任务执行异常时，进行任务自动转移进行持续运行，从而保障生产场景下数据集成和处理计算任务异常情况下依然能够高稳定运行。
[0004]本申请实施例提供了一种基于分布式调度引擎的任务调度方法，所述任务调度方法包括：
[0005]由调度节点对配置至每个执行节点上的待执行任务进行实时监测，确定每个待执行任务是否执行异常；
[0006]当确定存在执行异常的待执行任务时，将该待执行任务确定为异常待执行任务，识别所述异常待执行任务的调度方式以及所述异常待执行任务当前所在的执行节点，并将当前所在的执行节点确定为异常执行节点；
[0007]针对所述异常待执行任务，由调度节点根据所述异常待执行任务的调度方式从除异常执行节点外的其余执行节点中确定出所述异常待执行任务的目标执行节点，并将该异常待执行任务调度至所述目标执行节点上进行任务执行。
[0008]可选的，通过以下方式确定待执行任务是否执行异常：
[0009]当所述调度节点接收到执行节点反馈的任务执行信息为拒接时，确定所述待执行任务执行异常；
[0010]和/或，在预定时间段内，当所述调度节点识别到某个或多个执行节点未在分布式协调服务器上进行节点信息更新，将未进行节点信息更新的执行节点上的任务确定为执行异常。
[0011]可选的，所述调度方式包括：随机负载调度、加权轮训负载调度、并发加权负载调度以及资源加权负载调度；
[0012]所述随机负载调度为根据分布式协调服务器上记录的执行节点，进行随机选择的
调度方式；
[0013]所述加权轮训负载调度为根据分布式协调服务器上记录的执行节点的节点信息进行资源值计算后，再根据资源值由高至低排序后进行轮训选择的调度方式；
[0014]所述并发加权负载调度为根据分布式协调服务器上记录的执行节点的并发任务实例数，按最低并发原则进行节点选择的调度方式；
[0015]所述资源加权负载调度为根据分布式协调服务器上记录的执行节点的节点信息以及插件并发任务实例数进行加权计算，按资源最优原则进行节点选择的调度方式。
[0016]可选的，所述节点信息包括节点运行资源信息以及节点引擎插件的实例运行信息。
[0017]可选的，所述任务调度方法还包括：当待执行任务的调度次数超过预设次数阈值时，结束调度，并向客户端反馈调度失败信息。
[0018]可选的，所述分布式协调服务器上部署有Zookeeper，并与所有执行节点建立连接。
[0019]可选的，所述任务调度方法还包括：当执行节点在预定时间段内未在分布式协调服务器上进行节点信息更新时，将该执行节点的任务执行状态更改为任务结束。
[0020]本申请实施例还提供了一种基于分布式调度引擎的任务调度装置，所述任务调度装置包括：
[0021]确定模块，用于由调度节点对配置至每个执行节点上的待执行任务进行实时监测，确定每个待执行任务是否执行异常；
[0022]识别模块，用于当确定存在执行异常的待执行任务时，将该待执行任务确定为异常待执行任务，识别所述异常待执行任务的调度方式以及所述异常待执行任务当前所在的执行节点，并将当前所在的执行节点确定为异常执行节点；
[0023]调度模块，用于针对所述异常待执行任务，由调度节点根据所述异常待执行任务的调度方式从除异常执行节点外的其余执行节点中确定出所述异常待执行任务的目标执行节点，并将该异常待执行任务调度至所述目标执行节点上进行任务执行。
[0024]可选的，所述确定模块在用于确定待执行任务是否执行异常时，所述确定模块用于：
[0025]当所述调度节点接收到执行节点反馈的任务执行信息为拒接时，确定所述待执行任务执行异常；
[0026]和/或，在预定时间段内，当所述调度节点识别到某个或多个执行节点未在分布式协调服务器上进行节点信息更新，将未进行节点信息更新的执行节点上的任务确定为执行异常。
[0027]可选的，所述调度方式包括：随机负载调度、加权轮训负载调度、并发加权负载调度以及资源加权负载调度；
[0028]所述随机负载调度为根据分布式协调服务器上记录的执行节点，进行随机选择的调度方式；
[0029]所述加权轮训负载调度为根据分布式协调服务器上记录的执行节点的节点信息进行资源值计算后，再根据资源值由高至低排序后进行轮训选择的调度方式；
[0030]所述并发加权负载调度为根据分布式协调服务器上记录的执行节点的并发任务
实例数，按最低并发原则进行节点选择的调度方式；
[0031]所述资源加权负载调度为根据分布式协调服务器上记录的执行节点的节点信息以及插件并发任务实例数进行加权计算，按资源最优原则进行节点选择的调度方式。
[0032]可选的，所述节点信息包括节点运行资源信息以及节点引擎插件的实例运行信息。
[0033]可选的，所述任务调度装置还包括结束模块，所述结束模块用于当待执行任务的调度次数超过预设次数阈值时，结束调度，并向客户端反馈调度失败信息。
[0034]可选的，所述分布式协调服务器上部署有Zookeeper，并与所有执行节点建立连接。
[0035]可选的，所述任务调度装置还包括更改模块，所述更改模块用于：当执行节点在预定时间段内未在分布式协调服务器上进行节点信息更新时，将该执行节点的任务执行状态更改为任务结束。
[0036]本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的任务调度方法的步骤。
[0037]本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的任务调度方法的步骤。
[0038]本申请实施例提供的一种基于分布式调度引擎的任务调度方法及装置，所述任务调度方法包括：由调度节点对配置至每个执行节点上的待执行任务进行实时监测，确定每个待执行任务是否执行本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于分布式调度引擎的任务调度方法，其特征在于，所述任务调度方法包括：由调度节点对配置至每个执行节点上的待执行任务进行实时监测，确定每个待执行任务是否执行异常；当确定存在执行异常的待执行任务时，将该待执行任务确定为异常待执行任务，识别所述异常待执行任务的调度方式以及所述异常待执行任务当前所在的执行节点，并将当前所在的执行节点确定为异常执行节点；针对所述异常待执行任务，由调度节点根据所述异常待执行任务的调度方式从除异常执行节点外的其余执行节点中确定出所述异常待执行任务的目标执行节点，并将该异常待执行任务调度至所述目标执行节点上进行任务执行。2.根据权利要求1所述的任务调度方法，其特征在于，通过以下方式确定待执行任务是否执行异常：当所述调度节点接收到执行节点反馈的任务执行信息为拒接时，确定所述待执行任务执行异常；和/或，在预定时间段内，当所述调度节点识别到某个或多个执行节点未在分布式协调服务器上进行节点信息更新，将未进行节点信息更新的执行节点上的任务确定为执行异常。3.根据权利要求1所述的任务调度方法，其特征在于，所述调度方式包括：随机负载调度、加权轮训负载调度、并发加权负载调度以及资源加权负载调度；所述随机负载调度为根据分布式协调服务器上记录的执行节点，进行随机选择的调度方式；所述加权轮训负载调度为根据分布式协调服务器上记录的执行节点的节点信息进行资源值计算后，再根据资源值由高至低排序后进行轮训选择的调度方式；所述并发加权负载调度为根据分布式协调服务器上记录的执行节点的并发任务实例数，按最低并发原则进行节点选择的调度方式；所述资源加权负载调度为根据分布式协调服务器上记录的执行节点的节点信息以及插件并发任务实例数进行加权计算，按资源最优原则进行节点选择的调度方式。4.根据权利要求2所述的任务调度方法，其特征在于，所述节点信...
【专利技术属性】
技术研发人员：李小龙，洪挺，
申请(专利权)人：北京远舢智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。