一种密集型任务分布式智能调度方法及系统技术方案

本发明专利技术公开了一种密集型任务分布式智能调度方法及系统，所述方法应用于调度节点，包括：获得指定任务；基于所述指定任务指示管理节点运行任务管理，以监控所述指定任务的资源信息；获得来自所述管理节点的资源请求，所述资源请求用于申请资源信息；发送所述资源信息至所述管理节点，所述资源信息用于所述管理节点指示任务节点运行所述指定任务。应用本发明专利技术实施例提供的方法，能够满足海量数据接入与计算的要求，并在充分利用资源、大力提高性能的同时，保障系统的稳定性。

【技术实现步骤摘要】
一种密集型任务分布式智能调度方法及系统
本专利技术涉及数据处理
，尤其涉及一种密集型任务分布式智能调度方法及系统。
技术介绍
在分布式系统中，海量数据流高效接入与分发一致性，使数据源与计算子网的映射关系保持不变，同时可以应对数据源的批量接入与裁剪，并负责将数据源按照策略分发至相应子网。在分布式系统中，资源调度系统相当于大脑，其要处理所有数据节点和任务的各种请求，资源调度系统的设计直接影响系统整体的稳定性，因此，制定可行的资源调度计划是必不可少的措施。
技术实现思路
本专利技术实施例提供了一种密集型任务分布式智能调度方法及系统，具有保障分布式系统稳定性的特点。本专利技术一方面提供一种密集型任务分布式智能调度方法，所述方法应用于调度节点，包括：获得指定任务；基于所述指定任务指示管理节点运行任务管理，以监控所述指定任务的资源信息；获得来自所述管理节点的资源请求，所述资源请求用于申请资源信息；发送所述资源信息至所述管理节点，所述资源信息用于所述管理节点指示任务节点运行所述指定任务。在一可实施方式中，所述基于所述指定任务指示管理节点运行任务管理，以监控所述指定任务的资源信息，包括：对所述指定任务进行解析，获得解析结果；基于解析结果在管理节点列表确定管理节点；发送第一通知至管理节点，所述第一通知用于指示所述管理节点加载并运行任务管理，以监控所述指定任务的资源信息。在一可实施方式中，在所述获得来自所述管理节点的资源请求之后，所述方法还包括：与所述管理节点建立第一心跳。在一可实施方式中，在所述发送所述资源信息至所述管理节点之后，所述方法还包括：与所述任务节点建立第二心跳；获得来自所述任务节点的状态信息，所述状态信息用于表征所述任务节点的资源状态。在一可实施方式中，在与所述管理节点建立第一心跳和与所述任务节点建立第二心跳之后，所述方法还包括：基于所述第一心跳和第二心跳判断所述指定任务的执行是否异常；当判断为所述指定任务的执行异常时，基于所述指定任务重新指示管理节点运行任务管理。本专利技术另一方面提供一种密集型任务分布式智能调度方法，所述方法应用于管理节点，所述方法包括：确定对应指定任务的资源信息；发送资源请求至调度节点，所述资源请求用于向调度节点申请资源信息；获得来自调度节点的所述资源信息；基于资源信息发送第二通知至任务节点，所述第二通知用于指示所述任务节点运行所述指定任务。在一可实施方式中，在所述发送资源请求至调度节点之后，所述方法还包括：与所述调度节点建立第一心跳。本专利技术另一方面提供一种密集型任务分布式智能调度方法，所述方法应用于任务节点，所述方法包括：获得来自管理节点的第二通知，所述第二通知用于指示运行指定任务；加载并运行任务程序，基于任务程序执行所述指定任务。在一可实施方式中，所述任务程序还用于与所述管理节点建立第三心跳，并周期性向所述管理节点发送所述指定任务的运行状态。本专利技术另一方面提供一种密集型任务分布式智能调度系统，所述系统包括调度节点、管理节点和任务节点；所述调度节点，包括：第一获得模块，用于获得指定任务；第一指示模块，用于基于所述指定任务指示管理节点运行任务管理，以监控所述指定任务的资源信息；所述第一获得模块，还用于获得来自所述管理节点的资源请求，所述资源请求用于申请资源信息；第一发送模块，发送所述资源信息至所述管理节点，所述资源信息用于所述管理节点指示任务节点运行所述指定任务；所述管理节点，包括：第二确定模块，用于确定对应指定任务的资源信息；第二发送模块，用于发送资源请求至调度节点，所述资源请求用于向调度节点申请资源信息；第二获得模块，用于获得来自调度节点的所述资源信息；所述第二发送模块，用于基于资源信息发送第二通知至任务节点，所述第二通知用于指示所述任务节点运行所述指定任务；所述任务节点，包括：第三获得模块，用于获得来自管理节点的第二通知，所述第二通知用于指示运行指定任务；执行模块，用于加载并运行任务程序，基于任务程序执行所述指定任务。在一可实施方式中，所述第一指示模块，包括：解析子模块，用于对所述指定任务进行解析，获得解析结果；确定子模块，用于基于解析结果在管理节点列表确定管理节点；指示子模块，用于发送第一通知至管理节点，所述第一通知用于指示所述管理节点加载并运行任务管理，以监控所述指定任务的资源信息。在一可实施方式中，所述调度节点还包括：第一建立模块，用于与所述管理节点建立第一心跳。在一可实施方式中，所述调度节点还包括：第二建立模块，用于与所述任务节点建立第二心跳；所述第一获得模块，还用于获得来自所述任务节点的状态信息，所述状态信息用于表征所述任务节点的资源状态。在一可实施方式中，所述调度节点还包括：判断模块，用于基于所述第一心跳和第二心跳判断所述指定任务的执行是否异常；确定模块，用于当判断为所述指定任务的执行异常时，基于所述指定任务重新指示管理节点运行任务管理。在一可实施方式中，所述管理节点还包括：第三建立模块，用于与所述调度节点建立第一心跳。在一可实施方式中，所述任务程序还用于与所述管理节点建立第三心跳，并周期性向所述管理节点发送所述指定任务的运行状态。本专利技术实施例提供的密集型任务分布式智能调度方法和系统主要应用分布式系统中的任务处理，应用本方法，能够对密集型任务进行智能调度，在充分利用资源、大力提高性能的同时，保障系统的稳定性，能够实现资源信息的统一管理与调度，实现指定任务的执行。附图说明通过参考附图阅读下文的详细描述，本专利技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本专利技术的若干实施方式，其中：在附图中，相同或对应的标号表示相同或对应的部分。图1为本专利技术实施例一种密集型任务分布式智能调度方法的实现流程示意图；图2为本专利技术实施例一种密集型任务分布式智能调度方法指示管理节点的实现流程示意图；图3为本专利技术实施例一种密集型任务分布式智能调度方法建立第二心跳的实现流程示意图；图4为本专利技术实施例一种密集型任务分布式智能调度方法判断异常的实现流程示意图；图5为本专利技术另一实施例一种密集型任务分布式智能调度方法的实现流程示意图；图6为本专利技术又一实施例一种密集型任务分布式智能调度方法的实现流程示意图；图7为本专利技术实施例一种密集型任务分布式智能调度系统的实现模块示意图。具体实施方式为使本专利技术的目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例一种密集型任务分布式智能调度方法的实现流程示意图。参见图1，本专利技术实施例一方面提供一种密集型任务分布式智能调度方法，方法应用于调度节点，包本文档来自技高网...

【技术保护点】
1.一种密集型任务分布式智能调度方法，其特征在于，所述方法应用于调度节点，包括：/n获得指定任务；/n基于所述指定任务指示管理节点运行任务管理，以监控所述指定任务的资源信息；/n获得来自所述管理节点的资源请求，所述资源请求用于申请资源信息；/n发送所述资源信息至所述管理节点，所述资源信息用于所述管理节点指示任务节点运行所述指定任务。/n

【技术特征摘要】
1.一种密集型任务分布式智能调度方法，其特征在于，所述方法应用于调度节点，包括：
获得指定任务；
基于所述指定任务指示管理节点运行任务管理，以监控所述指定任务的资源信息；
获得来自所述管理节点的资源请求，所述资源请求用于申请资源信息；
发送所述资源信息至所述管理节点，所述资源信息用于所述管理节点指示任务节点运行所述指定任务。


2.根据权利要求1所述的方法，其特征在于，所述基于所述指定任务指示管理节点运行任务管理，以监控所述指定任务的资源信息，包括：
对所述指定任务进行解析，获得解析结果；
基于解析结果在管理节点列表确定管理节点；
发送第一通知至管理节点，所述第一通知用于指示所述管理节点加载并运行任务管理，以监控所述指定任务的资源信息。


3.根据权利要求1所述的方法，其特征在于，在所述获得来自所述管理节点的资源请求之后，所述方法还包括：
与所述管理节点建立第一心跳。


4.根据权利要求3所述的方法，其特征在于，在所述发送所述资源信息至所述管理节点之后，所述方法还包括：
与所述任务节点建立第二心跳；
获得来自所述任务节点的状态信息，所述状态信息用于表征所述任务节点的资源状态。


5.根据权利要求4所述的方法，其特征在于，在与所述管理节点建立第一心跳和与所述任务节点建立第二心跳之后，所述方法还包括：
基于所述第一心跳和第二心跳判断所述指定任务的执行是否异常；
当判断为所述指定任务的执行异常时，基于所述指定任务重新确定管理节点。


6.一种密集型任务分布式智能调度方法，其特征在于，所述方法应用于管理节点，所述方法包括：
确定对应指定任务的资源信息；
发送资源请求至调度节点，所述资源请求用于向调度节点申请资源信息；
获得来自调度节点的所述资源信息；
...

【专利技术属性】
技术研发人员：姚宏宇，
申请(专利权)人：北京友友天宇系统技术有限公司，
类型：发明
国别省市：北京;11