一种跨局域网任务执行集群组网系统技术方案

本发明专利技术公开了一种跨局域网的任务集群组网系统，包括管理节点和任务执行集群；管理节点部署于公共网络，用于提供任务管理和集群管理，其中，所述任务管理包括计算任务的注册，将注册的计算任务分发给任务执行集群中至少一个执行节点，对至少一个执行节点针对计算任务的执行结果的汇总；所述集群管理包括执行节点的注册、执行节点的状态维护；任务执行集群包括至少一个执行节点，每个执行节点部署于局域网且能够访问公共网络的管理节点，用于通过在管理节点上注册后接收并执行管理节点分发的计算任务。该系统能够实现不同局域网中相互隔离的计算资源实现统一调度管理，提高资源利用效率。效率。效率。

【技术实现步骤摘要】
一种跨局域网任务执行集群组网系统


[0001]本专利技术属于计算机分布式计算领域，具体涉及一种跨局域网任务执行集群组网系统。

技术介绍

[0002]在复杂的科学计算任务中，按照传统的方式采用单台计算机处理时，在计算机性能不够理想的情况下，不可避免会消耗大量的时间去完成一个复杂的计算任务。假如采用高性能计算机时，机器硬件成本又将是整体任务的负担。此外，采用单台计算机对于任务执行的稳定性也是一个挑战，机器的故障将导致整个任务执行过程的中断。因此，采用分布式的架构实现复杂科学计算任务的并发执行，不管是从任务执行的时间角度，还是从成本控制的角度考虑都是十分必要的选择。
[0003]引入分布式架构的同时，服务器的管理和任务的编排分发将会是一个必需解决的问题，通过人工的方式去管理一是繁琐，二是容易出错。为了方便服务器集群的管理和保证执行过程的准确性，一套用于实现服务器编排管理和计算任务执行管理的系统也将是一种必然的选择。
[0004]目前现有技术中上存在多种分布式任务调度管理系统，例如Apache Airflow调度系统、Dagster调度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨局域网的任务集群组网系统，其特征在于，包括管理节点和任务执行集群；所述管理节点部署于公共网络，用于提供任务管理和集群管理，其中，所述任务管理包括计算任务的注册，将注册的计算任务分发给任务执行集群中至少一个执行节点，对至少一个执行节点针对计算任务的执行结果的汇总；所述集群管理包括执行节点的注册、执行节点的状态维护；所述任务执行集群包括至少一个执行节点，每个执行节点部署于局域网且能够访问公共网络的管理节点，用于通过在管理节点上注册后接收并执行管理节点分发的计算任务。2.根据权利要求1所述的跨局域网的任务集群组网系统，其特征在于，所述执行节点的注册，包括：管理节点完成接口的初始化；执行节点启动后，通过注册接口向管理节点发起注册请求，上报执行节点支持的任务类型、任务执行参数以及IP；管理节点通过接口接收到注册请求后处理注册请求，当注册成功时，管理节点与执行节点建立长连接，同时将执行节点加入活跃执行节点队列，当注册失败时，直接返回失败断开连接；注册成功的执行节点通过建立的长连接开始对管理节点消息的侦听，注册失败的执行节点退出进程。3.根据权利要求1所述的跨局域网的任务集群组网系统，其特征在于，所述执行节点的状态维护，包括：管理节点定期发起状态检测进程，遍历活跃执行节点队列，向活跃执行节点队列中每个执行节点通过长连接发送状态检查指令消息；执行节点接收到状态检查指令消息后通过管理节点提供的状态汇报接口上报状态汇报数据，其中，状态汇报数据包括执行节点的自身资源使用数据和当前任务执行情况；管理节点完成所有执行节点状态检查指令消息发送后，开始遍历检查各个执行节点的状态汇报情况，如果某一执行节点对管理节点的状态检查无反馈到达一定次数后，管理节点则判定该执行节点失活，将从活跃执行节点队列中移除，同时释放长连接。4.根据权利要求1所述的跨局域网的任务集群组网系统，其特征在于，所述计算任务的注册，包括：用户通过管理节点提供的任务创建接口创建一个新计算任务，并将新计算任务加入到任务池中，其中，任务池由待完成处理的计算任务组成，每个计算任务包括待执行、执行中、执行失败、执行成功或废弃状态。5....

【专利技术属性】
技术研发人员：龚哲峰，余益飞，郑能干，陈俊君，王燚军，刘子奥，
申请(专利权)人：之江实验室，
类型：发明
国别省市：