一种分布式任务处理方法、装置及系统制造方法及图纸

本发明专利技术实施例提供了一种分布式任务处理方法、装置及系统，分布式集群系统中的调度节点接收可视化平台发送的任务消息；将任务消息下发至节点集群中的各个工作节点，以使各个工作节点解析任务消息后，根据任务消息中是否包含自身的节点标识，确定是否处理任务消息中的当前任务。由于任务消息中，包含根据用户操作获得的多个当前任务，和每个当前任务对应的当前工作节点的节点标识，因此调度节点在调度时，无需判断该任务消息应当下发至节点集群中的哪些工作节点，而是直接下发给所有工作节点，由各个工作节点自行解析任务消息，并确定是否处理该任务消息中的当前任务，从而提高了任务处理过程中的调度效率。

【技术实现步骤摘要】
一种分布式任务处理方法、装置及系统
本专利技术涉及分布式集群系统
，特别是涉及一种分布式任务处理方法、装置及系统。
技术介绍
随着计算机的普及和互联网的快速发展，传统的单机处理方式已无法满足大量的任务处理需求，而分布式集群系统具有强大的计算能力，因此得到了越来越广泛的应用。分布式集群系统通常由调度节点和包含多个工作节点的节点集群组成。其中，调度节点与分布式集群系统之外的可视化平台通信连接，会为分布式的工作节点分配相应的待处理任务。该系统中，每个节点都表示一个服务器。具体的，可视化平台获取一个用户操作后，对该用户操作进行任务拆分，获得多个任务，针对每个任务生成一条任务消息，一条任务消息对应一个任务；然后，将生成的多条任务消息发送至图1所示分布式集群系统中的调度节点110，调度节点110对每条任务消息进行解析，并按照预先建立的任务与工作节点的映射关系，确定处理每条任务消息的工作节点的节点标识；最后，根据该节点标识将任务消息逐一下发至节点集群120中对应的工作节点，以进行任务消息的处理。然而，由于可视化平台会生成多条任务消息，调本文档来自技高网...

【技术保护点】
1.一种分布式任务处理方法，其特征在于，应用于分布式集群系统中的调度节点；所述分布式集群系统包括由多个工作节点组成的节点集群；所述分布式任务处理方法，包括：/n接收可视化平台发送的任务消息；所述任务消息，是由所述可视化平台根据用户操作获得多个当前任务，并按照预设的任务与工作节点的映射关系确定各个当前任务对应的当前工作节点后，生成的一条任务消息；该任务消息中包含：所述多个当前任务及每个当前任务对应的当前工作节点的节点标识；/n将所述任务消息下发至所述节点集群中的各个工作节点，以使各个工作节点对所述任务消息进行解析后，根据所述任务消息中是否包含自身的节点标识，确定是否处理该任务消息中的当前任务。/...

【技术特征摘要】
1.一种分布式任务处理方法，其特征在于，应用于分布式集群系统中的调度节点；所述分布式集群系统包括由多个工作节点组成的节点集群；所述分布式任务处理方法，包括：
接收可视化平台发送的任务消息；所述任务消息，是由所述可视化平台根据用户操作获得多个当前任务，并按照预设的任务与工作节点的映射关系确定各个当前任务对应的当前工作节点后，生成的一条任务消息；该任务消息中包含：所述多个当前任务及每个当前任务对应的当前工作节点的节点标识；
将所述任务消息下发至所述节点集群中的各个工作节点，以使各个工作节点对所述任务消息进行解析后，根据所述任务消息中是否包含自身的节点标识，确定是否处理该任务消息中的当前任务。


2.根据权利要求1所述的方法，其特征在于，所述任务消息，包含消息头和消息体；
所述消息头，包含：校验信息；
在所述将所述任务消息下发至所述节点集群中的各个工作节点的步骤之前，还包括：
对接收的任务消息的消息头进行解析，根据所述校验信息，判断是否下发所述任务消息；如果是，则执行所述将所述任务消息下发至所述节点集群中的各个工作节点的步骤。


3.根据权利要求2所述的方法，其特征在于，所述任务消息，为：超文本传输协议HTTP消息或超文本传输安全协议HTTPS消息；
所述校验信息，包括：所述任务消息的认证信息和所述任务消息中各个当前任务对应的统一资源标识符URI；
所述对接收的任务消息的消息头进行解析，根据所述校验信息，判断是否下发所述任务消息的步骤，包括：
解析所述任务消息的消息头，从所述消息头中获得所述认证信息和URI；
根据所述认证信息和URI，对所述任务消息的合法性进行校验；如果校验通过，则执行所述将所述任务消息下发至所述节点集群中的各个工作节点的步骤；如果校验不通过，则丢弃所述任务消息。


4.根据权利要求2所述的方法，其特征在于，所述多个当前任务及每个当前任务对应的当前工作节点的节点标识包含在所述任务消息的消息体中；
所述将所述任务消息下发至所述节点集群中的各个工作节点，以使各个工作节点对所述任务消息进行解析后，根据所述任务消息中是否包含自身的节点标识，确定是否处理该任务消息中的当前任务的步骤，包括：
将所述任务消息下发至所述节点集群中的各个工作节点，以使各个工作节点解析所述任务消息的消息体，获得各个当前工作节点的节点标识；若解析获得的节点标识中包含自身的节点标识，则执行对应的当前任务；并在当前任务执行完毕后，将得到的任务数据回传给调度节点；
将各个当前工作节点回传的任务数据返回至所述可视化平台。


5.一种分布式任务处理方法，其特征在于，应用于分布式集群系统中组成节点集群的各个工作节点；所述分布式集群系统还包括调度节点；所述分布式任务处理方法，包括：
接收所述调度节点下发的任务消息；所述任务消息，是由与所述调度节点通信连接的可视化平台根据用户操作获得多个当前任务，并按照预设的任务与工作节点的映射关系确定各个当前任务对应的当前工作节点后，生成的一条任务消息；该任务消息中包含：所述多个当前任务及每个当前任务对应的当前工作节点的节点标识；
对所述任务消息进行解析，根据所述任务消息中是否包含自身的节点标识，确定是否处理该任务消息中的当前任务。


6.根据权利要求5所述的方法，其特征在于，所述任务消息，包含消息头和消息体；所述消息体，包含：所述多个当前任务及每个当前任务对应的当前工作节点的节点标识包含在所述任务消息的消息体中；
所述任务消息，为：超文本传输协议HTTP消息或超文本传输安全协议HTTPS消息；
所述对所述任务消息进行解析，根据所述任务消息中是否包含自身的节点标识，确定是否处理该任务消息中的当前任务的步骤，包括：
解析所述任务消息的消息体，从所述消息体中获得各个当前工作节点的节点标识；
若解析获得的节点标识中包含自身的节点标识，则执行对应的当前任务；并在当前任务执行完毕后，将得到的任务数据回传给所述调度节点，以使所述调度节点返回任务数据至所述可视化平台。


7.一种分布式任务处理方法，其特征在于，应用于与分布式集群系统中的调度节点通信连接的可视化平台；所述分布式集群系统还包括由多个工作节点组成的节点集群；所述分布式任务处理方法，包括：
获取一个用户操作；
根据所述用户操作，获得多个当前任务；
按照预设的任务与工作节点的映射关系，确定各个当前任务对应的当前工作节点后，生成一条任务消息；所述任务消息中包含：...

【专利技术属性】
技术研发人员：罗旋，周波，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：浙江;33