一种异步任务分发系统及调度分发计算单元技术方案

本发明专利技术公开了一种异步任务分发系统及调度分发计算单元，该系统由若干计算单元和调度分发计算单元构成，所述计算单元，用于接收计算任务，完成具体任务处理过程，并回调任务处理结果；并负责将本计算单元向调度分发计算单元注册；所述调度分发计算单元，用于接收计算单元和其它调度分发计算单元的注册，维护计算单元和其它调度分发计算单元的注册信息，接收计算任务并转发计算单元进行处理。采用了本发明专利技术的技术方案，突破了传统任务分发处理系统的任务类型单一和扁平式架构模式，采用树状分布式架构，能够满足大规模系统架构下多层级多集群的集中式管理。

【技术实现步骤摘要】

本专利技术涉及计算系统
，尤其涉及一种异步任务分发系统及调度分发计算单元。
技术介绍
在现有的系统平台中，由于业务需求的不同，总存在各种任务处理机制，例如视频转码、文档转换、邮件群发、语音识别等。在大型的系统平台中，一方面由于系统规模过大，导致处理单元的处理能力往往不能够进行实时处理，需要采用队列控制机制，来进行异步处理。另一方面，部分处理机制需要较长耗时，例如视频转码可能耗费几十分钟甚至更长时间才能完成。这些机制都决定了需要有一个异步任务分发的系统来调度完成。现有的技术方案对于集群式的异步任务调度提出了一些实现思路，按照统一调度，各个分发的思想建立任务分发的机制，将来源于各个业务的任务请求由调度系统分发到具体的处理单元，并进行回馈。典型的架构如图I所示，其中，各个Web终端11来将转码任务统一发送到调度服务器12，调度服务器12再根据自己的策略将任务分发到转码服务器13，由转码服务器13完成后再进行任务回馈。这一方案实现了在一定规模内的集群转码任务的调度处理。现有架构的缺点主要有如下几点仅适用于一定规模内的小集群作业，不适合大规模集群；其业务涉及相对单一，例如仅针对转码，不够抽象，能容纳的处理机制有限；其它一些类似的方案或者存在类似问题或者实现过于复杂，系统彼此之间耦合度太高，部署成本高。
技术实现思路
本专利技术的目的在于提出一种异步任务分发系统及调度分发计算单元，用于解决现有异步任务分发系统无法满足大规模系统架构下多层级多集群集中式调度管理的问题。为达此目的，本专利技术采用以下技术方案 一种异步任务分发系统，该系统由若干计算单元和调度分发计算单元构成，具体如下 所述计算单元，用于接收计算任务，完成具体任务处理过程，并回调任务处理结果；并负责将本计算单元向调度分发计算单元注册； 所述调度分发计算单元，用于接收计算单元和其它调度分发计算单元的注册，维护计算单元和其它调度分发计算单元的注册信息，接收计算任务并转发计算单元进行处理。所述计算单元或调度分发计算单元仅能够注册到一个调度分发计算单元。所述调度分发计算单元维护计算单元和其它调度分发计算单元的注册信息，包括计算能力、计算类型和接收请求地址。所述调度分发计算单元具体包括接收模块、调度处理模块和回调模块，具体如下所述接收模块，用于接收任务请求，接收计算单元和其它调度分发计算单元的注册请求； 所述调度处理模块，用于维护计算单元和其它调度分发计算单元的注册信息，按照任务请求的特征确定所述任务发送处理的计算单元，接收所述任务处理结果； 所述回调模块，用于发送所述任务处理结果。所述调度处理模块具体包括子单元管理子模块、任务下发子模块和回调处理子模块，具体如下 所述子单元管理子模块，用于维护计算单元和其它调度分发计算单元的注册信息； 所述任务下发子模块，用于按照任务请求的特征确定所述任务发送处理的计算单元； 所述回调处理子模块，用于接收所述任务处理结果，并发送所述回调模块进行发送。所述计算单元具体包括接收模块、处理模块和回调模块，具体如下 所述接收模块，用于接收计算任务； 所述处理模块，用于完成具体任务处理过程，并进行本计算单元在调度分发计算单元的注册； 所述回调模块，用于发送任务处理结果。一种调度分发计算单元，应用于如上所述的异步任务分发系统，具体包括接收模块、调度处理模块和回调模块，具体如下 所述接收模块，用于接收任务请求，接收计算单元和其它调度分发计算单元的注册请 求； 所述调度处理模块，用于维护计算单元和其它调度分发计算单元的注册信息，按照任务请求的特征确定所述任务发送处理的计算单元，接收所述任务处理结果； 所述回调模块，用于发送所述任务处理结果。所述调度处理模块，还用于将本调度分发计算单元注册到其它调度分发计算单J Li ο所述调度处理模块具体包括子单元管理子模块、任务下发子模块和回调处理子模块，具体如下 所述子单元管理子模块，用于将本调度分发计算单元注册到其它调度分发计算单元；维护其它调度分发计算单元的注册信息； 所述任务下发子模块，用于按照任务请求的特征确定所述任务发送处理的计算单元； 所述回调处理子模块，用于接收所述任务处理结果，并发送所述回调模块进行发送。采用了本专利技术的技术方案，突破了传统任务分发处理系统的任务类型单一和扁平式架构模式，采用树状分布式架构，能够满足大规模系统架构下多层级多集群的集中式管理，并提供了简明的计算单元实现标准，可以方便的对接任何计算类任务，实现了大型异步任务分发系统的可管理、易扩展。附图说明图I是现有技术中网络架构示意 图2是本专利技术实施例提供的计算单元结构示意 图3是本专利技术实施例提供的调度分发计算单元结构示意图；图4是本专利技术实施例提供的第一种调度分发流程示意 图5是本专利技术实施例提供的第二种调度分发流程示意 图6是本专利技术实施例提供的网络结构示意 图7是本专利技术实施例提供的一种网络结构实施示意图。具体实施例方式下面结合附图并通过具体实施方式来进一步说明本专利技术的技术方案。 本专利技术实施例旨在解决在超大规模系统规模下，能够通过简明清晰的架构方式，实现对系统内各种需要异步处理计算任务的统一调度和分发，并能够在规模扩张和处理业务增加时，各种处理单元按照本系统所描述的接口协议方便的接入，丰富本系统的处理能力。本专利技术提出了一种结构清晰的异步计算系统的接口标准，能够将遵从这一标准的大量计算单元，快速组装成一个庞大的任务处理网络。本专利技术实施例提供一种异步任务分发系统，该系统由若干计算单元和调度分发计算单元构成。调度分发计算单元是计算单元的一种，具备与计算单元相同的逻辑结构。在本专利技术的整体架构下，存在一个核心的组成部分，即计算单元，各种计算单元的类型不一，但其总体架构均如图2所示。计算单元，用于接收计算任务，完成具体任务处理过程，并回调任务处理结果。如图2所示，具体包括接收模块101、回调模块102和处理模块103。接收模块101，用于接收计算任务，也就是按照标准的协议接收其它系统传递过 来的处理任务。每一个计算单元在接收模块101所接受的信息都具备同样的描述方法，其包括如下四个核心要素，分别是任务标识符、任务类型、回调地址、任务详情。例如其格式可以如下 <missionId>564afa4fda23fe649981</missionId> // 任务标识 <missionType>videoEncoder</missionType> // 任务类型<calIbackUrI>http://www. example, com/callback. php〈/callbackUrl> // 回调地址〈detailX!-此处描述该任务的详情一>〈/detail> //任务详情任务标识符来区分唯一计算任务，任务类型描述本任务的种类，回调地址则用于处理单元在完成或者失败、出错之后进行反馈通知。任务详情适用于不同类型的计算单元，其所处理任务类型不同，对于详情的处理解析方式也不相同。例如，在一个文件分发的任务中，详情描述的应该是源文件地址和目标文件地址，而转码任务则应该是源文件地址和目标编码方式，邮件发送任务则应该包含发件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异步任务分发系统，其特征在干，该系统由若干计算单元和调度分发计算単元构成，具体如下 所述计算単元，用于接收计算任务，完成具体任务处理过程，并回调任务处理結果；并负责将本计算单元向调度分发计算単元注册； 所述调度分发计算単元，用于接收计算单元和其它调度分发计算単元的注册，维护计算单元和其它调度分发计算単元的注册信息，接收计算任务并转发计算单元进行处理。2.如权利要求I所述的异步任务分发系统，其特征在于，所述计算単元或调度分发计算单元仅能够注册到ー个调度分发计算単元。3.如权利要求I所述的异步任务分发系统，其特征在于，所述调度分发计算単元维护计算单元和其它调度分发计算単元的注册信息，包括计算能力、计算类型和接收请求地址。4.如权利要求I所述的异步任务分发系统，其特征在于，所述调度分发计算単元具体包括接收模块、调度处理模块和回调模块，具体如下 所述接收模块，用于接收任务请求，接收计算単元和其它调度分发计算単元的注册请求； 所述调度处理模块，用于维护计算单元和其它调度分发计算単元的注册信息，按照任务请求的特征确定所述任务发送处理的计算单元，接收所述任务处理结果； 所述回调模块，用于发送所述任务处理結果。5.如权利要求4所述的异步任务分发系统，其特征在干，所述调度处理模块具体包括子単元管理子模块、任务下发子模块和回调处理子模块，具体如下 所述子单元管理子模块，用于维护计算单元和其它调度分发计算単元的注册信息； 所述任务下发子...

【专利技术属性】
技术研发人员：官文吉，
申请(专利权)人：天脉聚源北京传媒科技有限公司，
类型：发明
国别省市：