【技术实现步骤摘要】
计算任务的调度方法、装置、服务器及计算系统
本专利技术涉及大数据处理
，特别是涉及一种计算任务的调度方法、装置、调度服务器、业务服务器、注册服务器及计算系统。
技术介绍
大数据是指通过多种来源搜集而来，且具有多种数据类型的庞大数据集合。通过对大数据进行处理，并将处理结果应用于产品优化及市场分析等领域，可以获得巨大的经济和社会价值。一个完整的大数据处理流程，可以由一个或者多个工作流组成，一个工作流通常包含多种计算任务，在工作流执行过程中，需要对其中包含的多种计算任务进行调度。例如，某一完整的处理流程为：对指定时段内进入某地铁站的人流数据进行处理，得到该指定时段进入该地铁站的人员总数，并按照预设方式对人员总数进行显示。上述处理流程中包含2个工作流：工作流一：计算该指定时段进入该地铁站的人员总数；工作流二：按照预设方式对人员总数进行显示。就工作流一而言：由于闸机安装时间、生产厂家的差异，各个闸机记录的人流数据的数据格式可能也不同。因此，工作流一需要包含计算任务一：对各闸机记录的人流数据进行格式归一化的预处理，...
【技术保护点】
1.一种计算任务的调度方法，其特征在于，应用于计算系统中的调度服务器，所述计算系统中还包括：多个业务服务器，所述方法包括：/n获取工作流信息；所述工作流信息中包括：工作流触发条件和工作流中各计算任务的逻辑顺序关系；/n判断当前是否满足所述工作流触发条件；/n若满足，从多个业务服务器中选择第一目标业务服务器；/n向所述第一目标业务服务器发送与所述工作流对应的工作流调度请求；所述工作流调度请求中包括：待处理数据标识信息、所述各计算任务对应的执行代码标识信息以及所述工作流中各计算任务的逻辑顺序关系；以使所述第一目标业务服务器根据所述待处理数据标识信息、所述各计算任务对应的执行代码...
【技术特征摘要】
1.一种计算任务的调度方法，其特征在于，应用于计算系统中的调度服务器，所述计算系统中还包括：多个业务服务器，所述方法包括：
获取工作流信息；所述工作流信息中包括：工作流触发条件和工作流中各计算任务的逻辑顺序关系；
判断当前是否满足所述工作流触发条件；
若满足，从多个业务服务器中选择第一目标业务服务器；
向所述第一目标业务服务器发送与所述工作流对应的工作流调度请求；所述工作流调度请求中包括：待处理数据标识信息、所述各计算任务对应的执行代码标识信息以及所述工作流中各计算任务的逻辑顺序关系；以使所述第一目标业务服务器根据所述待处理数据标识信息、所述各计算任务对应的执行代码的标识信息及所述工作流中各计算任务的逻辑顺序关系，从预先保存的待处理数据和各计算任务对应的执行代码中获得当前待处理数据和当前各计算任务对应的执行代码，按照所述工作流中各计算任务的逻辑顺序关系，执行所述工作流。
2.根据权利要求1所述的方法，其特征在于，所述获取工作流信息的步骤，包括：
获取用户输入的工作流触发条件和工作流中各计算任务的逻辑顺序关系。
3.根据权利要求2所述的方法，其特征在于，所述用户输入的各计算任务的逻辑顺序关系以有向无环图的形式显示。
4.根据权利要求1所述的方法，其特征在于，所述计算系统中还包括：注册服务器；
所述从多个业务服务器中选择第一目标业务服务器的步骤，包括：
向所述注册服务器发送负载获取请求；
接收所述注册服务器返回的当前时刻所有业务服务器的负载信息；所述负载信息为所述业务服务器定时向所述注册服务器发送的；
根据所述负载信息，选择负载小于预设阈值的业务服务器，作为第一目标业务服务器。
5.根据权利要求4所述的方法，其特征在于，所述工作流信息中还包括：工作流标识；在所述向所述第一目标业务服务器发送与所述工作流对应的工作流调度请求的步骤之后，还包括：
判断是否接收到所述第一目标业务服务器返回的调度成功通知，如果是，则确定工作流调度完成；
向所述注册服务器发送工作流执行通知，以使所述注册服务器定时返回与所述工作流标识对应的工作流状态数据，所述工作流执行通知中包括：与所述工作流对应的工作流标识；所述工作流状态数据为所述业务服务器在执行所述工作流过程中，定时向所述注册服务器发送的工作流执行状态以及工作流执行过程中产生的数据；
输出所述工作流状态数据。
6.根据权利要求4所述的方法，其特征在于，在所述根据所述负载信息，将与所述工作流对应的调度请求发送至负载小于预设阈值的第一目标业务服务器的步骤之后，还包括：
当在第一预设时长内未接收到所述第一目标业务服务器返回的调度成功通知时，将所述工作流调度请求发送至负载小于预设阈值的第二目标业务服务器；所述第一目标业务服务器和所述第二目标业务服务器为不同的业务服务器；
当接收到所述第二目标业务服务器返回的调度成功通知时，确定任务调度完成。
7.根据权利要求5所述的方法，其特征在于，在所述向所述注册服务器发送工作流执行通知的步骤之后，还包括：
若在第二预设时长内未接收到所述注册服务器返回的与所述工作流标识对应的工作流状态数据，输出用于提示检查所述工作流信息中各计算任务的逻辑顺序关系是否编排正确的提示信息。
8.根据权利要求1所述的方法，其特征在于，所述工作流触发条件包括定时触发或事件触发。
9.根据权利要求5所述的方法，其特征在于，所述计算系统中还包括：存储服务器；
在所述向所述注册服务器发送工作流执行通知，以使所述注册服务器定时返回与所述工作流标识对应的工作流状态数据的步骤之后，还包括：
向所述存储服务器发送包含认证信息的数据操作请求；所述认证信息为预先向所述存储服务器发送注册请求后，所述存储服务器返回的；
判断是否接收到所述存储服务器返回的操作许可通知；
如果是，则将所述工作流信息和所述工作流状态数据存储至所述存储服务器。
10.一种计算任务的调度方法，其特征在于，应用于调度系统中的业务服务器，所述调度系统中还包括：调度服务器，所述方法包括：
接收所述调度服务器发送的调度请求；
根据所述调度请求中包含的待处理数据标识信息、各计算任务对应的执行代码的标识信息及工作流中各计算任务的逻辑顺序关系，从预先保存的待处理数据和各计算任务对应的执行代码中获得当前待处理数据和当前各计算任务对应的执行代码；
按照所述工作流中各计算任务的逻辑顺序关系，执行所述工作流。
11.根据权利要求10所述的方法，其特征在于，在接收到所述调度服务器发送的调度请求之后，还包括：
向所述调度服务器返回调度成功通知。
12.根据权利要求10所述的方法，其特征在于，所述计算系统中还包括：注册服务器；所述方法，还包括：
向所述注册服务器定时发送负载信息。
13.根据权利要求10所述的方法，其特征在于，在所述按照所述工作流中各计算任务的逻辑顺序关系，执行所述工作流的步骤之后，还包括：
向所述注册服务器定时发送工作流状态数据，以使所述注册服务器在接收到所述调度服务器发送的工作流执行通知后，定时将所述工作流状态数据发送至所述调度服务器；所述工作流执行通知中包括：与所述工作流对应的工作流标识；所述工作流状态数据包括：工作流执行状态以及工作流执行过程中产生的数据。
14.一种计算任务的调度方法，其特征在于，应用于计算系统中的注册服务器，所述计算系统中还包括：调度服务器和多个业务服务器，所述方法包括：
接收所述业务服务器定时发送的负载信息；
当接收到所述调度服务器发送的负载获取请求时，将当前时刻业务服务器的负载信息发送至所述调度服务器，以使所述调度服务器根据所述负载信息，选择负载小于预设阈值的业务服务器，作为第一目标业务服务器，向所述第一目标业务服务器发送与所述工作流对应的工作流调度请求；所述工作流调度请求中包括：待处理数据标识信息、所述各计算任务对应的执行代码标识信息以及所述工作流中各计算任务的逻辑顺序关系；以使所述第一目标业务服务器根据所述待处理数据标识信息、所述各计算任务对应的执行代码的标识信息及所述工作流中各计算任务的逻辑顺序关系，从预先保存的待处理数据和各计算任务对应的执行代码中获得当前待处理数据和当前各计算任务对应的执行代码，按照所述工作流中各计算任务的逻辑顺序关系，执行所述工作流。
15.根据权利要求14所述的方法，其特征在于，在所述将当前时刻业务服务器的负载信息发送至所述调度服务器的步骤之后，还包括：
接收所述第一目标业务服务器定时发送的工作流状态数据；所述工作流状态数据包括：工作流执行状态以及工作流执行过程中产生的数据；
当接收到所述调度服务器发送的工作流执行通知时，向所述调度服务器定时发送与所述工作流执行通知中的工作流标识对应的工作流状态数据。
16.一种计算任务的调度装置，其特征在于，位于计算系统中的调度服务器，所述计算系统中还包括：多个业务服务器，所述装置包括：
工作流信息获取模块，用于获取工作流信息；所述工作流信息中包括：工作流触发条件和工作流中各计算任务的逻辑顺序关系；
条件判断模块，用于判断当前是否满足所述工作流触发条件；
服务器选择模块，用于若满足...
【专利技术属性】
技术研发人员：向聪，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。