一种分布式调度系统及方法技术方案

本发明专利技术提供了一种分布式调度系统及方法，该系统包括调度部、运行部以及存储部，调度部包括至少一个调度单元，运行部包括多个运行单元，存储部包括至少一个存储单元，调度单元，适于从文件系统中提取待处理任务，并将待处理任务分为多个子任务；调度单元，还适于将多个子任务分发至相应的运行单元，并由运行单元执行对应子任务；调度单元，还适于记录各子任务的执行过程生成记录信息，并将记录信息存储于存储单元。解决了由中央设备集中处理任务而造成的单点问题，当任务失败或执行设备出现故障，由其他设备节点继续执行，实现了任务失败自动多机重试，保证任务及时、正确运行。当任务执行过程中出现其他问题还可以通过该系统向用户进行报警通知。

【技术实现步骤摘要】
一种分布式调度系统及方法
本专利技术涉及计算机
，特别是涉及一种分布式调度系统及方法。
技术介绍
海姆达尔是一个具有完全自主知识产权的海量数据挖掘与分析系统，该系统可以实现对海量数据的挖掘和处理，并提供方便易用的工具供数据挖掘人员和运营分析人员使用。目前分析人员采用该系统在查询文件时，查找到的是文件通常是原始日志，因此还需要对原始日志进行再次加工、处理、分析等，这无疑会增加分析人员的工作量，不利于提高分析人员的工作效率，此时为了能够为分析人员等提供便利，需要在海姆达尔系统中直接实现原始日志的进一步抽取、细化。但是，目前在使用该系统进行数据挖掘处理或数据抽取任务时，都是基于脚本/计算平台/硬编码的方式串起整个流程。该种方式中，所有调度任务都由中央设备来统一完成，数据处理任务调度信息集中汇总到中央设备这一管理节点上，导致信息流拥挤，若该管理节点出现故障会影响整个系统的数据处理任务，此外，当前系统的任务处理效率低，无法满足用户需求。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的分布式调度系统和相应的方法。依据本专利技术的一个方面，提供了本文档来自技高网...

【技术保护点】
1.一种分布式调度系统，包括调度部、运行部以及存储部，所述调度部包括至少一个调度单元，所述运行部包括多个运行单元，所述存储部包括至少一个存储单元，所述调度单元，适于从文件系统中提取待处理任务，并将所述待处理任务分为多个子任务；所述调度单元，还适于将所述多个子任务分发至相应的运行单元，并由所述运行单元执行对应子任务；所述调度单元，还适于记录各子任务的执行过程生成记录信息，并将所述记录信息存储于存储单元。

【技术特征摘要】
1.一种分布式调度系统，包括调度部、运行部以及存储部，所述调度部包括至少一个调度单元，所述运行部包括多个运行单元，所述存储部包括至少一个存储单元，所述调度单元，适于从文件系统中提取待处理任务，并将所述待处理任务分为多个子任务；所述调度单元，还适于将所述多个子任务分发至相应的运行单元，并由所述运行单元执行对应子任务；所述调度单元，还适于记录各子任务的执行过程生成记录信息，并将所述记录信息存储于存储单元。2.根据权利要求1所述的系统，其中，还包括：前端部，包括至少一个前端单元，所述前端单元适于开发获取代码，并根据所述代码生成对应的待处理任务；将所述待处理任务上传至文件系统进行存储。3.根据权利要求1或2所述的系统，其中，所述调度单元，还适于：结合所述待处理任务的来源将所述待处理任务分为多个子任务，并根据各运行单元的运行状态将所述多个子任务分发至相应的运行单元。4.根据权利要求1或2所述的系统，其中，所述运行单元，还适于：根据所接收的对应子任务创建相应的运行环境，并在所述运行环境中执行该子任务。5.根据权利要求4所述的系统，其中，所述调度单元，还适于：监控并记录各运行单元中子任务的执行过程，并在监控到任一子任务执行异常时，自动启动其他运行...

【专利技术属性】
技术研发人员：王肖磊，刘陟，王志超，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11