一种分布式数据调度系统及方法技术方案

本发明专利技术提供了一种分布式数据调度系统及方法，该系统包括至少一个调度组件，所述调度组件，适于从文件系统中获取待处理离线日志，并将所述待处理离线日志分为多个子日志；所述调度组件，还适于将所述多个子日志分发至多个数据挖掘单元，并由所述数据挖掘单元根据预设规则从所述子日志中挖掘日志元数据；所述调度组件，还适于将所述日志元数据及其他过程信息存储至包含有多个预置数据库的存储组件中。解决了现有技术中由中央设备集中处理任务而造成的单点问题，当任务失败或执行设备出现故障，由其他设备节点继续执行，实现了任务失败自动多机重试，保证任务及时、正确运行。当任务执行过程中出现其他问题还可以通过该系统向用户进行报警通知。

【技术实现步骤摘要】
一种分布式数据调度系统及方法
本专利技术涉及计算机
，特别是涉及一种分布式数据调度系统及方法。
技术介绍
海姆达尔是一个具有完全自主知识产权的海量数据挖掘与分析系统，该系统可以实现对海量数据的挖掘和处理，并提供方便易用的工具供数据挖掘人员和运营分析人员使用。目前分析人员采用该系统在查询文件时，查找到的是文件通常是原始日志，因此还需要对原始日志进行再次加工、处理、分析等，这无疑会增加分析人员的工作量，不利于提高分析人员的工作效率，此时为了能够为分析人员等提供便利，需要在海姆达尔系统中直接实现原始日志的进一步抽取、细化。但是，目前在使用该系统进行数据挖掘处理或数据抽取任务时，都是基于脚本/计算平台/硬编码的方式串起整个流程。该种方式中，所有数据调度任务都由中央设备来统一完成，数据处理任务调度信息集中汇总到中央设备这一管理节点上，导致信息流拥挤，若该管理节点出现故障会影响整个系统的数据处理任务，并且，当前系统的数据处理任务效率低，无法满足直接在该系统中对原始日志进一步抽取、细化的需求。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的分布式本文档来自技高网...

【技术保护点】
1.一种分布式数据调度系统，包括至少一个调度组件，所述调度组件，适于从文件系统中获取待处理离线日志，并将所述待处理离线日志分为多个子日志；所述调度组件，还适于将所述多个子日志分发至多个数据挖掘单元，并由所述数据挖掘单元根据预设规则从所述子日志中挖掘日志元数据；所述调度组件，还适于将所述日志元数据及其他过程信息存储至包含有多个预置数据库的存储组件中。

【技术特征摘要】
1.一种分布式数据调度系统，包括至少一个调度组件，所述调度组件，适于从文件系统中获取待处理离线日志，并将所述待处理离线日志分为多个子日志；所述调度组件，还适于将所述多个子日志分发至多个数据挖掘单元，并由所述数据挖掘单元根据预设规则从所述子日志中挖掘日志元数据；所述调度组件，还适于将所述日志元数据及其他过程信息存储至包含有多个预置数据库的存储组件中。2.根据权利要求1所述的系统，其中，所述调度组件，还适于：结合所述待处理离线日志的来源将所述待处理离线日志分为多个子日志，并根据各个数据挖掘单元的运行状态，将所述多个子日志分发至相应的数据挖掘单元。3.根据权利要求2所述的系统，其中，所述数据挖掘单元，还适于：基于MapReduce模型并采用Spark引擎对所述子日志进行挖掘，并提取日志元数据。4.根据权利要求1-3任一项所述的系统，其中，所述从文件系统中获取的待处理离线日志包括以下至少之一：客户端访问服务端的行为所产生的日志、样本回扫行为产生的日志。5.根据权利要求1-3任一项所述的系统，其中，所述日志元数据的内容包括以下至少之一：用户标识信息、日志类型。6.根据权利要求1-3任一项所述的系统，其中，...

【专利技术属性】
技术研发人员：王肖磊，王志超，李敬轩，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11