【技术实现步骤摘要】
监控方法和装置、数据处理方法和装置及分布式计算系统
本专利技术涉及数据处理领域，更具体来说，涉及一种用于海量数据处理的分布式数据处理的方法和设备。
技术介绍
随着互联网技术的发展，海量数据的处理逐渐成为一个热点问题。通常来说，人们采用分布式计算的方式来执行海量数据的处理。在一种已有的海量数据的分布式计算中，通过以下步骤来执行处理:按照海量数据在存储装置中的位置来将较长时间(例如一天、一个小时)内的海量数据划分为各个数据块；分别将各个数据块传送给计算系统中的各个工作计算节点；每个工作计算节点对接收到的数据块进行处理，并输出处理结果；通过主计算节点对各个工作计算节点输出的处理结果进行合并。由此实现了在分布式系统上基于批量处理的对海量数据的处理。但是，在这种处理方式中，无法实现对海量数据的实时处理。
技术实现思路
在下文中给出了关于本专利技术的简要概述，以便提供关于本专利技术的某些方面的基本理解。应当理解，这个概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的关键或重要部分，也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概念，以...
【技术保护点】
一种在分布式计算中的监控方法，包括：从每个计算节点接收与相应计算节点的当前任务处理有关的状态信息；基于从各个计算节点接收的状态信息而针对相应计算节点生成任务执行指令；将所述任务执行指令发送给相应计算节点以使其执行相应的后续处理。
【技术特征摘要】
1. 一种在分布式计算中的监控方法，包括: 从每个计算节点接收与相应计算节点的当前任务处理有关的状态信息； 基于从各个计算节点接收的状态信息而针对相应计算节点生成任务执行指令； 将所述任务执行指令发送给相应计算节点以使其执行相应的后续处理。2.根据权利要求1所述的方法，基于从各个计算节点接收的状态信息而针对相应计算节点生成任务执行指令的步骤包括: 基于所述状态信息而产生用于指示相应计算节点停止任务的任务执行指令，并将所停止的任务放回至所述任务队列中；或者 基于所述状态信息而产生用于指示相应计算节点重新启动任务的任务执行指令；或者 基于所述状态信息而产生用于指示相应计算节点继续执行任务的任务执行指令。3.根据权利要求1所述的方法，其中，所述状态信息包括:任务接收时间、阶段指示信息以及任务涉及的数据量大小信息。4.根据权利要求3所述的方法，其中，所述阶段指示信息用于指示当前任务执行到读取阶段、解析阶段、验证和过滤阶段、处理阶段和输出阶段中的哪一个。5.一种分布式计算中的数据处理方法，包括: 计算节点从任务队列中请求并获取任务； 计算节点执行获取的任务，并将与所述计算节点的当前任务处理有关的状态信息发送给监控装置； 从所述监控装置接收所述监控装置基于所述计算节点的状态信息而针对所述计算节点生成的任务执行指令；以及 根据从所述监控装置接收的所述任务执行指令来执行相应的后续处理。6.根据权利要求5所述的方法，其中，根据从所述监控装置接收的所述任务执行指令来执行相应的后续处理的步骤包括: ...
【专利技术属性】
技术研发人员：严岩，
申请(专利权)人：北京千橡网景科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。