【技术实现步骤摘要】
本公开的实施例涉及分布式数据处理领域,并更为具体地涉及用于分布式处理系统中基于指纹的状态检测方法及设备。
技术介绍
分布式数据处理系统,特别是实时流系统(real-timestreamingsystem)正受到广泛关注。诸如PivotalSpringXD、Storm、SparkStreaming、Samza之类的现代实时流系统正被广泛地应用于电子商务、ETL、大数据分析等。提供一种处理能力可靠从而使得即使在节点处或网络中出现任何故障的情况下仍能确保对每个数据项目(或消息)的成功处理是十分重要的。对于这种分布式系统而言,特别是对于具有成千上万个节点或中间连接的大型系统而言,关键的挑战在于如何以高效的方式、最低的成本和对性能的最小影响来检测故障。图1图示了一般性的分布式处理系统的拓扑图。如图1所示的分布式处理系统的拓扑通常以有向非循环图(DAG)的方式行进。在所示的拓扑中:执行特定逻辑的节点被实施为过程/线程并被部署在多个主机中;边界表示待处理的消息。上游节点和下游节点具有“发布-订阅”的关系,可以添加更多的节点用于平衡或性能调节和/或处理流水线。存在下面两种具有不同作用的节点:(a)根节点,其是从外部源(诸如,消息源、记录或数据库等)获取消息的任务。所获取的原始消息被称作根消息(RootMsg)。通常,拓扑具有一个根节点,根节点可能包含或可能不包含处理逻辑,并且将根消息分开或分派到下游工作节点;以及(b)工作节点,其用于处理输入消息并通常生成用于进一步的处理的新消息。可根据特定要求配置节点之间的消息分布,所述特定要求包括诸如随机、打乱、哈希 ...
【技术保护点】
一种分布式处理系统中基于指纹的状态检测方法,包括:在根节点处,基于待传送的输出消息标识生成并发送初始指纹;在中间节点处,基于所接收的输入消息标识、待传送的输出消息标识以及所接收的指纹,生成并发送更新后的指纹;在叶节点处,将最终更新的指纹发送到任务跟踪点;以及在所述任务跟踪点处,基于所述最终更新的指纹获得状态信息。
【技术特征摘要】
1.一种分布式处理系统中基于指纹的状态检测方法,包括:在根节点处,基于待传送的输出消息标识生成并发送初始指纹;在中间节点处,基于所接收的输入消息标识、待传送的输出消息标识以及所接收的指纹,生成并发送更新后的指纹;在叶节点处,将最终更新的指纹发送到任务跟踪点;以及在所述任务跟踪点处,基于所述最终更新的指纹获得状态信息。2.根据权利要求1所述的方法,其中在根节点处,基于待传送的输出消息标识生成并发送初始指纹包括:接收根消息并且基于所述待传送的输出消息标识生成并发送所述初始指纹;在所述任务跟踪点处,基于所述最终更新的指纹获得状态信息还包括:基于所述状态信息,确定是否对所述根消息进行重新发送。3.根据权利要求1所述的方法,其中所述指纹表示在所有节点处的针对输入消息标识和输出消息标识的上下文信息。4.根据权利要求1所述的方法,其中所述输入消息标识和所述输出消息标识是由所述分布式处理系统指定的消息标识。5.根据权利要求1所述的方法,其中在根节点处,基于待传送的输出消息标识生成并发送初始指纹包括:基于所述输出消息标识之间的异或运算生成所述初始指纹;并且将所述初始指纹连同所述输出消息标识发送到直接相连的下游节点。6.根据权利要求1所述的方法,其中在中间节点处,基于所接收的输入消息标识、待传送的输出消息标识以及所接收的指纹,生成并发送更新后的指纹包括:以递归的方式,基于所接收的输入消息标识、所述待传送的输出
\t消息标识以及所接收的指纹的异或运算结果,生成所述更新后的指纹;并且将所述更新后的指纹连同所述输出消息标识发送到直接相连的下游节点。7.根据权利要求1所述的方法,其中在中间节点处,基于所接收的输入消息标识、待传送的输出消息标识以及所接收的指纹,生成并发送更新后的指纹包括:当与所述中间节点直接相连的下游节点的数目为偶数时,所述中间节点也向所述任务跟踪点发送所述更新后的指纹。8.根据权利要求1所述的方法,其中在叶节点处,将最终更新的指纹发送到任务跟踪点包括:将在预定的时间阈值内接收到的最终更新的指纹连同所接收的输入消息标识发送到所述任务跟踪点处。9.根据权利要求1所述的方法,其中在所述任务跟踪点处,基于所述最终更新的指纹获得状态信息包括:基于所接收的最终指纹与所接收的输入消息标识之间的异或运算获得所述状态信息。10.根据权利要求9所述的方法,其中当与所述中间节点直接相连的下游节点的数目为偶数时,所接收的最终指纹还包括从所述中间节点处接收到的更新后的指纹。11.根据权利要求2所述的方法,其中基于所述状态信息,确定是否对所述根消息进行重新发送包括:当接收到指示故障的状态信息时,重新发送所述根消息到所述根节点并重复上述方法。12.一种分布式...
【专利技术属性】
技术研发人员:赵军平,张峰豪,曹逾,陶隽,孙宇熙,
申请(专利权)人:伊姆西公司,
类型:发明
国别省市:美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。