针对事件流处理的增强型锚协议制造技术

本文中描述了用于针对流处理的启动和/或恢复的系统和方法。在启动阶段期间：各自标识特定时间的(多个)启动锚请求被累积，直到来自下游节点的(多个)请求未决。所累积的(多个)启动锚请求的最小时间被确定。如果处理系统是输入节点，则与所确定的最小时间相关联的锚被生成。否则，标识所确定的最小时间的启动锚请求被提供给上游节点。一旦与所确定的最小时间相关联的锚被接收到(或生成)，锚就响应于来自下游节点的、针对所确定的最小值的所轮询的启动锚请求锚而被提供。在恢复阶段期间，针对由两个特定锚界定的成批数据的异步请求根据被存储在有序锚集合中的信息而被执行。储在有序锚集合中的信息而被执行。储在有序锚集合中的信息而被执行。

【技术实现步骤摘要】
【国外来华专利技术】针对事件流处理的增强型锚协议

技术介绍

[0001]流处理允许来自多个源的多个数据流被实时处理。“流传输”或流处理是指接收数据流，由多个处理器处理数据，并且将处理后的数据作为单个流向回流传输。

技术实现思路

[0002]本文中描述了一种用于使用锚的流处理的系统，该系统包括：包括处理器和其上存储有计算机可执行指令的存储器的处理系统，该计算机可执行指令在由处理器执行时，使得处理系统在启动阶段期间：在处理系统处，累积一个或多个启动锚请求，直到来自被耦合到处理系统的下游节点的请求未决，其中每个启动锚请求标识特定时间；确定所累积的一个或多个启动锚请求的最小时间；如果处理系统是输入节点，则生成与所确定的最小时间相关联的锚；如果处理系统不是输入节点，则：向上游节点提供标识所确定的最小时间的启动锚请求；接收与所确定的最小时间相关联的锚；以及响应于来自下游节点的、针对所确定的最小值的所轮询的启动锚请求锚，提供锚。
[0003]在一些实施例中，重复地执行该计算机可执行指令，直到不再有未决的启动锚请求并且数据请求已经从被耦合到处理系统的下游节点被接收到，该数据请求指示本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于使用锚的流处理的系统，包括：处理系统，包括处理器和其上存储有计算机可执行指令的存储器，所述计算机可执行指令在由所述处理器执行时，使得所述处理系统：在启动阶段期间：在所述处理系统处，累积一个或多个启动锚请求，直到来自被耦合到所述处理系统的一个或多个下游节点的请求未决，其中每个启动锚请求标识特定时间；确定所累积的所述一个或多个启动锚请求的最小时间；如果所述处理系统是输入节点，则生成与所确定的所述最小时间相关联的锚；如果所述处理系统不是输入节点，则：向上游节点提供标识所确定的所述最小时间的启动锚请求；接收与所确定的所述最小时间相关联的所述锚；以及响应于来自下游节点的、针对所确定的所述最小值的所轮询的启动锚请求锚，提供所述锚。2.根据权利要求1所述的系统，其中所述计算机可执行指令被重复地执行，直到不再有未决的启动锚请求并且数据请求已经从被耦合到所述处理系统的所述下游节点被接收到，所述数据请求指示所述启动阶段的完成。3.根据权利要求2所述的系统，其中在所述启动阶段的完成之后，根据被存储在有序锚集合中的信息来针对由两个特定锚界定的成批数据执行异步请求，直到针对与所述有序锚集合对应的数据的请求已经被完成。4.根据权利要求3所述的系统，其中与所述成批数据中的一批或多批数据对应的数据被持久地存储在所述处理系统处并且响应于针对一批特定数据和特定锚的请求而被提供。5.根据权利要求3所述的系统，其中针对数据的所述请求由特定节点在恢复阶段中以其他方式独立于所述处理系统生成。6.根据权利要求2所述的系统，其中在所述启动阶段的完成之后，响应于针对一批特定数据和特定锚的请求，从被持久地存储在所述处理系统处的数据提供所述一批特定数据和另一锚。7.根据权利要求1所述的系统，其中所述处理系统根据与由所述处理系统执行的处理相关联的时间窗口来修改所确定的所述最小时间。8.一种使用锚的流处理的方法，包括：在计算节点处，累积启动锚请求，直到请求已经从所连接的下游节点被接收到，其中每个启动锚请求标识特定时间；确定所累积的所述锚请求的最小时间；如果所述计算节点是输入节点，则生成与所确定的所述最小时间相关联的锚；如果所述处理系统不是输入节点，则：向上游节点提供标识所确定的所述最小时间的启...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：