流数据的推测数据处理制造技术

在实施例中，方法包括：从一个或多个源计算机接收多个源数据记录，其中，一个或多个第一源数据记录与第一源事务相关联，并且一个或多个第二源数据记录与第二源事务相关联；基于多个源数据记录生成包括一个或多个第一衍生记录的第一衍生事务；生成第一衍生事务和第一源事务之间的第一事务映射；生成第一衍生事务和第二源事务之间的第二事务映射；确定第一衍生事务已结束，并作为响应，将包括一个或多个第一衍生记录的第一衍生事务提交到永久存储装置；接收与第一源事务相关联的第一结束标点符号，并作为响应，将第一源事务提交到永久存储装置，第一源事务包括与第一源事务相关联的一个或多个第一源数据记录；以及在提交第一衍生事务之后，确定第二源事务发生故障，并作为响应执行下列操作：确定第一衍生事务应基于第二事务映射被重新生成，并作为响应，重新生成第一衍生事务。

【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及在对计算机网络的管理中有用的计算机和计算机实现的技术，该计算机网络包括与分析有关的网络管理数据库。本公开更具体地涉及用于热切地处理对网络管理数据的连续查询和针对迟到数据或故障的修正的技术。
技术介绍
本节描述的方法可被推行，但不必是之前已被构思或推行的方法。因此，除非本文另有说明，否则本节描述的方法不构成本申请中的权利要求书的现有技术，并且不因包含在本节中而被承认为现有技术。数据通信网络可包括接收、处理、以及相互发送数据流的“节点”的层级。数据流可以是随时间发送的无界数据集。例如，“源”节点可将无界数据集(“源”数据)发送到“处理”节点。处理节点可随着源数据被接收而处理源数据、基于源数据生成新的无界“衍生”数据集、并将衍生数据发送到下游节点。层级可被称为“工作流”或“流工作流”。流工作流可具有许多优势。例如，在流工作流中，随着源数据被接收，每个节点可基于源数据来生成并发送衍生数据，从而减少延迟。然而，建立强健且可恢复的工作流可能是有挑战性的。例如，处理节点可能接收迟到的或乱序的源数据。在意外地终止源流之前，源节点可能将部分数量的源数据发送到处理节点。因此，处理节点可能基于乱序的或不完整的源数据来生成并发送衍生数据。一个可能的方法是使得处理节点延迟处理源数据，直到确定源数据是完整的。然后，处理节点可以根据需要对数据进行重新排序并处理数据。然而，该方法可能将延迟增加到无法接受的等级。例如，节点可能处理时间关键型数据，例如，联网、功率、或火箭遥测数据。若处理节点被强迫等待从源节点接收额外的源数据，则下游处理节点或设备可能无法正确地执行其功能，或可能由于缺少针对暂停节点接收的数据而衍生误导数据。例如，下游节点或设备可能确定网络是关闭的或火箭已失去联系，然而，尚未发送的源数据可能指示网络具有与一个或多个其他网络的优秀连接，或火箭正在任务参数内执行。此外，处理节点可能仍然异常地接收迟到的源数据，而这些迟到的源数据无法被合并在已被生成并发送的衍生数据中。流工作流中早期的误差可能剧烈地影响流工作流中较晚生成的数据。例如，若第一处理节点在生成并向下游发送衍生数据之后接收到源数据，则衍生数据可能是不精确的或错误的。此外，下游处理节点可能基于上游生成的不精确的或错误的衍生数据来生成额外的衍生数据。额外的衍生数据因此也可能是不精确的或错误的。因此，在流工作流中得体并高效地处理数据是有价值的。附图说明在附图中：图1示出了示例实施例中的用于在流工作流中处理数据的系统。图2示出了示例实施例中的用于在流工作流中推测地处理数据并传播修正的过程。图3示出了示例实施例中的用于在流工作流中处理记录的过程。图4示出了示例实施例中的用于更新衍生事务并贯穿工作流来传播衍生事务的过程。图5示出了计算机系统，实施例可以在该计算机系统上被实现。尽管附图中的每个附图为了示出清楚示例的目的示出了具体实施例，但其他实施例可省略、添加、重新排序、和/或修改附图中示出的任意要素。为了示出清楚示例的目的，一个或多个附图可参考一个或多个其他附图来描述，但在其他实施例中不要求使用一个或多个其他附图中示出的特定布置。具体实施方式用于经由一个或多个网络来分发和处理独立数据流的技术被描述。在下列描述中，为了解释的目的，许多具体细节被阐述以便提供对本专利技术的透彻的理解。然而，对于本领域技术人员将显而易见的是，本专利技术可以在没有这些具体细节的情况下被实施。在其他实例中，公知的结构和设备以框图的形式被示出以便避免不必要地模糊本专利技术。本文根据下列大纲来描述实施例：1.0概览2.0结构和功能概览2.1事务2.1.1标点符号(punctuation)2.1.2将记录分配给事务2.2示例多节点流工作流2.2.1源处理逻辑2.2.2衍生数据逻辑2.2.3事务映射数据存储装置2.2.4离线修正逻辑3.0过程概览3.1生成事务3.2处理源记录3.3生成衍生事务3.4提交源事务3.5确定源事务已发生故障3.6重新生成衍生事务3.7恢复处理节点故障4.0根据示例实施例的额外示例4.1调解(reconciling)发生故障的源流4.2从系统故障恢复4.3调解迟到的源记录5.0实现机制——硬件概览6.0扩展和替代---1.0概览在实施例中，计算机系统包括：存储器；耦合于存储器的处理器；耦合于存储器和处理器的处理逻辑，并被配置为：从一个或多个源计算机接收多个源数据记录，其中，一个或多个第一源数据记录与第一源事务相关联并且一个或多个第二源数据记录与第二源事务相关联；基于多个源数据记录生成包括一个或多个第一衍生记录的第一衍生事务；生成第一衍生事务和第一源事务之间的第一事务映射；生成第一衍生事务和第二源事务之间的第二事务映射；确定第一衍生事务已结束，并作为响应，将包括一个或多个第一衍生纪录的第一衍生事务提交到永久存储装置；接收与第一源事务相关联的第一结束标点符号，并作为响应，将包括与第一源事务相关联的一个或多个第一源数据记录的第一源事务提交到永久存储装置；在提交第一衍生事务之后，确定第二源事务发生故障，并作为响应执行下列操作：确定第一衍生事务应基于第二衍生映射被重新生成，并作为响应，通过执行下列项操作来重新生成第一衍生事务：生成基于一个或多个第一源数据记录而不基于一个或多个第二源数据记录的一个或多个第二衍生记录；将一个或多个第二衍生记录提交到永久存储装置。在实施例中，方法包括：从一个或多个源计算机接收多个源数据记录，其中，一个或多个第一源数据记录与第一源事务相关联并且一个或多个第二源数据记录与第二源事务相关联；基于多个源数据记录生成包括一个或多个第一衍生记录的第一衍生事务；生成第一衍生事务和第一源事务之间的第一事务映射；生成第一衍生事务和第二源事务之间的第二事务映射；确定第一衍生事务已结束，并作为响应，将包括一个或多个第一衍生纪录的第一衍生事务提交到永久存储装置；接收与第一源事务相关联的第一结束标点符号，并作为响应，将包括与第一源事务相关联的一个或多个第一源数据记录的第一源事务提交到永久存储装置；在提交第一衍生事务之后，确定第二源事务发生故障，并作为响应执行下列操作：确定第一衍生事务应基于第二衍生映射被重新生成，并作为响应，通过执行下列操作来重新生成第一衍生事务：生成基于一个或多个第一源数据记录而不基于一个或多个第二源数据记录的一个或多个第二衍生记录；将一个或多个第二衍生记录提交到永久存储装置。在实施例中，方法包括：在提交一个或多个第一衍生记录之后，接收与第一源事务相关联的迟到源记录；确定迟到源记录应该已经基于第一源事务和第一衍生事务之间的第一事务映射、利用第一衍生事务被处理，并作为响应，标记将被重新生成的第一衍生事务。在实施例中，方法包括：将一个或多个第一衍生记录与标识第一衍生事务的标识符相关联；响应于确定第一衍生事务已结束，将一个或多个第一衍生记录发送到具有标识符的下游设备；响应于确定第二源事务发生故障并生成一个或多个第二衍生记录而执行下列操作：将一个或多个第二衍生记录与标识符相关联；通知下游设备与标识符相关联的第一衍生事务被重新生成。2.0结构和功能概览一个或多个系统和方法在本文被讨论以便通过下列操作来在流工作流中处理数据：贯穿工作流，对衍生数据使用推测数据处理并传播修正来最本文档来自技高网...

【技术保护点】
一种计算机系统，包括：存储器；处理器，所述处理器耦合于所述存储器；处理逻辑，所述处理逻辑耦合于所述存储器和所述处理器，并被配置为执行下列操作：从一个或多个源计算机接收多个源数据记录，其中，一个或多个第一源数据记录与第一源事务相关联，并且一个或多个第二源数据记录与第二源事务相关联；基于所述多个源数据记录生成包括一个或多个第一衍生记录的第一衍生事务；生成所述第一衍生事务和所述第一源事务之间的第一事务映射；生成所述第一衍生事务和所述第二源事务之间的第二事务映射；确定所述第一衍生事务已结束，并作为响应，将包括所述一个或多个第一衍生记录的第一衍生事务提交到永久存储装置；接收与所述第一源事务相关联的第一结束标点符号，并作为响应，将所述第一源事务提交到所述永久存储装置，所述第一源事务包括与所述第一源事务相关联的所述一个或多个第一源数据记录；以及在提交所述第一衍生事务之后，确定所述第二源事务发生故障，并作为响应执行下列操作：确定所述第一衍生事务应基于所述第二事务映射被重新生成，并作为响应，通过执行下列操作来重新生成所述第一衍生事务：生成一个或多个第二衍生记录，所述一个或多个第二衍生记录是基于所述一个或多个第一源数据记录的，而不是基于所述一个或多个第二源数据记录的；以及将所述一个或多个第二衍生记录提交到所述永久存储装置。...

【技术特征摘要】
【国外来华专利技术】2014.07.25 US 14/341,4361.一种计算机系统，包括：存储器；处理器，所述处理器耦合于所述存储器；处理逻辑，所述处理逻辑耦合于所述存储器和所述处理器，并被配置为执行下列操作：从一个或多个源计算机接收多个源数据记录，其中，一个或多个第一源数据记录与第一源事务相关联，并且一个或多个第二源数据记录与第二源事务相关联；基于所述多个源数据记录生成包括一个或多个第一衍生记录的第一衍生事务；生成所述第一衍生事务和所述第一源事务之间的第一事务映射；生成所述第一衍生事务和所述第二源事务之间的第二事务映射；确定所述第一衍生事务已结束，并作为响应，将包括所述一个或多个第一衍生记录的第一衍生事务提交到永久存储装置；接收与所述第一源事务相关联的第一结束标点符号，并作为响应，将所述第一源事务提交到所述永久存储装置，所述第一源事务包括与所述第一源事务相关联的所述一个或多个第一源数据记录；以及在提交所述第一衍生事务之后，确定所述第二源事务发生故障，并作为响应执行下列操作：确定所述第一衍生事务应基于所述第二事务映射被重新生成，并作为响应，通过执行下列操作来重新生成所述第一衍生事务：生成一个或多个第二衍生记录，所述一个或多个第二衍生记录是基于所述一个或多个第一源数据记录的，而不是基于所述一个或多个第二源数据记录的；以及将所述一个或多个第二衍生记录提交到所述永久存储装置。2.如权利要求1所述的计算机系统，其中，所述处理逻辑被配置为：响应于确定所述第一衍生事务已结束，在未确定所述第二源事务已发生故障的情况下，将所述一个或多个第一衍生纪录发送到下游设备。3.如权利要求1所述的计算机系统，其中，所述处理逻辑被配置为执行下列操作：从第一源计算机接收与所述第一源事务相关联的第一开始标点符号，其中，所述一个或多个第一源数据记录是从所述第一源计算机被接收的；以及响应于接收到所述第一结束标点符号，更新所述第一事务映射以指示所述第一源事务是完整的。4.如权利要求1所述的计算机系统，其中，在提交所述一个或多个第一衍生记录之后，所述处理逻辑被配置为执行下列操作：接收与所述第一源事务相关联的迟到源记录；以及确定所述迟到源记录已经基于所述第一源事务和所述第一衍生事务之间的所述第一事务映射、使用所述第一衍生事务被处理，并作为响应，标记将被重新生成的所述第一衍生事务。5.如权利要求1所述的计算机系统，其中，所述处理逻辑被配置为执行下列操作：将所述一个或多个第一衍生记录中的每个记录与所述第一衍生事务相关联；以及响应于确定所述第二源事务发生故障，从所述永久存储装置中删除与所述第一衍生事务相关联的每个记录。6.如权利要求1所述的计算机系统，其中，所述处理逻辑被配置为在重新生成所述第一衍生事务之后，将所述一个或多个第二衍生记录发送到下游设备。7.如权利要求1所述的计算机系统，其中，所述处理逻辑被配置为执行下列操作：将所述一个或多个第一衍生记录与标识所述第一衍生事务的标识符相关联；响应于确定所述第一衍生事务已结束，将所述一个或多个第一衍生记录发送到具有所述标识符的下游设备；以及响应于确定所述第二源事务发生故障并生成所述一个或多个第二衍生记录而执行下列操作：将所述一个或多个第二衍生记录与所述标识符相关联；以及通知所述下游设备与所述标识符相关联的所述第一衍生事务被重新生成。8.如权利要求1所述的计算机系统，其中，所述处理逻辑被配置为接收针对所述第一衍生事务的请求，并作为响应，确定所述第一衍生事务是否应被重新生成。9.如权利要求1所述的计算机系统，其中，所述处理逻辑被配置为执行下列操作：将标识符与所述第一衍生事务相关联；响应于确定所述第一衍生事务已结束，将所述一个或多个第一衍生记录发送到具有所述标识符的下游设备；将所述一个或多个第二衍生记录与所述标识符相关联；以及在...

【专利技术属性】
技术研发人员：塞勒斯沃尔·克里希纳穆尔斯，马杜·库马尔，阿米特·巴特，
申请(专利权)人：思科技术公司，
类型：发明
国别省市：美国;US