利用微批处理管理快照和状态制造技术

公开了一种用于处理事件流中的事件的事件处理系统。该系统可以执行指令以：接收输入事件的微批次流，使用CQL引擎来处理输入事件以生成输出事件集合，使用由CQL引擎实现的快照管理算法至少部分地基于与应用相关的输出事件集合生成系统的当前状态的快照，生成第一目录结构以访问与系统的当前状态的快照相关联的快照信息，生成第二目录结构以生成与系统的当前状态相关联的快照列表，以及至少部分地基于快照管理算法来确定获取、添加或清理与系统的当前状态相关联的快照列表的处理。

Using microbatch processing to manage snapshots and states

An event processing system for handling events in an event flow is disclosed. The system can execute instructions to receive the micro-batch flow of input events, use CQL engine to process input events to generate the set of output events, and use the snapshot management algorithm implemented by CQL engine to generate snapshots of the current state of the system at least partially based on the set of output events related to the application, to generate the first directory structure to access the snapshots related to the current state of the system. Joint snapshot information, generation of a second directory structure to generate a snapshot list associated with the current state of the system, and at least partially based on the snapshot management algorithm to determine the processing of acquiring, adding or cleaning the snapshot list associated with the current state of the system.

【技术实现步骤摘要】
【国外来华专利技术】利用微批处理管理快照和状态对相关申请的交叉引用本申请要求于2016年9月15日提交的标题为“MANAGINGSNAPSHOTSANDSTATEWITHMICRO-BATCHING”的印度临时申请No.201641031479的优先权和权益，该印度临时申请的全部内容通过引用并入本文，用于所有目的。本申请涉及与本申请同日提交的代理人案卷号为088325-1052956、标题为“COMPLEXEVENTPROCESSINGFORMICRO-BATCHSTREAMING”的申请序列No._____________，该申请的全部内容通过引用并入本文，就好像在本文完全阐述一样。
技术介绍
在传统的数据库系统中，数据通常以表的形式存储在一个或多个数据库中。然后使用诸如结构化查询语言(SQL)之类的数据管理语言来查询和操纵所存储的数据。例如，可以定义并执行SQL查询，以从存储在数据库中的数据中识别相关数据。因此，SQL查询是对存储在数据库中的有限数据集执行的。另外，当执行SQL查询时，它在有限数据集上执行一次并且产生有限静态结果。因此，数据库最佳地被配备为在有限存储数据集上运行查询。但是，多个现代应用和系统以连续数据或事件流而不是有限数据集的形式生成数据。此类应用的示例包括但不限于传感器数据应用、金融报价机、网络性能测量工具(例如，网络监视和流量管理应用)、点击流分析工具、汽车交通监视等。这些应用引起了对可以处理数据流的新型应用的需求。例如，温度传感器可以被配置为发出温度读数。管理和处理用于这些类型的基于事件流的应用的数据涉及构建具有强时间焦点的数据管理和查询能力。需要不同类型的查询机制，该查询机制包括对连续无界数据集的长时间运行的查询。虽然一些供应商现在提供面向事件流处理的产品套件，但是这些产品提供物(offering)仍然缺乏处理当今事件处理需求所需的处理灵活性。
技术实现思路
提供了用于处理事件流的事件的技术(例如，方法、系统、存储可由一个或多个处理器执行的代码或指令的非瞬态计算机可读介质)。在实施例中，公开了一种事件处理系统。一个或多个计算机的系统可以被配置为凭借在系统上安装在操作时使系统执行动作的软件、固件、硬件或它们的组合来执行特定的操作或动作。一个或多个计算机程序可以被配置为凭借包括当由数据处理装置执行时使装置执行动作的指令来执行特定的操作或动作。一个一般方面包括一种用于管理从连续查询语言(CQL)引擎创建的快照的方法，包括：由计算设备接收与应用相关的输入事件的微批次流。该方法还包括由计算设备使用CQL引擎处理输入事件以生成与应用相关的输出事件集合。该方法还包括由计算设备使用由CQL引擎实现的快照管理算法至少部分地基于与应用相关的输出事件集合来生成系统的当前状态的快照。该方法还包括由计算设备生成第一目录结构，以访问与系统的当前状态的快照相关联的快照信息。该方法还包括由计算设备生成第二目录结构，以生成与系统的当前状态相关联的快照列表。该方法还包括由计算设备至少部分地基于快照管理算法来确定获取、添加或清理与系统的当前状态相关联的快照列表的处理。这个方面的其它实施例包括各自被配置为执行方法的动作的对应计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序。实施方式可以包括以下特征中的一个或多个。该方法其中微批次流是离散化成亚秒级微批次的连续数据流。该方法其中处理输入事件包括至少部分地基于经变换的查询计划来处理输入事件。该方法还包括由计算设备将与应用相关的输出事件集合存储在输出队列中；以及当处理完所有输入事件时，由计算设备发送输出队列中的输出事件。该方法其中微批次流包括弹性分布式数据集(RDD)或数据的微批次。该方法其中处理每个输入事件包括至少部分地基于经变换的查询计划对每个输入执行计算。该方法还包括由计算设备接收连续查询，对连续查询应用变换以生成用于连续查询的查询计划，以及使用变换算法变换查询计划以生成经变换的查询计划，其中连续查询包括模式匹配。所描述的技术的实现可以包括硬件、方法或处理或计算机可访问介质上的计算机软件。一个一般方面包括一种系统，包括：存储器，被配置为存储计算机可执行指令；处理器，被配置为访问存储器并执行计算机可执行指令。该系统还包括接收与应用相关的输入事件的微批次流。系统还包括使用CQL引擎处理输入事件以生成与应用相关的输出事件集合。该系统还包括使用由CQL引擎实现的快照管理算法至少部分地基于与应用相关的输出事件集合来生成系统的当前状态的快照。该系统还包括生成第一目录结构以访问与系统的当前状态的快照相关联的快照信息。该系统还包括生成第二目录结构以生成与系统的当前状态相关联的快照列表。该系统还包括至少部分地基于快照管理算法确定获取、添加或清理与系统的当前状态相关联的快照列表的处理。这个方面的其它实施例包括各自被配置为执行方法的动作的对应计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序。实施方式可以包括以下特征中的一个或多个。该系统其中微批次流是离散化成亚秒级微批次的连续数据流。该系统其中处理输入事件包括至少部分地基于经变换的查询计划来处理输入事件。该系统其中计算机可执行指令进一步可执行，以将与应用相关的输出事件集合存储在输出队列中；以及当处理完所有输入事件时，发送输出队列中的输出事件。该系统其中微批次流包括弹性分布式数据集(RDD)或数据的微批次。该系统其中处理每个输入事件包括至少部分地基于经变换的查询计划对每个输入执行计算。该系统其中计算机可执行指令进一步可执行以：接收连续查询，对连续查询应用变换以生成用于连续查询的查询计划，以及使用变换算法变换查询计划以生成经变换的查询计划，其中连续查询包括模式匹配。所描述的技术的实现可以包括硬件、方法或处理或计算机可访问介质上的计算机软件。一个一般方面包括存储计算机可执行代码的计算机可读介质，该计算机可执行代码在由处理器执行时使处理器执行包括以下各项的操作：接收与应用相关的输入事件的微批次流。该计算机可读介质还包括使用CQL引擎处理输入事件以生成与应用相关的输出事件集合。该计算机可读介质还包括使用由CQL引擎实现的快照管理算法至少部分地基于与应用相关的输出事件集合来生成系统的当前状态的快照。该计算机可读介质还包括生成第一目录结构以访问与系统的当前状态的快照相关联的快照信息。该计算机可读介质还包括生成第二目录结构以生成与系统的当前状态相关联的快照列表。该计算机可读介质还包括至少部分地基于快照管理算法确定获取、添加或清理与系统的当前状态相关联的快照列表的处理。这个方面的其它实施例包括各自被配置为执行方法的动作的对应计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序。实施方式可以包括以下特征中的一个或多个。该计算机可读介质其中微批次流是离散化成亚秒级微批次的连续数据流。该计算机可读介质其中处理输入事件包括至少部分地基于经变换的查询计划来处理输入事件。该计算机可读介质其中操作还包括将与应用相关的输出事件集合存储在输出队列中；以及当处理完所有输入事件时，发送输出队列中的输出事件。该计算机可读介质其中微批次流包括弹性分布式数据集(RDD)或数据的微批次。该计算机可读介质其中处理每个输入事件包括至少部分地基于经变换的查询计划对每个本文档来自技高网...

【技术保护点】
1.一种用于管理从连续查询语言CQL引擎创建的快照的方法，包括：由计算设备接收与应用相关的输入事件的微批次流；由计算设备使用CQL引擎处理输入事件，以生成与应用相关的输出事件集合；由计算设备使用由CQL引擎实现的快照管理算法至少部分地基于与应用相关的输出事件集合来生成系统的当前状态的快照；由计算设备生成第一目录结构，以访问与系统的当前状态的快照相关联的快照信息；由计算设备生成第二目录结构，以生成与系统的当前状态相关联的快照列表；以及由计算设备至少部分地基于快照管理算法来确定获取、添加或清理与系统的当前状态相关联的快照列表的处理。

【技术特征摘要】
【国外来华专利技术】2016.09.15 IN 2016410314791.一种用于管理从连续查询语言CQL引擎创建的快照的方法，包括：由计算设备接收与应用相关的输入事件的微批次流；由计算设备使用CQL引擎处理输入事件，以生成与应用相关的输出事件集合；由计算设备使用由CQL引擎实现的快照管理算法至少部分地基于与应用相关的输出事件集合来生成系统的当前状态的快照；由计算设备生成第一目录结构，以访问与系统的当前状态的快照相关联的快照信息；由计算设备生成第二目录结构，以生成与系统的当前状态相关联的快照列表；以及由计算设备至少部分地基于快照管理算法来确定获取、添加或清理与系统的当前状态相关联的快照列表的处理。2.如权利要求1所述的方法，其中微批次流是离散化成亚秒级微批次的连续数据流。3.如权利要求2所述的方法，其中处理输入事件包括至少部分地基于经变换的查询计划来处理输入事件。4.如权利要求3所述的方法，还包括由计算设备将与应用相关的输出事件集合存储在输出队列中；以及当已经处理完所有输入事件时，由计算设备发送输出队列中的输出事件。5.如权利要求4所述的方法，其中微批次流包括弹性分布式数据集RDD或数据的微批次。6.如权利要求5所述的方法，其中处理所述输入事件中的每个输入事件包括至少部分地基于经变换的查询计划对所述输入中的每个输入执行计算。7.如权利要求6所述的方法，还包括由计算设备接收连续查询，对连续查询应用变换以生成用于连续查询的查询计划，以及使用变换算法来变换查询计划以生成经变换的查询计划，其中连续查询包括模式匹配。8.一种系统，包括：存储器，被配置为存储计算机可执行指令；以及处理器，被配置为访问存储器并且执行计算机可执行指令，以：接收与应用相关的输入事件的微批次流；使用CQL引擎处理输入事件，以生成与应用相关的输出事件集合；使用由CQL引擎实现的快照管理算法至少部分地基于与应用相关的输出事件集合来生成系统的当前状态的快照；生成第一目录结构，以访问与系统的当前状态的快照相关联的快照信息；生成第二目录结构，以生成与系统的当前状态相关联的快照列表；以及至少部分地基于快照管理算法确定获取、添加或清理与系统的当前状态相关联的快照列表的处理。9.如权利要求8所述的系统，其中微批次流是离散化成亚秒级微批次的连续数据流。10.如权利要求9所述的系统，其中处理输入事件包括至少部分地基于经变换的查询计划来处理输入事件。11.如权利要求10所述的系统，其中所述计算机可执行指令进一步可执行以将与应用相关的输出事件集合存储在输出队列中；以及当已经处理完所有输入事件时，发送输出队列中的输出事件。12.如权利要求11所述的系统，其中微批次流包括弹性分布式数据集RDD或数据的微批次。13.如权利要求12所述的系统，其中处理所述输入事件中的每个输入事件包括至少部分地基于经变换的查询计划对所述输入中的每个输入执行计算。14.如权利要求13所述的系统，其中所述计算机可执行指令进一步可执行以接收连续查询，对连续查询应用变换以生成用于连续查询的查询计划，以及使用变换算法来变换查询计划以生成经变换的查询计划，其中连续查询包括模式匹配。15.一种存储计算机可执行代码的计算机可读介质，所述计算机可执行代码在由处理器执行时使处理器执行包括以下各项的操作：接收与应用相关的输入事件的微批次流；使用CQL引擎处理输入事件，以生成与应用相关的输出事件集合；使用由CQL引擎实现的快照管理算法至少部分地基于与应用相关的输出事件集合来生成系统的当前状态的快照；生成第一目录结构，以访问与系统的当前状态的快照相关联的快照信息；生成第二目录结构，以生成与系统的当前状态相关联的快照列表；以及至少部分地基于快照管理算法确定获取、添加或清理与系统的当前状态相关联的快照列表的处理。16.如权利要求15所述的计算机可读介质，其中微批次流是离散化成亚秒级微批次的连续数据流。17.如权利要求16所述的计算机可读介质，其中处理输入事件包括至少部分地基于经变换的查询计划来处理输入事件。18.如权利要求17所述的计算机可读介质，其中操作还包括将...

【专利技术属性】
技术研发人员：H·帕克，S·比施诺伊，P·斯卡拉姆，S·库马，P·阿德瓦尼，K·穆拉伊，J·图里昂，
申请(专利权)人：甲骨文国际公司，
类型：发明
国别省市：美国,US