【技术实现步骤摘要】
【国外来华专利技术】流处理系统和方法
技术介绍
本专利技术在其一些实施例中涉及一种数据流处理系统，更具体地，不仅仅涉及大数据系统中对数据进行分布式处理。术语“大数据”用于指如此大量和/或如此复杂的数据集合，以至于传统数据处理应用软件无法充分处理这种集合。处理大数据的挑战之一是分析集合中的大量数据。在一些系统中，数据是数据实例或事件的有序序列，称之为数据流或事件流。在典型的批处理系统中，可根据需要多次访问数据以执行所需的处理。在流处理系统中，数据连续到达，但不能存储以供将来参考。可能需要不断在运行时计算事件流内的数学或统计分析。在一些系统中，需要实时处理大量数据。另外，可能需要系统可扩展并具有容错架构。一些流处理系统使用窗口流操作符。窗口流操作符是用于处理一组数据实例(也称为事件)的软件对象，该组数据实例通过对事件流中的一些事件应用过滤器进行选择。所选事件集称为事件窗口。在应用过滤器之后，典型的窗口流操作符丢弃剩余事件，即超出过滤器范围的事件，并仅存储过滤器范围内的事件。在一些系统中，属于过滤器范围内的事件数量很大，超出了单个窗口流操作符本地存储器的容量。
技术实现思路
本专利技术的目的在于提供...
【技术保护点】
1.一种使用函数f处理输入事件流以获得输出事件流的方法，其特征在于，包括：使用滑窗从所述输入事件流中选择多个连续事件作为滑窗事件；将所述函数应用于所述滑窗事件，以获得输出结果值；在多次迭代的每次迭代中：在所述输出事件流上输出所述输出结果值；将所述滑窗事件分成一组满足至少一个过滤测试的符合事件和一组待定事件；将所述函数应用于所述一组待定事件以获得至少一个初始值；从所述事件流中选择第二多个事件；将所述第二多个事件添加到所述滑窗事件；从所述滑窗事件中移除所述一组符合事件，以获得一组新的滑窗事件；将所述函数应用于所述第二多个事件和所述至少一个初始值，以获得新的输出结果值。
【技术特征摘要】
【国外来华专利技术】1.一种使用函数f处理输入事件流以获得输出事件流的方法，其特征在于，包括：使用滑窗从所述输入事件流中选择多个连续事件作为滑窗事件；将所述函数应用于所述滑窗事件，以获得输出结果值；在多次迭代的每次迭代中：在所述输出事件流上输出所述输出结果值；将所述滑窗事件分成一组满足至少一个过滤测试的符合事件和一组待定事件；将所述函数应用于所述一组待定事件以获得至少一个初始值；从所述事件流中选择第二多个事件；将所述第二多个事件添加到所述滑窗事件；从所述滑窗事件中移除所述一组符合事件，以获得一组新的滑窗事件；将所述函数应用于所述第二多个事件和所述至少一个初始值，以获得新的输出结果值。2.根据权利要求1所述的方法，其特征在于，所述一组符合事件和所述至少一个初始值存储在高速缓存存储器中，所述一组待定事件存储在非易失性存储器中。3.根据任一前述权利要求所述的方法，其特征在于，将所述函数应用于所述一组待定事件之后的所述初始值包括：所述事件流中多个事件的多个事件值的平均值、所述多个事件值中的最小值、所述多个事件值中的最大值、所述多个事件值中的值的数量、所述多个事件值中不同值的数量、所述多个事件值的总和、所述多个事件值的中值、所述多个事件值的四分位值、所述多个事件值的标准偏差值和所述多个事件值的方差值，或以上项的组合。4.根据任一前述权利要求所述的方法，其特征在于，将所述函数应用于所述一组待定事件的步骤包括：根据第二过滤测试将所述多个待定事件分成多个桶；将所述函数应用于所述多个桶中的每个桶以获得对应的多个初始值；以及将所述多个初始值存储在高速缓存存储器中。5.根据权利要求2至4中任一项所述的方法，其特征在于，将所述函数应用于所述第二多个事件和所述至少一个初始值以获得新的输出结果值包括：从所述高速缓存存储器中检索所述至少一个初始值；将所述函数应用于所述第二多个事件以获得头结果；以及将所述函数应用于所述头结果和所述多个初始值以获得所述新的输出结果值。6.根据权利要求4或5所述的方法，其特征在于，所述至少一个初始值包括多个最小值或最大值，每个最小值或最大值是所述多个事件桶中一个事件桶的所述多个事件的多个事件值中...
【专利技术属性】
技术研发人员：拉杜·利维乌，斯蒂法诺·波托利，朱星，戈兹·布兰切，克里斯蒂安·阿克塞尼，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。