多应用时间线上的流数据处理制造技术

适应特定类型的无序数据；即，在数据无序到达时要适应这种无序数据，因为数据是在可能具有不同应用时间线的系统中生成的。当数据到达时，该数据以特定分区键到达。例如，该分区键可以标识数据源。来自每个分区键的数据相对于来自同一分区键的所有其他数据保持有序。也就是说，与来自任何其他键的数据相比，允许来自一个键的数据具有一个不同的时间线。因此，当跨键全局查看时，数据可能不是有序的。相反，只要到达的数据的滞后在某个容忍滞后范围内，就可以容忍数据全局无序。如果数据到达，具有的时间超过最大容忍延迟，则系统应用某个策略来确定如何处理被延迟的数据。

Stream Data Processing on Multi-application Time Line

【技术实现步骤摘要】
【国外来华专利技术】多应用时间线上的流数据处理
技术介绍
计算系统和相关联的网络极大地改变了我们的世界，其引入了现在通常称为“信息时代”的概念。信息时代的一个特征是可以生成和发布针对数据集合的查询。例如，数据集合可以包括关系数据库，或者结构化或甚至非结构化数据的其他数据存储。现在，甚至可以针对根据时间来组织的数据流生成查询。流式数据的示例是时间戳事件流。当处理数据流时，通常在假定流式数据以某种时间顺序的相似性到达的情况下发生处理。时间排序的假定有几个原因，主要是用于性能优化。但是，基于流数据处理中常用的用例，这样的假定通常是有根据的。理想情况是流式数据始终按顺序到达。然而，由于各种环境或系统原因(诸如网络延迟)，数据可能无序到达。因此，无序数据到达是一种真实世界的场景，这样的场景需要适应但却不是最佳数据处理路径的一部分。无序处理通常由流数据处理器以两种不同方式之一来处理。在一种传统方式中，使所有无序数据按数据进入系统的时间排序。这可以通过以下方式来进行：等待一段时间来按顺序对无序数据进行排序，将无序数据的(多个)时间戳调节为有序，或者丢弃一个或多个无序数据，使得剩余数据有序。一旦数据在系统内部，流引擎就可以对本文档来自技高网...

【技术保护点】
1.一种用于对流数据执行查询处理的方法，所述方法包括：接收针对多个键中的每个键的多个数据项的数据流；对于来自针对所述多个键中的每个键的所述数据流的数据项，确保在产生可处理数据流时，针对所述多个键中的对应键的所述数据项在时间上是有序的；以及对于所述可处理数据流中的所述数据项中的每一个，确保所述数据项在所述可处理数据流中在时间上滞后不超过给定容限。

【技术特征摘要】
【国外来华专利技术】2017.01.31 US 62/452,742;2017.05.05 US 15/588,2991.一种用于对流数据执行查询处理的方法，所述方法包括：接收针对多个键中的每个键的多个数据项的数据流；对于来自针对所述多个键中的每个键的所述数据流的数据项，确保在产生可处理数据流时，针对所述多个键中的对应键的所述数据项在时间上是有序的；以及对于所述可处理数据流中的所述数据项中的每一个，确保所述数据项在所述可处理数据流中在时间上滞后不超过给定容限。2.根据权利要求1所述的方法，其中确保所述数据项在时间上滞后不超过给定容限包括以下：对于接收到的所述数据流中被确定为在时间上滞后大于所述给定容限的至少一个数据项中的每一个：丢弃对应的所述数据项，使得对应的所述数据项不被包括在所述可处理数据流内。3.根据权利要求1所述的方法，其中确保所述数据项在时间上滞后不超过给定容限包括以下：对于接收到的所述数据流中被确定为在时间上滞后大于所述给定容限的至少一个数据项中的每一个：快速转发对应的所述数据项的时间戳。4.根据权利要求1所述的方法，其中确保所述数据项在时间上滞后不超过给定容限包括以下：对于接收到的所述数据流中被确定为在时间上滞后大于所述给定容限的至少一个数据项中...

【专利技术属性】
技术研发人员：B·钱德拉莫利，J·戈尔茨坦，M·巴奈特，J·F·特威利格，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US