管理实时数据流处理制造技术

一种管理数据(12)处理的方法(300)包括从数据查询系统(150)的用户(10)接收数据查询(170)，该数据查询的数据存储在与数据查询系统通信的数据存储器(142)中。该方法还包括接收指示数据查询的上时间边界的停滞参数(174)。上时间边界将查询响应(172)限制为数据存储内比上时间边界更早的数据。该方法还包括确定存储在数据存储器内的数据是否满足停滞参数。当数据存储器内的数据的部分未满足停滞参数时，该方法包括生成排除数据的未满足停滞参数的部分的查询响应。参数的部分的查询响应。参数的部分的查询响应。

【技术实现步骤摘要】
【国外来华专利技术】管理实时数据流处理


[0001]本公开涉及管理实时数据流处理。

技术介绍

[0002]随着今天的应用产生大量的数据，分析工具已经变得更加强大。换句话说，这些分析工具可以从丰富的数据深度提取，以支持它们的功能。在数据量巨大的情况下，诸如仪表板，实时警报和其它数据可视化的分析工具正被用户更频繁地部署，以理解他们的数据。随着这种使用的增加，一些分析工具需要最小的延迟，同时希望分析实时或接近实时的数据。由于支持这些工具的数据经常被存储在分布式系统(例如，云存储)中，因此这些分布式存储系统正在寻址方式以满足这些需求，尤其是当它们存储的数据可以作为连续数据流到达时。

技术实现思路

[0003]本专利技术的一个方面提供了一种用于管理数据处理的方法。该方法包括在在数据处理硬件处，从数据查询系统的用户接收数据查询，所述数据查询的数据存储在与所述数据查询系统通信的数据存储器中。所述方法还包括在所述数据处理硬件处，接收指示所述数据查询的上时间边界的停滞参数，所述上时间边界将查询响应限制到所述数据存储器内的比所述上时间边界早的数据。该方法还包括由数据处理硬件确定存储在所述数据存储器内的所述数据是否满足所述停滞参数。当所述数据存储器内的所述数据的一部分不满足所述停滞参数时，该方法包括所述数据处理硬件生成所述查询响应，所述查询响应排除所述数据的比所述停滞参数的所述上时间边界更近地写入所述数据存储器的所述一部分。
[0004]本公开的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中，接收所述停滞参数包括，从所述数据查询系统的所述用户接收所述停滞参数。该方法可以包括：由数据处理硬件通过接收来自用户的用户数据来确定停滞参数的上时间边界；将接收到的用户数据摄入到所述数据存储器中，以在第一时间形成一个或多个日志文件；在第二时间将所述一个或多个日志文件转换为列数据格式，所述列数据格式对于相应的查询被优化；确定所述第一时间与所述第二时间之间的时间差；以及将所述时间差分配给所述停滞参数的所述上时间边界。
[0005]在一些示例中，该方法包括：由数据处理硬件识别用于存储在所述数据存储装置内的所述数据的日志文件；以及由数据处理硬件确定所述日志文件内最接近地匹配所述停滞参数的所述上时间边界的相应时间戳。在该示例中，每个日志文件包括多行数据，所述多行数据中的每行数据包括时间戳。同样在该示例中，对于查询响应，该方法包括由所述数据处理硬件读取日志文件中的数据，所述数据比最接近地匹配所述停滞参数的所述上时间边界的时间戳更早。这里，时间戳可以指示所述数据存储器在相应日志文件中生成所述相应数据行的时间。
[0006]在一些配置中，该方法包括在数据处理硬件处从所述用户接收数据集合，由所述
数据处理硬件将所述数据集合摄入到所述数据存储器中，以及由所述数据处理硬件为所述数据集合生成一个或多个日志文件。在这种配置中，每个日志文件包括对应于来自所述数据集合的数据的数据行，并且其中生成所述一个或多个日志文件为相应日志文件内的每行数据生成时间戳。
[0007]本公开的另一方面提供了一种用于管理数据处理的方法。该方法包括在数据处理硬件处接收查询，所述查询请求存储在存储系统中的相应时间间隔的数据。该方法还包括由所述数据处理硬件确定所述相应时间间隔的任何部分是否对应于从先前查询缓存的静态数据。静态数据对应于在所述存储系统的存储操作期间保持不变的存储数据。当所述相应时间间隔的一部分对应于从所述先前查询缓存的静态数据时，该方法包括由所述数据处理硬件生成对所述查询的相应响应，所述查询包括对应于所述相应时间间隔的所述一部分的缓存的静态数据，而不对所述存储系统的所述相应时间间隔的所述一部分内的存储数据执行读取操作。
[0008]该方面可以包括一个或多个以下可选特征。在一些实施方式中，该方法包括：在数据处理硬件处接收初始查询，该初始查询请求在初始时间间隔存储在所述存储系统中的数据；由数据处理硬件确定在所述初始时间间隔存储在所述存储系统中的所述数据的部分包括静态数据；由数据处理硬件生成对所述初始查询的响应，所述初始查询包括所请求的数据并且包括与所述初始时间间隔的相应静态数据相对应的数据的所述一部分。数据处理硬件缓存对应于所述初始时间间隔的静态数据的所述数据的所述一部分。这里，确定在所述初始时间间隔存储在所述存储系统中的所述数据的所述一部分包括静态数据包括，标识与存储在所述存储系统中的所述数据的列格式相关联的时间戳，所述时间戳指示给定列中的所述存储数据的最后修改日期。可选地，确定在所述初始时间间隔存储在所述存储系统中的所述数据的所述一部分包括静态数据包括，确定与所述存储系统中的存储数据的给定列相关联的时间戳满足静态数据阈值，所述时间戳指示所述给定列中的所述存储数据的最后修改日期，所述静态数据阈值指示所述给定列中的所述存储数据在所述存储系统的未来存储操作期间保持不变的可能性。
[0009]在一些配置中，生成对所述查询的所述相应响应包括，在所述相应时间间隔内但不在对应于从所述先前查询缓存的所述静态数据的所述相应时间间隔的所述一部分内，在所述存储系统对所存储的数据执行读取操作。当所述相应时间间隔的任何部分未能对应于从先前查询缓存的静态数据时，该方法可以包括由所述数据处理硬件确定在所述相应时间间隔存储在所述存储系统中的数据的一部分包括静态数据。这里，该方法还可以包括：由所述数据处理硬件生成对所述相应查询的所述相应响应，所述相应查询包括所请求的数据并且包括对应于所述相应时间间隔的所述相应静态数据的数据的所述一部分；以及由所述数据处理硬件缓存对应于所述相应时间间隔的静态数据的所述数据的所述一部分。
[0010]在一些示例中，所述存储操作包括存储来自所述存储系统的用户的实时数据的连续数据流。该方法由所述数据处理硬件将对所述查询的相应响应传送到数据分析系统，所述数据分析系统被配置为生成用于所述相应响应的图形表示。
[0011]本公开的另一方面提供了一种用于管理数据处理的系统。该系统包括数据处理硬件和与所述数据处理硬件通信的存储器硬件。所述存储器硬件存储当在所述数据处理硬件上执行时使所述数据处理硬件执行操作的指令。所述操作包括从数据查询系统的用户接收
数据查询，所述数据查询的数据存储在与所述数据查询系统通信的数据存储器中。所述操作还包括接收指示所述数据查询的上时间边界的停滞参数。所述上时间边界将查询响应限制到所述数据存储器内的比所述上时间边界早的数据。该操作还包括确定存储在所述数据存储器内的所述数据是否满足所述停滞参数。当所述数据存储器内的所述数据的一部分不满足所述停滞参数时，操作包括生成所述查询响应，所述查询响应排除所述数据的比所述停滞参数的所述上时间边界更近地写入所述数据存储器的所述一部分。
[0012]本公开的这一方面的实现可以包括一个或多个以下可选特征。在一些实施方式中，接收所述停滞参数包括，从所述数据查询系统的所述用户接收所述停滞参数。该系统可以包括：通过从用户接收用户数据，将接收到的用户数据摄入到所述数据存储器中，以在第一时间形成一个或多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法(300)，其特征在于，所述方法包括：在数据处理硬件(134)处，从数据查询系统(150)的用户(10)接收数据查询(170)，所述数据查询(170)的数据存储在与所述数据查询系统(150)通信的数据存储器(142)中；在所述数据处理硬件(134)处，接收指示所述数据查询(170)的上时间边界的停滞参数(174)，所述上时间边界将查询响应(172)限制到所述数据存储器(142)内的比所述上时间边界早的数据(12)；由所述数据处理硬件(134)确定存储在所述数据存储器(142)内的所述数据(12)是否满足所述停滞参数(174)；以及当所述数据存储器(142)内的所述数据(12)的一部分不满足所述停滞参数(174)时，由所述数据处理硬件(134)生成所述查询响应(172)，所述查询响应(172)排除所述数据(12)的比所述停滞参数(174)的所述上时间边界更近地写入所述数据存储器(142)的所述一部分。2.如权利要求1所述的方法(300)，其特征在于，接收所述停滞参数(174)包括，从所述数据查询系统(150)的所述用户(10)接收所述停滞参数(174)。3.如权利要求1或2所述的方法(300)，其特征在于，还包括，由所述数据处理硬件(134)通过以下步骤来确定所述停滞参数(174)的所述上时间边界：在所述数据处理硬件(134)处接收来自所述用户(10)的用户数据(12)；由所述数据处理硬件(134)将接收到的用户数据(12)摄入到所述数据存储器(142)中，以第一时间形成一个或多个日志文件(212)；由所述数据处理硬件(134)在第二时间将所述一个或多个日志文件(212)转换为列数据格式，所述列数据格式对于相应的查询(170)被优化；由所述数据处理硬件(134)确定所述第一时间与所述第二时间之间的时间差；以及由所述数据处理硬件(134)将所述时间差分配给所述停滞参数的所述上时间边界(174)。4.如权利要求1
‑
3中任一项所述的方法(300)，其特征在于，还包括：由所述数据处理硬件(134)识别存储在所述数据存储器(142)内的所述数据(12)的日志文件(212)，每个日志文件(212)包括多行数据，所述多行数据中的每行数据(12)包括时间戳(214)；以及由所述数据处理硬件(134)确定所述日志文件(212)内最接近地匹配所述停滞参数(174)的所述上时间边界的相应时间戳(214)；以及对于所述查询响应(172)，由所述数据处理硬件(134)读取所述日志文件(212)内的数据(12)，所述数据(12)比最接近地匹配所述停滞参数(174)的所述上时间边界的时间戳(214)更早。5.如权利要求4所述的方法(300)，其特征在于，所述时间戳(214)指示所述数据存储器(142)在相应日志文件(212)中生成所述相应数据行(12)的时间。6.如权利要求1
‑
5中任一项所述的方法(300)，其特征在于，还包括：在所述数据处理硬件(134)处从所述用户(10)接收数据集合(12)；由所述数据处理硬件(134)将所述数据集合(12)摄入到所述数据存储器(142)中；以及由所述数据处理硬件(134)为所述数据集合(12)生成一个或多个日志文件(212)，每个
日志文件(212)包括对应于来自所述数据集合(12)的数据(12)的数据行，并且其中生成所述一个或多个日志文件(212)为相应日志文件(212)内的每行数据(12)生成时间戳(214)。7.一种方法(400)，其特征在于，包括：在数据处理硬件(134)处接收查询(170)，所述查询(170)请求存储在存储系统中的相应时间间隔(176)的数据(12)；由所述数据处理硬件(134)确定所述相应时间间隔(176)的任何部分是否对应于从先前查询(170)缓存的静态数据(244)，所述静态数据(244)对应于在所述存储系统的存储操作期间保持不变的存储数据(12)；以及当所述相应时间间隔(176)的一部分对应于从所述先前查询(170)缓存的静态数据(244)时，由所述数据处理硬件(134)生成对所述查询(170)的相应响应(172)，所述查询(170)包括对应于所述相应时间间隔(176)的所述一部分的缓存的静态数据(244)，而不对所述存储系统的所述相应时间间隔(176)的所述一部分内的存储数据(12)执行读取操作。8.如权利要求7所述的方法(400)，其特征在于，还包括：在所述数据处理硬件(134)处接收初始查询(170)，所述初始查询(170)请求在初始时间间隔(176)存储在所述存储系统中的数据(12)；由所述数据处理硬件(134)确定在所述初始时间间隔(176)存储在所述存储系统中的所述数据(12)的一部分包括静态数据(244)；由所述数据处理硬件(134)生成对所述初始查询(170)的响应(172)，所述初始查询(170)包括所请求的数据(12)并且包括与所述初始时间间隔(176)的相应静态数据(244)相对应的数据(12)的所述一部分；以及由所述数据处理硬件(134)缓存对应于所述初始时间间隔(176)的静态数据(244)的所述数据(12)的所述一部分。9.如权利要求8所述的方法(400)，其特征在于，确定在所述初始时间间隔(176)存储在所述存储系统中的所述数据(12)的所述一部分包括静态数据(244)包括，标识与存储在所述存储系统中的所述数据(12)的列格式相关联的时间戳(214)，所述时间戳(214)指示给定列中的所述存储数据(12)的最后修改日期。10.如权利要求8所述的方法(400)，其特征在于，确定在所述初始时间间隔(176)存储在所述存储系统中的所述数据(12)的所述一部分包括静态数据(244)包括，确定与所述存储系统中的存储数据(12)的给定列相关联的时间戳(214)满足静态数据阈值，所述时间戳(214)指示所述给定列中的所述存储数据(12)的最后修改日期，所述静态数据阈值指示所述给定列中的所述存储数据(12)在所述存储系统的未来存储操作期间保持不变的可能性。11.如权利要求7
‑
10中任一项所述的方法(400)，其特征在于，生成对所述查询(170)的所述相应响应(172)包括，在所述相应时间间隔(176)内但不在对应于从所述先前查询(170)缓存的所述静态数据(244)的所述相应时间间隔(176)的所述一部分内，在所述存储系统对所存储的数据(12)执行读取操作。12.如权利要求7
‑
11中任一项所述的方法(400)，其特征在于，还包括：当所述相应时间间隔(176)的任何部分未能对应于从先前查询(170)缓存的静态数据(244)时，由所述数据处理硬件(134)确定在所述相应时间间隔(176)存储在所述存储系统中的数据(12)的一部分包括静态数据(244)；
由所述数据处理硬件(134)生成对所述相应查询(170)的所述相应响应(172)，所述相应查询(170)包括所请求的数据(12)并且包括对应于所述相应时间间隔(176)的所述相应静态数据(244)的数据(12)的所述一部分；以及由所述数据处理硬件(134)缓存对应于所述相应时间间隔(176)的静态数据(244)的所述数据(12)的所述一部分。13.如权利要求7
‑
12中任一项所述的方法(400)，其特征在于，所述存储操作包括存储来自所述存储系统的用户(10)的实时数据(12)的连续数据(12)流。14.如权利要求7
‑
13中任一项所述的方法(400)，其特征在于，还包括由所述数据处理硬件(134)将对所述查询(...

【专利技术属性】
技术研发人员：帕文，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：