用于实时分析数据流的方法和系统技术方案

本发明专利技术公开了用于实时分析数据流的方法和系统。数据分析是从数据中获取重要信息的关键。提供了一种用于分析数据流的实时系统和方法。该系统可以利用许多不同类型的数据格式，例如数字、文本、视频、音频、图像或其组合。使用分析引擎根据需求进行分析，并生成中间输出。使用分布式实时业务规则处理引擎进一步处理中间输出，以确定数据中所需的条件。业务规则包括一个或多个元数据集。在匹配业务规则时，系统触发警报或将所需信息传播到集成解决方案以执行所需操作。所述系统和方法与技术和通信协议无关，并采用高效的负载平衡技术设计，从而促进以最小的延迟进行高并发的数据处理。从而促进以最小的延迟进行高并发的数据处理。从而促进以最小的延迟进行高并发的数据处理。

【技术实现步骤摘要】
用于实时分析数据流的方法和系统
[0001]相关申请的交叉引用和优先权
[0002]本申请要求2021年10月18日提交的印度申请第202121047290号的优先权。


[0003]本公开总体涉及数据分析领域，更具体地，涉及用于实时分析多个数据流的方法和系统。

技术介绍

[0004]在数字化的世界，数据已经成为任何组织最重要的方面。此外，数据分析在各个领域都起着至关重要的作用，可以从数据中获取重要的信息。通信网络中存在着各种类型的数据，如实时数据和复杂数据。复杂数据类型是不同类型数据的嵌套形式，如图像、文本、音频和视频的组合。
[0005]有多种应用程序收集关于通信网络的信息并根据需求分析数据。然而，为了有效地利用，信息必须根据数据流和分析系统以适合分析的格式提供。将数据转换为专用或目标平台格式数据的典型方法，使用资源将本地平台专用布局转换为可移植形式，并且可能导致需要额外传输资源的效率较低的格式。特别是当需要分析大量不同类型的数据时，这种方法就变得更加困难。
[0006]目前已有几种解决方案，主要是针对实时数据分析，或近实时数据分析。它们采用不同的方式分析数据。随着数据类型的增加，数据分析解决方案的响应性越来越差。

技术实现思路

[0007]专利技术人认识到在常规系统中的上述技术问题，本专利技术的实施例中的技术改进作为其中的一者或多者问题的解决方案。例如，在一个实施方式中，提供了一种用于实时分析多个数据流的系统。该系统包括输入/输出接口、一个或多个硬件处理器，以及存储器。输入/输出接口被配置为提供多个数据流作为来自一个或多个源的输入。存储器与一个或多个硬件处理器通信，其中一个或多个第一硬件处理器被配置为执行存储在存储器中的编程指令，用于：分析多个数据流以产生中间输出，其中，中间输出包括元数据；通过集成引擎接收对于分析多个数据流中的一个或多个数据流的请求，其中，集成引擎被配置为根据所接收的请求执行以下动作中的一者或多者：开始数据分析以分析数据流，其中，开始分析接收数据流列表、要执行的分析列表和匹配传播要调用的回调的详细信息作为输入，确定并提供先前开始的数据分析会话的状态，其中，提供会话ID列表作为输入，以及停止数据分析以停止数据分析会话，其中，提供会话ID列表作为输入；工作量管理器检查多个分析引擎中的每个分析引擎的负载；根据检查到的负载确定多个分析引擎中的一个或多个分析引擎；将针对分析的请求分配给所确定的一个或多个分析引擎，其中，一个或多个分析引擎被配置为：输出处理速率生成输出数据流；如果输出处理速率大于或小于预定值，则对一个或多个分析引擎的输出处理速率进行分别地缩减或提升；获得经缩放的数据流；确定需要在经缩放
的数据流中检查的业务规则集，其中，业务规则集是基于对元数据与预定义的条件集执行比较来确定的；以及通过对所确定的业务规则集执行查找来触发回调，以促使集成引擎分析多个数据流。
[0008]另一方面，提供了一种用于实时分析多个数据流的方法。首先，提供多个数据流作为来自一个或多个源的输入。然后，分析多个数据流以产生中间输出，其中，中间输出包括元数据。进而，集成引擎接收对于分析多个数据流中的一个或多个数据流的请求，其中，集成引擎被配置为根据所接收的请求执行以下一个或多个动作：开始数据分析以分析数据流，其中，开始分析接收数据流列表、要执行的分析列表和匹配传播要调用的回调的详细信息作为输入，确定并提供先前开始的数据分析会话的状态，其中，提供会话ID列表作为输入，以及停止数据分析以停止数据分析会话，其中，提供会话ID列表作为输入。在下一步骤中，由工作量管理器实现在多个分析引擎中检查每个分析引擎的负载。在下一步骤中，根据所检查的负载，从多个分析引擎中确定一个或多个分析引擎。在下一步骤中，将针对分析的请求分配给所确定的一个或多个分析引擎，其中，一个或多个分析引擎被配置为：以输出处理速率生成输出数据流。此外，如果输出处理速率大于或小于预定值，则分别执行一个或多个分析引擎的输出处理速率的缩减或提升中的一个，以获得经缩放的数据流。在下一步骤中，确定需要在经缩放的数据流中检查的业务规则集，其中，基于由执行的元数据与预定义的条件集的比较来确定业务规则集。最后，通过对所确定的业务规则集执行查找来触发回调，以促使集成引擎分析多个数据流。
[0009]在又一个方面中，提供了其中包括一个或多个指令的一个或多个非暂时性机器可读信息存储介质，当指令由一个或多个硬件处理器执行时，使得实时分析多个数据流。首先，提供多个数据流作为来自一个或多个源的输入。然后，分析多个数据流以产生中间输出，其中，中间输出包括元数据。进而，集成引擎接收针对分析多个数据流中的一个或多个数据流的请求，其中，集成引擎被配置为根据所接收的请求执行以下一个或多个动作：开始数据分析以分析数据流，其中，开始分析接收数据流列表、要执行的分析列表和为匹配传播要调用的回调的详细信息作为输入，确定并提供先前开始的数据分析会话的状态，其中，提供会话ID的列表作为输入，以及停止数据分析以停止数据分析会话，其中，提供会话ID的列表作为输入。在下一步骤中，由工作量管理器实现在多个分析引擎中检查每个分析引擎的负载。在下一步骤中，根据所检查的负载，从多个分析引擎中确定一个或多个分析引擎。在下一步骤中，将针对分析的请求分配给所确定的一个或多个分析引擎，其中，一个或多个分析引擎被配置为以输出处理速率生成输出数据流。此外，如果输出处理速率大于或小于预定值，则分别执行一个或多个分析引擎的输出处理速率的缩减或提升中的一个，以获得经缩放的数据流。在下一步骤中，确定需要在经缩放的数据流中检查的业务规则集，其中，基于执行的元数据与预定义的条件集的比较来确定业务规则集。最后，通过对所确定的业务规则集执行查找来触发回调，以促使集成引擎分析多个数据流。
[0010]应当理解，上述一般描述和下面的详细描述都只是示例性的和说明性的，而不是对所要求的本专利技术的限制。
附图说明
[0011]结合在本公开中且构成本公开的一部分的附图示出了示例性实施方式，并且与描
述一起用于解释本公开的原理：
[0012]图1示出了根据本公开的一些实施方式的用于实时分析多个数据流的系统的网络示意图。
[0013]图2是根据本公开的一些实施方式的用于实时分析多个数据流的系统的框图。
[0014]图3是示出根据本公开的一些实施方式的集成引擎的工作流程图。
[0015]图4是示出根据本公开的一些实施方式的工作量管理器的工作流程图。
[0016]图5是根据本公开的一些实施方式的分析处理组件的框图。
[0017]图6是根据本公开的一些实施方式的流订阅配置器的框图。
[0018]图7是示出根据本公开的一些实施方式的数据收集器的工作流程图。
[0019]图8是示出根据本公开的一些实施方式的数据获取器的工作流程图。
[0020]图9是示出根据本公开的一些实施方式的数据处理器的工作流程图。
[0021]图10A至10B是根据本公开的一些本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于实时分析多个数据流的处理器实现的方法(1000)，所述方法包括：通过一个或多个硬件处理器提供所述多个数据流作为来自一个或多个源的输入(1002)；通过所述一个或多个硬件处理器分析所述多个数据流以产生中间输出，其中，所述中间输出包括元数据(1004)；由所述一个或多个硬件处理器实现的集成引擎接收针对分析所述多个数据流中的一个或多个数据流的请求，其中，所述集成引擎被配置为根据所接收的所述请求执行以下动作中的一者或多者：开始数据分析以分析所述数据流，其中，开始分析接收数据流的列表、要执行的分析的列表和为匹配传播调用的回调的详细信息作为输入，确定并提供先前开始的数据分析会话的状态，其中，提供会话ID的列表作为输入，以及停止数据分析以停止数据分析会话，其中，提供所述会话ID的列表作为输入(1006)；通过由所述一个或多个硬件处理器实现的工作量管理器，所述一个或多个硬件处理器检查由所述一个或多个硬件处理器实现的多个分析引擎中的每个分析引擎的负载(1008)；由所述一个或多个硬件处理器，根据检查的所述负载，确定所述多个分析引擎中的一个或多个分析引擎(1010)；由所述一个或多个硬件处理器向所确定的一个或多个分析引擎分配针对分析的所述请求，其中，所述一个或多个分析引擎被配置为以输出处理速率生成输出数据流(1012)；如果所述输出处理速率大于或小于预定值，则由所述一个或多个硬件处理器分别执行所述一个或多个分析引擎的输出处理速率的缩减或提升中的一者，以获得经缩放的数据流(1014)；由所述一个或多个硬件处理器确定需要在所述经缩放的数据流中检查的业务规则集，其中，所述业务规则集是基于由所述元数据执行的与预定义的条件集的比较来确定的(1016)；以及由所述一个或多个硬件处理器通过对所确定的业务规则集执行查找来触发回调，以促使所述集成引擎分析所述多个数据流(1018)。2.根据权利要求1所述的方法，还包括：当可用计算量低于可用并发时，基于由用户定义的一组规则决定所述多个数据流中的数据流的执行优先级。3.根据权利要求1所述的方法，还包括：向所述集成引擎的结果订阅一组工具。4.根据权利要求1所述的方法，其中，所述多个数据流包括视频数据、数字、文本、音频、图像中的一者或多者。5.根据权利要求1所述的方法，其中，使用消息传递队列技术或企业服务总线技术之一来执行缩放。6.根据权利要求1所述的方法，其中，所述业务规则集包括一组或多组可配置参数、元数据或可定制的逻辑代码块。7.根据权利要求1所述的方法，其中，所述工作量管理器被配置为执行：接受请求功能，被配置为封装接受请求的能力并将请求存储在内部队列实现中，检查状态功能，被配置为检查所述多个分析引擎中的负载，并确定所述多个分析引擎中哪个分析引擎能够用于所请求的分析，或者
分配请求功能，被配置为将分析请求分配给所确定的分析引擎。8.一种用于实时分析多个数据流的系统(100)，所述系统包括：输入/输出接口(104)，被配置为提供所述多个数据流作为来自一个或多个源的输入；一个或多个硬件处理器(108)；以及与所述一个或多个硬件处理器通信的存储器(110)，其中，一个或多个第一硬件处理器被配置为执行存储在所述存储器中的编程指令，以进行以下各项：分析所述多个数据流以产生中间输出，其中，所述中间输出包括元数据；由集成引擎(114)接收针对分析所述多个数据流中的一个或多个数据流的请求，其中，所述集成引擎被配置为根据所接收的请求执行以下动作中的一者或多者：开始数据分析以分析所述数据流，其中，开始分析接收数据流的列表、要执行的分析的列表和为匹配传播调用的回调的详细信息作为输入，确定并提供先...

【专利技术属性】
技术研发人员：维拉，
申请(专利权)人：塔塔顾问服务有限公司，
类型：发明
国别省市：