本申请公开了一种数据分析方法、装置、设备以及计算机存储介质，该方法包括：获取当前时间窗口对应的时间窗口信息；根据时间窗口信息，确定目标标签信息和目标规则信息；从预设数据库中获取目标标签信息对应的待处理数据，并在所述当前时间窗口对应的时间段内，根据目标规则信息对待处理数据进行数据分析，得到分析结果。这样，由于预设数据库中的实时数据与时间窗口信息之间具有关联关系，使得基于时间窗口信息选择待处理数据并采用该时间窗口信息对应的规则对待处理数据进行分析，能够实现数据接收与数据分析异步处理，从而有效提升了系统数据分析性能。系统数据分析性能。系统数据分析性能。
【技术实现步骤摘要】
一种数据分析方法、装置、设备以及计算机存储介质
[0001]本申请涉及安全数据分析
，尤其涉及一种数据分析方法、装置、设备以及计算机存储介质。
技术介绍
[0002]数据分析是适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。在安全设备日志分析，以及其他实时数据的实时分析场景中，数据分析可帮助人们做出判断，以便采取适当行动。
[0003]在相关技术中，当前存在一些开源的规则引擎，各类规则引擎将数据加载到内存，在内存中运行脚本进行数据匹配，整个匹配过程线性串行对宿主机的性能要求很高，并且无法适应灵活多变的需求，不适用大数据量的处理场景，而且不具备良好的横向扩展性，也无法适应灵活多变的使用场景；另外，当前大数据组件提供了很丰富的实时分析组件，但是这类组件本身依靠大数据系统，需要部署很多配套的组件支撑，太过重量级，而且投入成本过高，导致实用性差，对服务器集群具有很高的要求，也必然需要投入更多的成本，这也一定程度上限制了该类组件的使用场景。
技术实现思路
[0004]本申请提出一种数据分析方法、装置、设备以及计算机存储介质，能够实现数据接收与数据分析异步处理，从而有效提升了系统数据分析性能，而且可以适应多变的数据分析场景，具有较高的实用性。
[0005]为达到上述目的，本申请的技术方案是这样实现的：
[0006]第一方面，本申请实施例提供了一种数据分析方法，所述方法包括：
[0007]获取当前时间窗口对应的时间窗口信息；
[0008]根据所述时间窗口信息，确定目标标签信息和目标规则信息；
[0009]从预设数据库中获取所述目标标签信息对应的待处理数据，并在所述当前时间窗口对应的时间段内，根据所述目标规则信息对所述待处理数据进行数据分析，得到分析结果。
[0010]第二方面，本申请实施例提供了一种数据分析装置，所述数据分析装置包括：获取单元、确定单元和分析单元，其中，
[0011]所述获取单元，配置为获取当前时间窗口对应的时间窗口信息；
[0012]所述确定单元，配置为根据所述时间窗口信息，确定目标标签信息和目标规则信息；
[0013]所述分析单元，配置为从预设数据库中获取所述目标标签信息对应的待处理数据，并在所述当前时间窗口对应的时间段内，根据所述目标规则信息对所述待处理数据进行数据分析，得到分析结果。
[0014]第三方面，本申请实施例提供了一种数据分析设备，所述数据分析设备包括：存储
器和处理器；其中，
[0015]所述存储器，用于存储能够在所述处理器上运行的计算机程序；
[0016]所述处理器，用于在运行所述计算机程序时，执行如第一方面所述的方法。
[0017]第四方面，本申请实施例提供了一种计算机存储介质，其特征在于，所述计算机存储介质存储有数据分析程序，所述数据分析程序被至少一个处理器执行时实现如第一方面所述的方法。
[0018]本申请所提供的一种数据分析方法、装置、设备以及计算机存储介质，获取当前时间窗口对应的时间窗口信息；根据时间窗口信息，确定目标标签信息和目标规则信息；从预设数据库中获取目标标签信息对应的待处理数据，并在所述当前时间窗口对应的时间段内，根据目标规则信息对待处理数据进行数据分析，得到分析结果。这样，由于预设数据库中的实时数据与时间窗口信息之间具有关联关系，使得基于时间窗口信息选择待处理数据并采用该时间窗口信息对应的规则对待处理数据进行分析，能够实现数据接收与数据分析异步处理，而且具有良好的扩展性且适合灵活多变的场景，从而有效提升了系统数据分析性能，且具有较高的实用性。
附图说明
[0019]图1为本申请实施例提供的一种数据分析方法的流程示意图；
[0020]图2为本申请实施例提供的另一种数据分析方法的流程示意图；
[0021]图3为本申请实施例提供的又一种数据分析方法的流程示意图；
[0022]图4为本申请实施例提供的一种数据分析方法的系统架构示意图；
[0023]图5为本申请实施例提供的一种数据分析规则的创建过程示意图；
[0024]图6为本申请实施例提供的一种数据接收流程的工作过程示意图；
[0025]图7为本申请实施例提供的一种数据分析流程的工作过程示意图；
[0026]图8为本申请实施例提供的一种数据分析装置的组成结构示意图；
[0027]图9为本申请实施例提供的一种数据分析设备的具体硬件结构示意图；
[0028]图10为本申请实施例提供的一种数据分析设备的组成结构示意图。
具体实施方式
[0029]为了能够更加详尽地了解本申请实施例的特点与
技术实现思路
，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
[0030]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0031]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。还需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅是用于区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0032]在实际应用中，已有的数据分析引擎主要分为轻量的基于脚本的规则引擎和基于大数据的实时分析引擎，但是均存在一些缺点，在一定程度上限制了数据分析引擎的使用场景。例如，这些缺点如下：
[0033]基于脚本的类Drools的规则引擎，其主要缺点为：1)不适用大数据量的处理场景。在海量处理场景下，将数据全部放到内存中处理是不现实的，由于并发数据量非常大，对内存的消耗是巨大的，并且一旦内存溢出，数据将永久丢失，无法找回，这对于数据敏感的系统将是无法挽回的灾难。2)不具备良好的横向扩展性。针对数据存在丢失风险的问题，必然需要前序操作带有数据持久化功能，但是应用的横向扩展很难保证数据只被消费一次，这样的横向扩展没有意义，分析产生的数据失去价值。3)无法适应灵活多变的场景。该类规则引擎一版支持单条处理，对于存在时间窗口需要批量处理数据时，很难发挥其优势。
[0034]基于大数据的实时分析引擎，其主要缺点为：1)太过重量级。大数据分析的优势显而易见，然后要想分析引擎跑起来却需要很多的组件支撑，要想分析程序跑起来，需要做的准备工作非常多，不具备搭建大数据库平台的应用只能望而却步。2)成本高昂。部署大数据平台需要更多的机器资源，需要投入更多的维护成本。
[0035]基于此，本申请实施例提供了一种数据分析方法，该方法的基本思想是：本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据分析方法，其特征在于，所述方法包括：获取当前时间窗口对应的时间窗口信息；根据所述时间窗口信息，确定目标标签信息和目标规则信息；从预设数据库中获取所述目标标签信息对应的待处理数据，并在所述当前时间窗口对应的时间段内，根据所述目标规则信息对所述待处理数据进行数据分析，得到分析结果。2.根据权利要求1所述的方法，其特征在于，所述获取当前时间窗口对应的时间窗口信息，包括：从预设消息队列中，获取当前时间窗口；基于所述当前时间窗口，从所述预设数据库中获取所述当前时间窗口对应的时间窗口信息。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在定时任务启动后，按照预设时间间隔创建第一时间窗口，并将所述第一时间窗口对应的第一时间窗口信息写入所述预设数据库；从预设缓存区获取第二时间窗口信息，并利用所述第一时间窗口信息替换所述第二时间窗口信息存储至所述预设缓存区；将所述第二时间窗口写入所述预设消息队列；其中，所述第一时间窗口信息是根据定时任务最新创建的时间窗口信息，所述第二时间窗口信息是上一次使用中的时间窗口信息。4.根据权利要求1所述的方法，其特征在于，所述目标标签信息包括目标数据类型和目标窗口标识；所述从预设数据库中获取所述目标标签信息对应的待处理数据，包括：从所述预设数据库中，选取所述目标数据类型对应的目标数据表；从所述目标数据表中，选取所述目标窗口标识对应的所述待处理数据。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述方法还包括：接收待分析的初始数据；对所述初始数据进行数组转换，得到节点数组；从所述节点数组中获取数据类型，根据所述数据类型进行反序列化操作，得到至少一个数据表；其中，每一数据表中包括若干个中间数据；根据所述每一数据表对应的数据类型对所述至少一个数据表进行更新，确定至少一个候选数据表；其中，每一候选数据表包括所述若干个中间数据以及所述中间数据对应的窗口标识；将所述至少一个候选数据表存储至所述预设数据库。6.根据权利要求1所述的方法，其特征在于，所述目...
【专利技术属性】
技术研发人员：潘鹏，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。