数据日志解析系统和方法技术方案

描述了一种处理数据日志的方法、一种用于处理数据日志的系统、一种训练用于处理数据日志的系统的方法以及一种处理器。处理数据日志的方法可以包括从数据源接收数据日志，其中所述数据日志是以生成所述数据日志的机器所固有的格式接收的。所述方法还可以包括将所述数据日志提供给被训练成处理基于自然语言的输入的神经网络，用所述神经网络解析所述数据日志，以及从所述神经网络接收输出，其中响应于所述神经网络解析所述数据日志而生成所述输出。所述方法还可以包括将来自所述神经网络的所述输出存储在数据日志储存库中。所述输出存储在数据日志储存库中。所述输出存储在数据日志储存库中。

【技术实现步骤摘要】
数据日志解析系统和方法


[0001]本公开总体上涉及数据日志，并且尤其涉及解析已知或未知格式的数据日志。

技术介绍

[0002]数据日志最初是作为维护重要事件的历史信息的机制而开发的。作为示例，为了核实和审计的目的，需要记录银行交易。随着技术的发展和互联网的普及，数据日志变得更加普遍，并且由连接的装置生成的任何数据通常都存储在某种类型的数据日志中。
[0003]作为示例，为组织生成的网络安全日志可以包括由端点、网络装置和外围装置生成的数据。即使是小型组织也预期在日志流量中生成数百千兆字节的数据。即使是轻微的数据丢失也可能导致组织的安全漏洞。

技术实现思路

[0004]设计用于摄取数据日志的传统系统无法处理大多数组织中生成的当前数据量。此外，这些传统系统无法扩展以支持数据日志流量的显著增加，这通常会导致丢失或掉落数据。在网络安全日志的上下文中，任何数量的掉落或丢失的数据都可能导致安全风险。如今，组织收集、存储和尝试分析的数据比以往都多。数据日志在来源、格式和时间上是异构的。更复杂的是，数据日志的类型和格式在不断变化，这意味本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于处理数据日志的方法，所述方法包括：从数据源接收数据日志，其中所述数据日志以生成所述数据日志的机器所固有的格式接收；将所述数据日志提供给被训练成处理基于自然语言的输入的神经网络；用所述神经网络解析所述数据日志；接收来自所述神经网络的输出，其中来自所述神经网络的所述输出是响应于所述神经网络解析所述数据日志而生成的；以及将来自所述神经网络的所述输出存储在数据日志储存库中。2.根据权利要求1所述的方法，还包括：接收来自附加数据源的附加数据日志，其中所述附加数据源不同于所述数据源，并且其中所述附加数据日志以所述附加数据源固有的第二格式接收；向所述神经网络提供所述附加数据日志；用所述神经网络解析所述附加数据日志；接收来自所述神经网络的附加输出，其中来自所述神经网络的所述附加输出是响应于所述神经网络解析所述附加数据日志而生成的；以及将来自所述神经网络的所述附加输出存储在所述数据日志储存库中。3.根据权利要求2所述的方法，其中所述输出和所述附加输出以公共数据格式作为组合数据日志的一部分存储在所述数据日志储存库中。4.根据权利要求2所述的方法，其中所述附加数据日志作为数据流直接从所述附加数据源接收。5.根据权利要求2所述的方法，其中生成所述数据日志的所述机器包括第一类型的装置，其中所述附加数据源包括第二类型的装置，并且其中所述第一类型的装置和第二类型的装置属于公共网络基础设施。6.根据权利要求1所述的方法，其中生成所述数据日志的所述机器包括通信端点、网络装置、网络边界装置、安全装置和传感器中的至少一个。7.根据权利要求1所述的方法，其中所述数据日志包括从所述机器传送到另一机器的安全数据，并且其中所述神经网络包括自然语言处理(NLP)机器学习模型。8.根据权利要求1所述的方法，还包括：将所述数据日志划分成多个数据日志片段；以及将所述多个数据日志片段提供给所述神经网络，其中所述神经网络用包括日志片段的训练数据来训练，并且其中所述多个数据日志片段中的一个日志片段的大小不同于所述多个数据日志片段中的另一日志片段的大小。9.根据权利要求1所述的方法，还包括：分析所述数据日志储存库；基于所述数据日志储存库的所述分析，检测可动作数据事件；以及向通信装置提供警报，其中所述警报包括描述所述可动作数据事件的信息。10.根据权利要求1所述的方法，其中所述数据日志包括文件路径名、互联网协议(IP)地址、媒体访问控制(MAC)地址、时间戳、十六进制值、传感器读数、用户名、账户名、域名、超链接、主机系统元数据、连接持续时间、通信协议、通信端口和原始净荷中的至少一个。
11.根据权利要求1所述的方法，其中所述数据日志包括降级日志和不完整日志中的至少一个。12.一种用于处理数据日志的系统，包括：处理器；以及存储器，所述存储器与所述处理器耦合，其中所述存储器存储数据，当所述数据由所述处理器执行时使得所述处理器能够：从数据源接收数据日志，其中所述数据日志以生成所述数据日志的机器所固有的格式接收；用训练成处理基于自然语言的输入的神经网络解析所述数据日志；以及将来自所述神经网络的输出存储在数据日志储存库中，其中来自所述神经网络的所述输出是响应于所述神经网络解析所述数据日志而生成的。13.根据权利要求12所述的系统，其中存储在存储器中的所述数据还使得所述处理器能够在用所述神经网络解析所述数据日志之前标记所述数据日志。14.根据权利要求12所述的...

【专利技术属性】
技术研发人员：巴特利，
申请(专利权)人：辉达公司，
类型：发明
国别省市：