从日志中提取数据的方法、装置及计算机可读存储介质制造方法及图纸

本公开涉及人工智能技术领域，具体揭示了一种从日志中提取数据的方法及装置，包括：对所运行的系统进行日志更新监控；如果监控到日志更新，则通过神经网络模型进行所更新日志的识别，以确定所更新日志的日志类型；在配置文件中进行所述日志类型所对应数据提取信息查找，所述数据提取信息指示了从所述日志类型的日志中进行数据提取的数据项；根据所查找到的数据提取信息从所述所更新日志中提取所述数据项对应的数据。从而实现了实时地从运行的系统中提取需要的数据，效率高。

Method, Device and Computer Readable Storage Media for Data Extraction from Logs

The present disclosure relates to the field of artificial intelligence technology, and specifically discloses a method and device for extracting data from logs, including: monitoring log updates of running systems; identifying updated logs through a neural network model if they are monitored to update logs to determine the type of logs updated; and matching the log types described in configuration files. Data extraction information search, the data extraction information indicates the data item extracted from the log of the log type, and the corresponding data of the data item is extracted from the updated log according to the data extraction information found. So it can extract the required data from the running system in real time and has high efficiency.

【技术实现步骤摘要】
从日志中提取数据的方法、装置及计算机可读存储介质
本公开涉及人工智能
，特别涉及一种从日志中提取数据的方法、装置及计算机可读存储介质。
技术介绍
现有技术中，为了系统的运行状态，需要进行系统运行相关数据的收集，例如系统登录用户、用户登录时间、处理成功的请求、处理失败的请求、响应时间、处理失败原因等，从而对系统进行综合的统计分析，例如得到系统处理效率、用户偏好等。现有技术中为了获得与系统运行相关的数据，通过在系统的数据库表里面进行对应数据的查找，从而获得对应的数据。但是数据库表中保存的数据并不完整，一般出于数据库的冗余等考虑，数据库表里仅包括系统处理的最终结果等数据。所以，所收集的数据依赖于数据库表中存储的数据，如果数据库表中未保存对应需要收集的数据，则需要从其他途径来收集数据，数据获得的效率低，且获得的数据不完整。由上可知，如何有效获得与系统运行相关的数据的问题还有待解决。
技术实现思路
为了解决相关技术中存在的问题，本公开提供了一种从日志中提取数据的方法及装置。第一方面，一种从日志中提取数据的方法，包括：对所运行的系统进行日志更新监控；如果监控到日志更新，则通过神经网络模型进行所更新日志的识别，以确定所更新日志的日志类型；在配置文件中进行所述日志类型所对应数据提取信息查找，所述数据提取信息指示了从所述日志类型的日志中进行数据提取的数据项；根据所查找到的数据提取信息从所述所更新日志中提取所述数据项对应的数据。第二方面，一种从日志中提取数据的装置，包括：监控模块，被配置为：对所运行的系统进行日志更新监控；识别模块，被配置为：如果监控到日志更新，则通过神经网络模型进行所更新日志的识别，以确定所更新日志的日志类型；查找模块，被配置为：在配置文件中进行所述日志类型所对应数据提取信息查找，所述数据提取信息指示了从所述日志类型的日志中进行数据提取的数据项；提取模块，被配置为：根据所查找到的数据提取信息从所述所更新日志中提取所述数据项对应的数据。在一实施例中，所述识别模块包括：特征向量构建单元，被配置为：构建所更新日志的特征向量；分类预测单元，被配置为：对所述特征向量进行分类预测，得到所述所更新日志对应的类型标签；日志类型确定单元，被配置为：根据所述类型标签确定所述所更新日志的日志类型。在一实施例中，所述从日志中提取数据的装置还包括：样本日志获取模块，被配置为：获取若干样本日志，以及获取对每一所述样本日志所标注的样本标签；训练模块，被配置为：通过所述若干样本日志和所对应的类型标签进行所述神经网络模型的训练；训练结束模块，被配置为：当所述神经网络模型收敛，结束所述神经网络模型的训练。在一实施例中，所述从日志中提取数据的装置还包括：模板日志获取模块，被配置为:获取与待进行数据提取的日志所对应日志类型相同的模板日志；数据提取信息生成模块，被配置为：在所述模板日志中，以为所述数据项所配置的变量替换所述数据项所对应的数据，并根据替换后的所述模板日志配置得到所述日志类型所对应的数据提取信息；配置文件生成模块，被配置为：由每一所述日志类型所对应的数据提取信息构成所述配置文件。在一实施例中，所述从日志中提取数据的装置还包括：数据表查找模块，被配置为：进行所述日志类型所对应数据表的查找；数据写入模块，被配置为：将所提取的所述数据写入所述数据表，以进行所述数据的存储。在一实施例中，所述数据写入模块包括：数据字段定位单元，被配置为：在所述数据表中进行所述数据项所关联数据字段的定位；写入单元，被配置为：将所述数据项所对应的数据写入为所述数据字段配置的表单元中。按照本公开的方法，通过日志更新监控、所更新日志的日志类型的识别、日志类型定义的数据提取信息的查找、根据数据提取信息从所更新的日志中提取对应的数据，从而实现了从日志中提取得到与系统运行相关的数据，实现了实时地收集系统运行的数据，而且保证了数据的完整性。而且采用深度学习的方式对日志类型进行识别，提高了识别效率和识别准确率，保证了数据提取的效率和实时性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并于说明书一起用于解释本专利技术的原理。图1是根据一示例性实施例示出的一种服务器的框图；图2是根据一示例性实施例示出的一种从日志中提取数据的方法的流程图；图3是图2对应实施例的步骤S130的流程图；图4是图2对应实施例的步骤S130之前步骤的流程图；图5是图2对应实施例的步骤S150之前步骤的流程图；图6是图2对应实施例的步骤S170之后步骤的流程图；图7是图6对应实施例的步骤S430的流程图；图8是根据一示例性实施例示出的一种从日志中提取数据的装置的框图；图9是根据另一示例性实施例示出的一种从日志中提取数据的装置的框图。通过上述附图，已示出本专利技术明确的实施例，后文中将有更详细的描述，这些附图和文字描述并不是为了通过任何方式限制本专利技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本专利技术的概念。具体实施方式这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。图1是根据一示例性实施例示出的一种服务器的框图。具有此硬件结构的服务器可用于执行本公开的从日志中提取数据的方法，其中系统运行于服务器中，从而为系统的各个终端提供服务，从而在系统运行过程中产生日志，而服务器可以根据所产生的日志按照本公开的方法进行数据提取。当然，本公开从日志中提取数据的方法的执行主体并不限于图1所示的服务器中，本公开方法的执行主体还可以是具备逻辑运算处理能力的设备，例如台式电脑、笔记本电脑、由多个服务器构成的服务器集群、云端服务器等，在此不进行具体限定。需要说明的是，该服务器只是一个适配于本公开的示例，不能认为是提供了对本公开使用范围的任何限制。该服务器也不能解释为需要依赖于或者必须具有图2中示出的示例性的服务器200中的一个或者多个组件。该服务器的硬件结构可因配置或者性能的不同而产生较大的差异，如图2所示，服务器200包括：电源210、接口230、至少一存储器250、以及至少一中央处理器(CPU,CentralProcessingUnits)270。其中，电源210用于为服务器200上的各硬件设备提供工作电压。接口230包括至少一有线或无线网络接口231、至少一串并转换接口233、至少一输入输出接口235以及至少一USB接口237等，用于与外部设备通信，例如与终端100进行数据传输。存储器250作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统251、应用程序253及数据255等，存储方式可以是短暂存储或者永久存储。其中，操作系统251用于管理与控制服务器200上的各硬件设备以及应用程序253，以实现中央处理器270对海量数据255的计算与处理，其可以是WindowsServerTM、MacOSXTM、UnixTM、Li本文档来自技高网...

【技术保护点】
1.一种从日志中提取数据的方法，其特征在于，包括：对所运行的系统进行日志更新监控；如果监控到日志更新，则通过神经网络模型进行所更新日志的识别，以确定所更新日志的日志类型；在配置文件中进行所述日志类型所对应数据提取信息查找，所述数据提取信息指示了从所述日志类型的日志中进行数据提取的数据项；根据所查找到的数据提取信息从所述所更新日志中提取所述数据项对应的数据。

【技术特征摘要】
1.一种从日志中提取数据的方法，其特征在于，包括：对所运行的系统进行日志更新监控；如果监控到日志更新，则通过神经网络模型进行所更新日志的识别，以确定所更新日志的日志类型；在配置文件中进行所述日志类型所对应数据提取信息查找，所述数据提取信息指示了从所述日志类型的日志中进行数据提取的数据项；根据所查找到的数据提取信息从所述所更新日志中提取所述数据项对应的数据。2.根据权利要求1所述的方法，其特征在于，所述通过神经网络模型进行所更新日志的识别，以确定所更新日志的日志类型，包括：构建所更新日志的特征向量；对所述特征向量进行分类预测，得到所述所更新日志对应的类型标签；根据所述类型标签确定所述所更新日志的日志类型。3.根据权利要求1所述的方法，其特征在于，所述通过神经网络模型进行所更新日志的识别，以确定所更新日志的日志类型之前，还包括：获取若干样本日志，以及获取对每一所述样本日志所标注的样本标签；通过所述若干样本日志和所对应的类型标签进行所述神经网络模型的训练；当所述神经网络模型收敛，结束所述神经网络模型的训练。4.根据权利要求1所述的方法，其特征在于，所述在配置文件中进行所述日志类型所对应数据提取信息查找之前，还包括：获取与待进行数据提取的日志所对应日志类型相同的模板日志；在所述模板日志中，以为所述数据项所配置的变量替换所述数据项所对应的数据，并根据替换后的所述模板日志配置得到所述日志类型所对应的数据提取信息；由每一所述日志类型所对应的数据提取信息构成所述配置文件。5.根据权利要求1所述的方法，其特征在于，所述根据所查找到的数据提取信息从所述所...

【专利技术属性】
技术研发人员：陈珍妮，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44