一种日志采集方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种日志采集方法、装置、设备和存储介质。包括：获取各系统代理端所对应的采集样本数据，其中，采集样本数据中包含样本日志文件特征和采集策略；根据采集样本数据进行训练获取分类模型；通过分类模型获取新增代理端的目标采集策略，并采用目标采集策略对给新增代理端进行配置，以使新增代理端采用目标采集策略进行日志采集。通过各系统代理端所对应的采集样本数据进行训练获取分类模型，从而当有新增代理端时，可直接通过所分类模型所确定的目标采集策略为新增代理端直接进行配置，从而节省了人工配置所消耗的人力成本，并且显著提高了日志采集的效率。且显著提高了日志采集的效率。且显著提高了日志采集的效率。

【技术实现步骤摘要】
一种日志采集方法、装置、设备和存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种日志采集方法、装置、设备和存储介质。

技术介绍

[0002]在进行日志采集时通常会在系统设备上部署代理端agent，并采用agent将数据从源端投递到目的端，所采集的日志通常采用文件夹路径和日志文件名进行描述。
[0003]但是在实际日志采集工作中，部署在每个系统设备上的agent的日志采集策略都需要人工进行配置，然后按照所配置的采集策略进行日志的采集，因此如果每部署一台系统设备都需要人工对agent进行采集策略配置的的话，会消耗大量的人力和时间成本，并显著降低日志采集的效率。

技术实现思路

[0004]本专利技术提供了一种日志采集方法、装置、设备和存储介质，以实现对日志的采集。
[0005]根据本专利技术的第一方面，提供了一种日志采集方法，包括：获取各系统代理端所对应的采集样本数据，其中，所述采集样本数据中包含样本日志文件特征和采集策略；
[0006]根据所述采集样本数据进行训练获取分类模型；
[0007]通过所述分类模型获取新增代理端的目标采集策略，并采用所述目标采集策略对给所述新增代理端进行配置，以使所述新增代理端采用所述目标采集策略进行日志采集。
[0008]根据本专利技术的另一方面，提供了一种日志采集装置，包括：采集样本数据获取模块，用于获取各系统代理端所对应的采集样本数据，其中，所述采集样本数据中包含样本日志文件特征和采集策略；
[0009]分类模型训练模块，用于根据所述采集样本数据进行训练获取分类模型；
[0010]日志采集模块，用于通过所述分类模型获取新增代理端的目标采集策略，并采用所述目标采集策略对给所述新增代理端进行配置，以使所述新增代理端采用所述目标采集策略进行日志采集。
[0011]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0012]至少一个处理器；以及
[0013]与所述至少一个处理器通信连接的存储器；其中，
[0014]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的方法。
[0015]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的方法。
[0016]本专利技术实施例的技术方案，通过各系统代理端所对应的采集样本数据进行训练获
取分类模型，从而当有新增代理端时，可直接通过所分类模型所确定的目标采集策略为新增代理端直接进行配置，从而节省了人工配置所消耗的人力成本，并且显著提高了日志采集的效率。
[0017]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0018]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是根据本专利技术实施例一提供的一种日志采集方法流程图；
[0020]图2是根据本专利技术实施例二提供的一种日志采集方法流程图；
[0021]图3是根据本专利技术实施例三提供的一种日志采集装置结构示意图；
[0022]图4是实现本专利技术实施例四提供的电子设备的结构示意图。
具体实施方式
[0023]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0024]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0025]实施例一
[0026]图1为本专利技术实施例一提供了一种采集方法流程图，本实施例可适用于对日志进行采集的情况，该方法可以由日志采集装置来执行，该装置可以采用硬件和/或软件的形式实现。如图1所示，该方法包括：
[0027]步骤S101，获取各系统代理端所对应的采集样本数据。
[0028]可选的，获取各系统代理端所对应的采集样本数据，包括：获取各系统代理端所匹配的样本日志文件特征；根据配置指令对各代理端进行采集策略配置，并根据各代理端所配置的采集策略和样本日志文件特征获取采集样本数据。
[0029]可选的，获取各系统代理端所匹配的样本日志文件特征，包括：获取各系统代理端对原始日志文件的扫描结果，其中，扫描结果中包含描述符；将描述符中包含指定标识的原
始日志文件进行保留，获取样本日志文件；对样本日志文件进行特征提取获取样本日志文件特征。
[0030]具体的说，本实施方式中会在各系统上部署代理端agent,代理端agent主要用于系统的采集，是一个将数据从源端投递到目的端的程序。子各系统上部署完成代理端后，可以通过代理端扫描系统主机上处于开启状态的原始日志文件，并获取扫描结果，原始日志是各系统上已经产生的全部历史日志，本实施方式中并不对各系统上原始日志的具体数量进行限定。其中在扫描结果中包含描述符。本实施方式中的描述符主要由两部分构成，一是文件夹路径，一是日志文件名。例如，原始日志文件的描述符为：/data/sample/logs/access.2022121020.log，其中，/data/sample/logs/表示文件夹路径，access.2022121020.log表示日志文件名。通常日志文件是动态生成的，例如tomcat的业务日志，每小时都会滚动生成一个新的日志文件，因此日志文件名是基于指定规律滚动产生的，指定规律可以是时间戳，例如，access.2021110820.log、access.2021110821.log、access.2021110822.log，因此可以使用access.*.log的通配方法来匹配这一类的日志。当然，本实施方式中仅是举例说明，而并不对日志文件产生时所采用的指定规律进行限定。
[0031]其中，本实施方式中在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志采集方法，其特征在于，包括：获取各系统代理端所对应的采集样本数据，其中，所述采集样本数据中包含样本日志文件特征和采集策略；根据所述采集样本数据进行训练获取分类模型；通过所述分类模型获取新增代理端的目标采集策略，并采用所述目标采集策略对给所述新增代理端进行配置，以使所述新增代理端采用所述目标采集策略进行日志采集。2.根据权利要求1所述的方法，其特征在于，所述获取各系统代理端所对应的采集样本数据，包括：获取各系统代理端所匹配的样本日志文件特征；根据配置指令对各所述代理端进行采集策略配置，并根据各代理端所配置的采集策略和所述样本日志文件特征获取所述采集样本数据。3.根据权利要求2所述的方法，其特征在于，所述获取各系统代理端所匹配的样本日志文件特征，包括：获取各系统代理端对原始日志文件的扫描结果，其中，所述扫描结果中包含描述符；将所述描述符中包含指定标识的原始日志文件进行保留，获取样本日志文件；对所述样本日志文件进行特征提取获取所述样本日志文件特征。4.根据权利要求3所述的方法，其特征在于，所述对所述样本日志文件进行特征提取获取所述样本日志文件特征，包括：对各系统代理端所获取的样本日志文件进行文本特征提取获取第一描述特征，其中，所述第一描述特征包括文件全路径、文件大小、行数和词频特征；判断系统中是否存在日志文件管理工具，若是，则通过日志文件管理工具对所述样本日志文件进行路径提取获取第二描述特征，并将所述第一描述特征和所述第二描述特征作为所述样本日志文件特征，否则，直接将所述第一描述特征作为所述样本日志文件特征。5.根据权利要求1所述的方法，其特征在于，所述通过所述分类模型获取新增代理端的目标采集策略，包括：获取新增代理端所发送的...

【专利技术属性】
技术研发人员：饶琛琳，梁玫娟，
申请(专利权)人：北京优特捷信息技术有限公司，
类型：发明
国别省市：