基于日志文件的监控方法、系统、设备及可读存储介质技术方案

本发明专利技术公开了一种基于日志文件的监控方法，所述方法包括：实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中；依次从所述消息队列中拉取符合目标字段的目标日志文件，并提取所述目标日志文件中的内容字段；将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的目标日志文件，得到目标日志文件集；根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果。本发明专利技术还公开了一种基于日志文件的监控系统、设备及可读存储介质。本发明专利技术实施例可以对终端集群进行灵活监控。

Monitoring method, system, device and readable storage medium based on log file

【技术实现步骤摘要】
基于日志文件的监控方法、系统、设备及可读存储介质
本专利技术涉及日志监控
，尤其涉及一种基于日志文件的监控方法、系统、设备及可读存储介质。
技术介绍
随着计算机技术的成熟，运行于智能设备的应用程序虽然越来越完善，但是实际运行过程中又难免会出现执行错误的情况。因此，开发人员通常需要通过日志系统，记录应用程序的运行状态及操作内容，以便人员查看、作为调试设备的依据。日志记录应用程序的各种运行状态和操作信息，生成日志文件。但是在应用程序运行过程中出现问题时，往往需要很长时间才能从日志文件中寻找到问题产生原因，所以会增加一个对日志文件的进行监控的监控系统，良好的监控系统可以在应用程序出现问题是根据日志文件准确寻找到问题，并进行实时报警，提醒开发人员。现有技术中监控系统是基于主机层面进行监控，也就是将监控程序要直接植入被监控的终端中，然后由监控程序执行对于该终端的日志文件进行监控并返回结果数据；另外，如果被监控的对象为包括多个终端的集群时，则需要依次对集群中的每一个终端执行监控，而且，当需要对监控程序的监控规则进行调整时，则需要逐个更新每一个终端上的监控程序。因此，现有的监控方式不便于自助化配置，而且在实际应用中维护难度大。
技术实现思路
本专利技术提出一种基于日志文件的监控方法、系统、设备及可读存储介质，能够解决现有技术中日志监控不能灵活设置，效率低的问题。为实现上述目的，本专利技术提供了一种基于日志文件的监控方法，所述方法包括：实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中；依次从所述消息队列中拉取符合目标字段的目标日志文件，并提取所述目标日志文件中的内容字段；将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的目标日志文件，得到目标日志文件集；根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果。进一步地，所述实时采集目标终端集群中每一个终端的日志文件数据并存储到消息队列中之前，包括：控制监控程序根据预先设置的数据采集规则收集每一个所述终端上应用程序产生的日志文件，所述数据采集规则包括实时采集规则；将所述日志文件存储于所述目标终端集群中的每一个终端中。进一步地，所述实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中包括：向所述监控程序发送日志采集指令，以控制所述监控程序根据所述日志采集指令获取每一个所述终端上的日志文件；将采集到的所述日志文件存储到预设的消息队列中。进一步地，所述根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果包括：获取所述目标日志文件集中的相同日志文件名称的日志文件；求和计算所述相同日志文件名称的日志文件的出现次数；若所述日志文件的出现次数满足预先设置的监听规则，生成日志文件对应的终端的监控结果。进一步地，所述将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的目标日志文件，得到目标日志文件集包括：基于预设的正则表达式对每一个所述目标日志文件的内容字段进行模糊匹配，以提取候选字段；通过敏感信息识别规则对所述候选字段进行识别，筛选出匹配的候选字段对应的目标日志文件，得到目标日志文件集，所述预设的监控规则包括所述预设的正则表达式与所述敏感信息识别规则。进一步地，所述根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果之后，还包括：将所述分析结果存储于时序数据库中；通过所述时序数据库将所述分析结果生成报表发送给所述目标用户进行查看。进一步地，所述根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果之后，还包括：从配置管理中心获取目标用户的消息渠道；将所述监控结果通过所述消息渠道发送给所述目标用户进行查看。为实现上述目的，本专利技术提供了一种基于日志文件的监控系统，所述系统包括：采集模块，用于实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中；提取模块，用于依次从所述消息队列中拉取符合目标字段日志文件，并提取所述日志文件中的内容字段；匹配模块，用于将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的日志文件，得到目标日志文件集；分析模块，用于根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果。为实现上述目的，本专利技术提供了一种计算机设备，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的基于日志文件的监控方法的步骤。为实现上述目的，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的基于日志文件的监控方法的步骤。相较于现有技术，本专利技术所提出的基于日志文件的监控方法、系统、设备及可读存储介质，可以对终端集群的日志文件进行采集，将日志文件存储于消息队列中进行分流处理，再对消息队列中的日志文件进行筛选，筛选包括日志文件的内容字段的匹配以及预设监听规则对目标日志文件的分析，以通过对日志文件的分析进而实现对终端的监控；通过消息队列对终端集群的日志文件进行存储再通过分布式计算框架对目标日志进行处理，提高了日志文件监控的效率，可以对大数据级别的日志文件将那些监控。附图说明图1为本专利技术基于日志文件的监控方法实施例一的流程图。图2为本专利技术基于日志文件的监控系统实施例二的程序模块示意图。图3为本专利技术计算机设备实施例三的硬件结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在本专利技术中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。实施例一参阅图1，示出了本专利技术实施例一之基于日志文件的监控方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备2为执行主体进行示例性描述。具体如下。步骤S100，实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中。具体地，通过日志采集客户端收集多个终端的日志文件，收集的日志文件包括每个终端的终端名称、日志文件路径与日本文档来自技高网...

【技术保护点】
1.一种基于日志文件的监控方法，其特征在于，所述方法包括：/n实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中；/n依次从所述消息队列中拉取符合目标字段的目标日志文件，并提取所述目标日志文件中的内容字段；/n将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的目标日志文件，得到目标日志文件集；/n根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果。/n

【技术特征摘要】
1.一种基于日志文件的监控方法，其特征在于，所述方法包括：
实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中；
依次从所述消息队列中拉取符合目标字段的目标日志文件，并提取所述目标日志文件中的内容字段；
将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的目标日志文件，得到目标日志文件集；
根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果。


2.如权利要求1所述的基于日志文件的监控方法，其特征在于，所述实时采集目标终端集群中每一个终端的日志文件数据并存储到消息队列中之前，包括：
控制监控程序根据预先设置的数据采集规则收集每一个所述终端上应用程序产生的日志文件，所述数据采集规则包括实时采集规则；
将所述日志文件存储于所述目标终端集群中的每一个终端中。


3.如权利要求2所述的基于日志文件的监控方法，其特征在于，所述实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中包括：
向所述监控程序发送日志采集指令，以控制所述监控程序根据所述日志采集指令获取每一个所述终端上的日志文件；
将采集到的所述日志文件存储到预设的消息队列中。


4.如权利要求1所述的基于日志文件的监控方法，其特征在于，所述将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的目标日志文件，得到目标日志文件集包括：
基于预设的正则表达式对每一个所述目标日志文件的内容字段进行模糊匹配，以提取候选字段；
通过敏感信息识别规则对所述候选字段进行识别，筛选出匹配的候选字段对应的目标日志文件，得到目标日志文件集，所述预设的监控规则包括所述预设的正则表达式与所述敏感信息识别规则。


5.如权利要求1所述的基于日志文件的监控方法，其特征在于，所述根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果包括：
获取所述目标...

【专利技术属性】
技术研发人员：许佳兴，黄河，叶奇，
申请(专利权)人：平安壹钱包电子商务有限公司，
类型：发明
国别省市：广东;44