日志处理方法和日志处理装置制造方法及图纸

本公开提供了一种日志处理方法及日志处理装置。所述日志处理方法包括：监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用；当监控到所述第一系统调用时，复制所述第一系统调用的第一参数的参数值，其中所述第一参数用于向所述监控文件中写入日志内容；将所述第一参数的参数值从所述内核空间发送到所述操作系统的用户空间；在所述用户空间接收所述第一参数的参数值；以及在所述用户空间中将所述第一参数的参数值传递给至少一个应用程序。

Log processing method and log processing device

【技术实现步骤摘要】
日志处理方法和日志处理装置
本公开涉及一种日志处理方法和日志处理装置。
技术介绍
目前基于日志文件的信息采集系统(如：Filebeat等)在获取日志时，必须等待新增的日志内容写入磁盘后，才能从磁盘文件中读取到该内容。可见，现有技术中从日志内容的产生到日志内容被读取的过程包括了一次磁盘“写操作”和一次磁盘“读操作”。该一次磁盘“写操作”和一次磁盘“读操作”带来的时间延迟，导致日志的采集往往不能满足对文件内容监控的实时性要求较高的场景(例如，日志的实时监控、基于日志的故障报警、或文件内容的实时同步等)的需求。
技术实现思路
本公开的一个方面提供了一种可以实时采集日志新增内容的日志处理方法。该日志处理方法包括：监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用；当监控到所述第一系统调用时，复制所述第一系统调用的第一参数的参数值，其中所述第一参数用于向所述监控文件中写入日志内容；将所述第一参数的参数值从所述内核空间发送到所述操作系统的用户空间；在所述用户空间接收所述第一参数的参数值；以及在所述用户空间中将所述第一参数的参数值传递给至少一个应用程序。可选地，在所述监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用之前，还包括在所述用户空间中获取所述监控文件的存储路径信息；将所述监控文件的存储路径信息发送给所述内核空间；以及在所述内核空间中将所述监控文件的存储路径信息转换为所述监控文件在所述内核空间中的寻址信息，所述寻址信息用于指示所述操作系统在所述内核空间中定位所述监控文件。可选地，所述方法还包括：确定所述监控文件的存储路径信息的更新机制；基于所述更新机制在所述用户空间中实时更新所述监控文件的存储路径信息；将更新的所述监控文件的存储路径信息发送给所述内核空间；以及在所述内核空间中基于更新的所述监控文件的存储路径信息实时更新所述寻址信息。可选地，所述监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用，包括监控在所述内核空间中所述操作系统对所述监控文件执行打开操作的第二系统调用，在监控到所述第二系统调用时获取运行所述监控文件的进程信息以及所述监控文件的文件描述符，以及基于所述进程信息与所述文件描述符监控所述第一系统调用。可选地，所述监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用，还包括监控在所述内核空间中所述操作系统对所述监控文件执行关闭操作的第三系统调用，在监控到所述第三系统调用之后，若再次监控到所述第二系统调用，则重新获取运行所述监控文件的进程信息以及所述监控文件的文件描述符，以及基于所述重新获取的进程信息与文件描述符，监控所述第一系统调用。本公开的另一方面提供了一种日志处理装置。所述装置包括文件监控模块以及文件接收模块。所述文件监控模块设置于操作系统的内核空间。所述文件监控模块用于：监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用；当监控到所述第一系统调用时，复制所述第一系统调用的第一参数的参数值，其中所述第一参数用于向所述监控文件中写入日志内容；以及将所述第一参数的参数值从所述内核空间发送到所述操作系统的用户空间。所述文件内容接收模块设置于所述用户空间。所述文件内容接收模块用于在所述用户空间接收所述第一参数的参数值，以及在所述用户空间中将所述第一参数的参数值传递给至少一个应用程序。可选地，所述装置还包括文件注册模块。所述文件注册模块设置于所述用户空间。所述文件注册模块用于在所述用户空间中获取所述监控文件的存储路径信息，以及将所述存储路径信息发送给所述内核空间。所述文件监控模块还用于在所述内核空间中将所述监控文件的存储路径信息转换为所述监控文件在所述内核空间中的寻址信息，所述寻址信息用于指示所述操作系统在所述内核空间中定位所述监控文件。可选地，所述文件注册模块还用于确定所述监控文件的存储路径信息的更新机制，基于所述更新机制在所述用户空间中实时更新所述监控文件的存储路径信息，以及将更新的所述监控文件的存储路径信息发送给所述内核空间。所述文件监控模块还用于在所述内核空间中基于更新的所述监控文件的存储路径信息实时更新所述寻址信息。可选地，所述文件监控模块具体用于监控在所述内核空间中所述操作系统对所述监控文件执行打开操作的第二系统调用，在监控到所述第二系统调用时，获取运行所述监控文件的进程信息以及所述监控文件的文件描述符，以及基于所述进程信息与所述文件描述符，监控所述第一系统调用。可选地，所述文件监控模块具体还用于监控在所述内核空间中所述操作系统对所述监控文件执行关闭操作的第三系统调用，在监控到所述第三系统调用之后，若再次监控到所述第二系统调用，则再次重新运行所述监控文件的进程信息以及所述监控文件的文件描述符，以及基于所述重新获取的进程信息与文件描述符，监控所述第一系统调用。本公开的另一方面提供了一种计算机系统，包括一个或多个处理器以及一个或多个存储器。所述一个或多个存储器存储有计算机可执行指令。所述一个或多个处理器执行所述指令以实现如上所述的日志处理方法。本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的日志处理方法。本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的日志处理方法。附图说明为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：图1示意性示出了根据本公开实施例的日志处理装置的方框图；图2示意性示出了根据本公开实施例的日志处理装置的各模块在操作系统中的设置示意；图3示意性示出了根据本公开实施例的日志处理方法的流程图；图4示意性示出了根据本公开实施例的日志处理流程的示意图；图5示意性示出了根据本公开另一实施例的日志处理方法中注册监控文件的方法流程；图6示意性示出了根据本公开又一实施例的日志处理方法中注册监控文件的方法流程；图7示意性示出了根据本公开实施例的日志处理方法中监控对监控文件执行写操作的第一系统调用的实现流程；以及图8示意性示出了根据本公开实施例的适用于日志处理的计算机系统的框图。具体实施方式以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和本文档来自技高网...

【技术保护点】
1.一种日志处理方法，包括：监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用；当监控到所述第一系统调用时，复制所述第一系统调用的第一参数的参数值，其中所述第一参数用于向所述监控文件中写入日志内容；将所述第一参数的参数值从所述内核空间发送到所述操作系统的用户空间；在所述用户空间接收所述第一参数的参数值；以及在所述用户空间中将所述第一参数的参数值传递给至少一个应用程序。

【技术特征摘要】
1.一种日志处理方法，包括：监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用；当监控到所述第一系统调用时，复制所述第一系统调用的第一参数的参数值，其中所述第一参数用于向所述监控文件中写入日志内容；将所述第一参数的参数值从所述内核空间发送到所述操作系统的用户空间；在所述用户空间接收所述第一参数的参数值；以及在所述用户空间中将所述第一参数的参数值传递给至少一个应用程序。2.根据权利要求1所述的方法，其中，在所述监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用之前，还包括：在所述用户空间中获取所述监控文件的存储路径信息；将所述监控文件的存储路径信息发送给所述内核空间；以及在所述内核空间中将所述监控文件的存储路径信息转换为所述监控文件在所述内核空间中的寻址信息，所述寻址信息用于指示所述操作系统在所述内核空间中定位所述监控文件。3.根据权利要求2所述的方法，其中，所述方法还包括：确定所述监控文件的存储路径信息的更新机制；基于所述更新机制在所述用户空间中实时更新所述监控文件的存储路径信息；将更新的所述监控文件的存储路径信息发送给所述内核空间；以及在所述内核空间中基于更新的所述监控文件的存储路径信息实时更新所述寻址信息。4.根据权利要求1所述的方法，其中，所述监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用，包括：监控在所述内核空间中所述操作系统对所述监控文件执行打开操作的第二系统调用；在监控到所述第二系统调用时，获取运行所述监控文件的进程信息以及所述监控文件的文件描述符；以及基于所述进程信息与所述文件描述符，监控所述第一系统调用。5.根据权利要求4所述的方法，其中，所述监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用，还包括：监控在所述内核空间中所述操作系统对所述监控文件执行关闭操作的第三系统调用；在监控到所述第三系统调用之后，若再次监控到所述第二系统调用，则重新获取运行所述监控文件的进程信息以及所述监控文件的文件描述符；以及基于所述重新获取的进程信息与文件描述符，监控所述...

【专利技术属性】
技术研发人员：孙瑞琦，吴娟，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：北京,11