日志文件的生成方法和装置、计算机设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种日志文件的生成方法和装置、计算机设备和存储介质。所述方法包括：在通过网卡的数据流中，复制满足流量过滤规则的第一数据流；根据复制的第一数据流的协议类型，选择匹配的数据解析插件；使用数据解析插件，解析第一数据流，生成与协议类型对应的解析数据；按照设定日志生成格式，使用解析数据生成对应的日志文件。本发明专利技术实施例的技术方案解决了现有技术中各系统以及各程序的日志文件格式不统一，难以对日志文件进行统一处理的技术缺陷，实现了统一各协议类型或各应用程序的数据流对应的日志文件的格式，以便统一进行日志数据的截取和数据分析等操作，同时，基于旁路获取数据流，不影响相应系统或应用程序的正常运行。

Method and device for generating log file, computer equipment and storage medium

The embodiment of the invention discloses a method and device for generating log files, a computer device and a storage medium. The method includes: the data flow through the network card, the first copy the data filtering rules to meet the traffic flow; according to the first data stream replication protocol type, selection of data analysis, data analysis using plug-in; plug-in, the analytical data flow analysis, data generation and corresponding protocol types; log format is generated according to the set the use of analytical data, generate the corresponding log file. The technical proposal of the invention solves the problem of the system and the program log file format is not unified, difficult technical defects of unified processing of log files, the realization of the unity of the protocol type or application programs corresponding to the data flow of the log file format, so that the unity of the log data operation, interception and data analysis and data acquisition based on bypass flow, without affecting the normal operation of the system or application program.

【技术实现步骤摘要】
日志文件的生成方法和装置、计算机设备和存储介质
本专利技术实施例涉及日志数据处理
，尤其涉及一种日志文件的生成方法和装置、计算机设备和存储介质。
技术介绍
日志文件是用于记录系统操作事件的记录文件或文件集合，可分为事件日志和消息日志，具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用，因此，日志文件对于任何系统来说都是非常重要的文件，对改善服务和优化服务意义重大随着互联网日新月异的发展，互联网的业务也越来越多元化，多元化的业务一般会由多个子系统共同完成。一般情况下，各个子系统都是各自记录各自的日志文件，由于各个子系统有可能采用不同的框架，因此，各个子系统的日志文件的格式可能是千差万别的。由于各个子系统的日志文件格式不统一，导致日志文件整体管理困难，难以实现归一化的处理。
技术实现思路
有鉴于此，本专利技术实施例提供了一种日志文件的生成方法和装置、计算机设备和存储介质，以解决现有技术中各系统以及各程序的日志文件格式不统一，难以对日志文件进行统一处理的技术缺陷。在第一方面，本专利技术实施例提供了一种日志文件的生成方法，包括：在通过复制网卡的数据流中，复制满足流量过滤规则的第一数据流；根据复制的所述第一数据流的协议类型，选择匹配的数据解析插件，其中，所述数据解析插件用于对所述第一数据流进行解析；使用所述数据解析插件，解析所述第一数据流，生成与所述协议类型对应的解析数据；按照设定日志生成格式，使用所述解析数据生成对应的日志文件。在第二方面，本专利技术实施例提供了一种日志文件的生成装置，包括：数据流复制模块，用于在通过网卡的数据流中，复制满足流量过滤规则的第一数据流；解析插件获取模块，用于根据复制的所述第一数据流的协议类型，选择匹配的数据解析插件，其中，所述数据解析插件用于对所述第一数据流进行解析；数据流解析模块，用于使用所述数据解析插件，解析所述第一数据流，生成与所述协议类型对应的解析数据；日志生成模块，用于按照设定日志生成格式，使用所述解析数据生成对应的日志文件。在第三方面，本专利技术实施例提供了一种设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例所述的日志文件的生成方法。在第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术实施例所述的日志文件的生成方法。本专利技术实施例提供了一种日志文件的生成方法和装置、计算机设备和存储介质，通过先在通过网卡的数据流中，复制满足流量过滤规则的第一数据流，然后根据复制的第一数据流的协议类型，选择匹配的数据解析插件，再使用数据解析插件，解析第一数据流，生成与协议类型对应的解析数据，最后按照设定日志生成格式，使用解析数据生成对应的日志文件，解决了现有技术中各系统以及各程序的日志文件格式不统一，难以对日志文件进行统一处理的技术缺陷，实现了统一各协议类型或各应用程序的数据流对应的日志文件的格式，以便统一进行日志数据的截取和数据分析等操作，同时，基于旁路获取数据流，不影响相应系统或应用程序的正常运行。附图说明图1是本专利技术实施例一提供的一种日志文件的生成方法的流程图；图2是本专利技术实施例二提供的一种日志文件的生成方法的流程图；图3是本专利技术实施例三提供的一种日志文件的生成方法的流程图；图4是本专利技术实施例四提供的一种日志文件的生成装置的结构图；图5是本专利技术实施例五提供的一种设备的结构图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图对本专利技术具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。实施例一图1为本专利技术实施例一提供的一种日志文件的生成方法的流程图，本实施例的方法可以由日志文件的存储装置来执行，该装置可通过硬件和/或软件的方式实现，并一般可集成于计算机或服务器中。本实施例的方法具体包括：110、在通过复制网卡的数据流中，复制满足流量过滤规则的第一数据流。在本实施例中，获取第一数据流的方式是直接从网卡中进行复制，因此不影响与第一数据流对应的应用程序的正常运行，并且，当与第一数据流对应的应用程序出现问题时，也可以正常记录该应用程序的日志数据，具体而言，可以基于原始套接字，也可以基于libpcap或者winpcap从网卡中复制第一数据流。在本实施例中，流量过滤规则具体是指所需复制的第一数据流应满足的条件，典型的可以是：IP协议数据流、TCP协议的数据流、TCP协议80端口的数据流、相对于TCP头部偏移为2个字节且数据为0X504F5354的数据流或自定义协议的数据流等流量过滤规则。120、根据复制的第一数据流的协议类型，选择匹配的数据解析插件。在本实施例中，在复制满足流量过滤规则的第一数据流之后，根据复制的第一数据流的协议类型，选取匹配的数据解析插件解析复制的第一数据流。其中，数据解析插件具体是指可以用来对与复制的第一数据流的协议类型一致的数据进行解析的数据解析插件。进一步地，在本实施例中，可以是在设定存储空间中已存储了一定数量的数据解析插件，如果该存储空间中已存储了与复制的第一数据流的协议类型匹配的数据解析插件，则可以直接调用该数据解析插件；如果该存储空间中没有存储与复制的第一数据流的协议类型匹配的数据解析插件，则可以从服务器中下载所需数据解析插件，另外，当复制的第一数据流的协议类型为自定义协议时，首先需要生成与自定义协议匹配的数据解析插件，然后可将生成的数据解析插件存储在设定存储空间中。130、使用数据解析插件，解析第一数据流，生成与协议类型对应的解析数据。在本实施例中，在选取与复制的第一数据流的协议类型匹配的数据解析插件之后，即可使用该数据解析插件对复制的第一数据流中的数据进行解析，进而得到与协议类型对应的解析数据。本领域技术人员可以理解的是，数据流中的数据的各个字段具有不同的数据含义，其中，只有某些字段的数据有必要用来进行相应的日志记录，因此，在本实施例中，对复制的第一数据流的数据可以不全部进行解析，而只对与日志记录相关的字段以及其他所需字段进行解析，这样可以大幅度地减小计算量，节省数据解析时间。140、按照设定日志生成格式，使用解析数据生成对应的日志文件。在本实施例中，设定日志生成格式具体是指日志所包含的解析数据以及解析数据的记录方式等方面的内容。一般来说，对应不同协议类型的解析数据所需的日志文件格式不尽相同，因此，在本实施例中，可以依据复制的第一数据流的协议类型确定对应的日志生成格式，当然，也可以只使用一种日志生成格式对应所有的协议类型，本实施例对此不进行限制。进一步地，由于同一协议类型的数据可能会对应于本文档来自技高网...

【技术保护点】
一种日志文件的生成方法，其特征在于，包括：在通过网卡的数据流中，复制满足流量过滤规则的第一数据流；根据复制的所述第一数据流的协议类型，选择匹配的数据解析插件，其中，所述数据解析插件用于对所述第一数据流进行解析；使用所述数据解析插件，解析所述第一数据流，生成与所述协议类型对应的解析数据；按照设定日志生成格式，使用所述解析数据生成对应的日志文件。

【技术特征摘要】
1.一种日志文件的生成方法，其特征在于，包括：在通过网卡的数据流中，复制满足流量过滤规则的第一数据流；根据复制的所述第一数据流的协议类型，选择匹配的数据解析插件，其中，所述数据解析插件用于对所述第一数据流进行解析；使用所述数据解析插件，解析所述第一数据流，生成与所述协议类型对应的解析数据；按照设定日志生成格式，使用所述解析数据生成对应的日志文件。2.根据权利要求1所述的方法，其特征在于，所述流量过滤规则包括下述至少一项：协议类型过滤规则，端口号过滤规则，以及设定协议类型中设定字段位置过滤规则。3.根据权利要求1所述的方法，其特征在于，所述按照设定日志生成格式，使用所述解析数据生成对应的日志文件，包括：对所述解析数据按照应用程序进行分组；按照设定日志生成格式，使用分组后的解析数据生成与所述应用程序对应的日志文件。4.根据权利要求3所述的方法，其特征在于，所述对所述解析数据按照应用程序进行分组，包括：如果所述第一数据流确定的目标应用程序唯一，则将与所述第一数据流对应的解析数据分为一组；如果所述第一数据流确定的目标应用程序不唯一，则在与所述第一数据流对应的解析数据中，选取与所述目标应用程序的数据格式相匹配的解析数据分为一组；所述按照设定日志生成格式，使用分组后的解析数据生成与所述应用程序对应的日志文件，包括：按照设定日志生成格式，使用分组后的解析数据生成与所述目标应用程序对应的日志文件。5.根据权利要求1所述的方法，其特征在于，所述按照设定日志生成格式，使用所述解析数据生成对应的日志文件，包括：根据所述日志生成格式确定所述解析数据中的待记录数据，以及所述待记录数据的记录方式；根据所述记录方式，使用所述待记...

【专利技术属性】
技术研发人员：邵军义，李晓东，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11