一种日志格式的转换方法技术

本发明专利技术公开了一种日志格式的转换方法，包括以下步骤：步骤S01：日志收集，步骤S02：日志传输，步骤S03：格式转换，步骤S04：合并处理，步骤S05：文件传输。本发明专利技术的有益效果是：本发明专利技术通过日志收集、日志传输传输、格式转换和合并处理等关键步骤，提供了对客户不同格式的日志进行统一处理的一种技术手段；能够在nginx服务器服务不同客户时，保证日志格式的统一通用性，同时提高生成的日志采用的ftp进行传输的安全可靠性。安全可靠性。安全可靠性。

【技术实现步骤摘要】
一种日志格式的转换方法


[0001]本专利技术涉及日志处理
，具体为一种日志格式的转换方法。

技术介绍

[0002]现有的技术，一般是根据不同客户的定制需求配置nginx服务器日志格式，生成后的日志文件通过ftp协议传输到数据中心，然后对每个客户的日志进行处理。但是在nginx服务器服务不同客户时，就不能保证日志格式的统一通用性，还有生成的日志采用的ftp进行传输，传输过程也不够安全可靠，有待进一步开发改进。

技术实现思路

[0003]本专利技术的目的就在于为了解决现有nginx服务器服务不同客户时，不能保证日志格式的统一通用性，还有生成的日志采用的ftp进行传输，传输过程也不够安全可靠的问题而提供一种日志格式的转换方法。
[0004]本专利技术通过以下技术方案来实现上述目的：一种日志格式的转换方法，包括以下步骤：
[0005]步骤S01：日志收集，按60字段通用格式对原始日志进行收集；
[0006]步骤S02：日志传输，采用自定义传输协议进行加密传输；
[0007]步骤S03：格式转换，将60字段的日志截取重组成24、36或者48字段格式中的一种；
[0008]步骤S04：合并处理，将转换后的日志文件按时间、大小以及内容进行合并处理；
[0009]步骤S05：文件传输，将步骤S04中处理好的日志文件发送到客户指定中心机供客户访问下载。
[0010]进一步的，所述步骤S01中将nginx配置日志生成格式为60字段通用格式，收集访问日志填充至60字段，该通用格式已经可以覆盖绝大多数客户的定制日志需求。
[0011]进一步的，所述步骤S02中采用自定义传输协议，基于TCP协议，加入特殊的包头进行数据来源验证，能实现秒级数据传输，保证了数据传输的安全可靠性。
[0012]进一步的，所述步骤S03中日志字段的切割和重组，通常访问日志由包含不同访问信息的字段组成，字段间使用空格或者制表符进行分隔，日志字段的切割就是按分隔符将每个字段中有用到的关键信息截取出来，保存在内存中。
[0013]进一步的，所述步骤S04中然后根据客户定制需求重组，生成新的日志文件打包保存到指定目录。
[0014]进一步的，所述步骤S05中每隔一段时间就要对处理后的文件进行合并，然后转移到设定的发送目录，发送到客户指定的中心机上。
[0015]与现有技术相比，本专利技术的有益效果是：本专利技术通过日志收集、日志传输传输、格式转换和合并处理等关键步骤，提供了对客户不同格式的日志进行统一处理的一种技术手段；能够在nginx服务器服务不同客户时，保证日志格式的统一通用性，同时提高生成的日志采用的ftp进行传输的安全可靠性。
附图说明
[0016]图1为本专利技术的模块框图；
[0017]图2为本专利技术的转换方法流程图。
具体实施方式
[0018]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0019]实施例一：
[0020]结合图1至图2所示的一种日志格式的转换方法，包括以下步骤：
[0021]步骤S01：日志收集，按60字段通用格式对原始日志进行收集；
[0022]步骤S02：日志传输，采用自定义传输协议进行加密传输；
[0023]步骤S03：格式转换，将60字段的日志截取重组成24、36或者48字段格式中的一种；
[0024]步骤S04：合并处理，将转换后的日志文件按时间、大小以及内容进行合并处理；
[0025]步骤S05：文件传输，将步骤S04中处理好的日志文件发送到客户指定中心机供客户访问下载。
[0026]所述步骤S01中将nginx配置日志生成格式为60字段通用格式，收集访问日志填充至60字段；所述步骤S02中采用自定义传输协议，基于TCP协议，加入特殊的包头进行数据来源验证；所述步骤S03中日志字段的切割和重组，通常访问日志由包含不同访问信息的字段组成，字段间使用空格或者制表符进行分隔，日志字段的切割就是按分隔符将每个字段中有用到的关键信息截取出来，保存在内存中；所述步骤S04中然后根据客户定制需求重组，生成新的日志文件打包保存到指定目录；所述步骤S05中每隔一段时间就要对处理后的文件进行合并，然后转移到设定的发送目录，发送到客户指定的中心机上。
[0027]实施例二：
[0028]请参阅图1
‑
2，在实施案例一的基础上，本专利技术提供一种技术方案：一种日志格式的转换方法，包括以下步骤：
[0029]1、日志收集模块，通过60字段格式要求进行原始日志收集；
[0030]2、日志传输模块，通过自定义传输协议向日志处理服务器发送日志文件；
[0031]3、日志转换模块，将通用60字段格式日志进行字段截取重组生成客户定制格式日志；
[0032]4、合并处理模块，将转换后的日志文件合并打包发送处理。
[0033]实施例三：
[0034]请参阅图1
‑
2，在实施案例一和实施例二的基础上，本专利技术提供一种技术方案：一种日志格式的转换方法，包括以下步骤：
[0035]步骤1、nginx配置access_log日志文件生成格式为通用60字段格式；
[0036]步骤2、收集实时产生的60字段通用日志格式文件；
[0037]步骤3、nginx产生的实时日志文件通过自定义传输协议，向日志处理服务器定时发送；
[0038]步骤4、日志处理服务器判断日志处理的间隔时间是否到达，如果未到达设定时间则继续执行步骤3，反之执行步骤5；
[0039]步骤5、日志转换模块，按客户定制格式进行转换；
[0040]步骤6、日志合并处理转移到日志发送目录；
[0041]步骤7、最后，定时发送客户日志到指定机器。
[0042]工作原理：nginx配置日志生成格式为60字段通用格式，收集访问日志填充至60字段；日志传输模块将收集到的日志文件从nginx服务器发送到日志处理服务器的原始日志目录；日志转换模块，根据配置的客户日志生成间隔时间，判断处理日志的时间点是否到达，时间点到，首先根据日志的来源锁定目标客户，然后解析通用格式日志文件按不同客户的定制需求进行转换；该合并处理模块，按日志生成时间、大小或文件内容对日志文件进行合并打包放到对应发送目录；将发送目录下的客户日志文件发送到客户指定中心机供客户访问下载。
[0043]对于本领域技术人员而言，显然本专利技术不限于上述示范性实施例的细节，而且在不背离本专利技术的精神或基本特征的情况下，能够以其他的具体形式实现本专利技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本专利技术的范围由所附权利要求而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志格式的转换方法，其特征在于包括以下步骤：步骤S01：日志收集，按60字段通用格式对原始日志进行收集；步骤S02：日志传输，采用自定义传输协议进行加密传输；步骤S03：格式转换，将60字段的日志截取重组成24、36或者48字段格式中的一种；步骤S04：合并处理，将转换后的日志文件按时间、大小以及内容进行合并处理；步骤S05：文件传输，将步骤S04中处理好的日志文件发送到客户指定中心机供客户访问下载。2.根据权利要求1所述的一种日志格式的转换方法，其特征在于:所述步骤S01中将nginx配置日志生成格式为60字段通用格式，收集访问日志填充至60字段。3.根据权利要求1所述的一种日志格式的转换方法，其特征在于:所述步骤S02中...

【专利技术属性】
技术研发人员：李勇刚，
申请(专利权)人：江苏翌旭网络科技有限公司，
类型：发明
国别省市：