一种基于Nginx日志行为采集和跟踪的方法及装置制造方法及图纸

本发明专利技术涉及大数据的技术领域，更具体地说，它涉及一种基于Nginx日志行为采集和跟踪的方法及装置，其方法主要包括：生成用户唯一码；修改Nginx的配置文件；定期扫描和采集Nginx的分片日志记录；生成实体类记录列表，然后对所述分片日志记录进行清洗，以在所述实体类记录列表中记录所需信息；通过Java反射获取实体类中变量名，生成Mysql数据库结构字段，然后将所述实体类记录列表的数据导入Mysql数据库持久化；生成配置表和核心报表，并对核心报表进行展示。本发明专利技术具有简单集成、高定制化和侵入性低的优点。侵入性低的优点。侵入性低的优点。

【技术实现步骤摘要】
一种基于Nginx日志行为采集和跟踪的方法及装置


[0001]本专利技术涉及大数据的
，更具体地说，它涉及一种基于Nginx日志行为采集和跟踪的方法及装置。

技术介绍

[0002]行为采集和跟踪，是指根据用户的操作采集用户的行为，进行用户各个行为的一系列跟踪，涉及到大量数据的采集和分析。能很好的根据用户行为和跟踪做用户分析，根据分析结果进行产品优化或集成到推荐系统里面。比如现在的友盟、growingio等统计平台。但是这些平台多为针对使用端进行采集，并与UI控件绑定在一起，移动端和前端的开发较复杂，开发的成本较高，且均为第三方平台，定制化低，无法集成到自己的系统进行定制开发。

技术实现思路

[0003]针对现有技术存在的不足，本专利技术的目的在于提供一种基于Nginx日志行为采集和跟踪的方法及装置，具有简单集成、高定制化和侵入性低的优点。
[0004]本专利技术的上述技术目的是通过以下技术方案得以实现的，一种基于Nginx日志行为采集和跟踪的方法，包括以下步骤：
[0005]获取必传参数，并通过DES加解密的方式，生成用户唯一码；
[0006]基于所述必传参数和所述用户唯一码，修改Nginx的配置文件，并打印请求内容输出至日志文件中；
[0007]设定扫描时间，以定期扫描和采集Nginx的分片日志记录；
[0008]定义日志参数模板字符串，生成实体类记录列表，然后对所述分片日志记录进行清洗，以在所述实体类记录列表中记录所需信息；
[0009]通过Java反射获取实体类中变量名，生成Mysql数据库结构字段，然后将所述实体类记录列表的数据导入Mysql数据库持久化；
[0010]基于所述Mysql数据库，生成配置表，并设置所述配置表中的对应关系，以生成核心报表；
[0011]获取所述核心报表，并对其进行筛选和展示。
[0012]在其中一个实施例中，所述生成用户唯一码的步骤还具体包括以下步骤：
[0013]客户端获取请求参数，发送至服务端；
[0014]所述服务端判断所述客户端是否有所述用户唯一码；
[0015]若否，则根据用户登录状态、userld、时间戳、随机码和客户端识别符，通过DES加解密的方式，生成所述用户唯一码，并返回给所述客户端。
[0016]在其中一个实施例中，所述设定扫描时间的步骤前还包括以下步骤：
[0017]通过java异步线程定时任务的方式，设定所述扫描时间。
[0018]在其中一个实施例中，所述请求内容包括请求参数、时间戳、用户唯一码、Get请求
中的参数值、接口链接、HTTP响应代码和用户终端浏览器。
[0019]在其中一个实施例中，所述生成核心报表的步骤还包括以下步骤：
[0020]基于所述Mysql数据库，生成入库数据的所述核心报表；
[0021]基于用户注册接口的接口链接、调用时间和调用状态码，生成实时数据的所述核心报表。
[0022]本专利技术还提供一种基于Nginx日志行为采集和跟踪的装置，包括：
[0023]信息获取模块，用于获取必传参数，并通过DES加解密的方式，生成用户唯一码；
[0024]信息导入模块，用于根据所述必传参数和所述用户唯一码，修改Nginx的配置文件，并打印请求内容至日志文件中；
[0025]日志采集模块，用于设定扫描时间，以定期扫描和采集Nginx的分片日志记录；
[0026]日志清洗模块，用于定义日志参数模板字符串，生成实体类记录列表，然后对分片日志记录进行清洗，以在实体类记录列表中记录所需信息；
[0027]日志导入模块，用于通过Java反射获取实体类中变量名，生成Mysql数据库结构字段，然后将所述实体类记录列表的数据导入Mysql数据库持久化；
[0028]日志统计模块，用于根据所述Mysql数据库，生成配置表，并设置所述配置表中的对应关系，以生成核心报表；
[0029]日志展示模块，用于获取所述核心报表，并对其进行筛选和展示。
[0030]在其中一个实施例中，所述信息获取模块还包括：
[0031]端口信息提取子模块，用于客户端获取请求头参数，并将该所述请求头参数发送至服务端；
[0032]端口信息判断子模块，用于所述服务端判断所述客户端是否有所述用户唯一码；
[0033]其中，若所述服务端判断所述客户端若没有所述用户唯一码，则所述端口信息判断子模块根据用户登录状态、userld、时间戳、随机码和客户端识别符，通过DES加解密的方式，生成所述用户唯一码，并返回给所述客户端。
[0034]在其中一个实施例中，所述日志采集模块还包括：
[0035]时间设定子模块，用于执行java异步线程定时任务的方式，设定所述扫描时间。
[0036]在其中一个实施例中，所述日志统计模块还包括：
[0037]入库数据生成子模块，用于根据所述Mysql数据库，生成入库数据的所述核心报表；
[0038]实时数据生成子模块，用于根据用户注册接口的接口链接、调用时间和调用状态码，生成实时数据的核心报表。
[0039]本专利技术具有以下有益效果：
[0040]其一，通过Nginx日志信息做数据采集，提供一套集成清洗、导入、统计分析和展示的平台，成本制作较低，具有简单集成、高定制化和侵入性低的效果；
[0041]其二，可以实时地可视化展示各种数据的报表，使得用户在调取数据时，非常的便利。
附图说明
[0042]图1是本专利技术基于Nginx日志行为采集和跟踪的方法的步骤流程图；
[0043]图2是专利技术基于Nginx日志行为采集和跟踪的装置的结构框图。
具体实施方式
[0044]下面结合附图和实施例，对本专利技术进行详细描述。
[0045]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0046]需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0047]如图1所示，一种基于Nginx日志行为采集和跟踪的方法,包括以下步骤：
[0048]S1、获取必传参数，并通过DES加解密的方式，生成用户唯一码。
[0049]具体的，生成用户唯一码的具体步骤：客户端获取请求参数，发送至服务端；服务端判断客户端是否有用户唯一码；若否，则根据用户登录状态、userld、时间戳、随机码和客户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Nginx日志行为采集和跟踪的方法，其特征在于，包括以下步骤：获取必传参数，并通过DES加解密的方式，生成用户唯一码；基于所述必传参数和所述用户唯一码，修改Nginx的配置文件，并打印请求内容输出至日志文件中；设定扫描时间，以定期扫描和采集Nginx的分片日志记录；定义日志参数模板字符串，生成实体类记录列表，然后对所述分片日志记录进行清洗，以在所述实体类记录列表中记录所需信息；通过Java反射获取实体类中变量名，生成Mysql数据库结构字段，然后将所述实体类记录列表的数据导入Mysql数据库持久化；基于所述Mysql数据库，生成配置表，并设置所述配置表中的对应关系，以生成核心报表；获取所述核心报表，并对其进行筛选和展示。2.根据权利要求1所述的一种基于Nginx日志行为采集和跟踪的方法，其特征在于，所述生成用户唯一码的步骤还具体包括以下步骤：客户端获取请求参数，发送至服务端；所述服务端判断所述客户端是否有所述用户唯一码；若否，则根据用户登录状态、userld、时间戳、随机码和客户端识别符，通过DES加解密的方式，生成所述用户唯一码，并返回给所述客户端。3.根据权利要求1所述的一种基于Nginx日志行为采集和跟踪的方法，其特征在于，所述设定扫描时间的步骤前还包括以下步骤：通过java异步线程定时任务的方式，设定所述扫描时间。4.根据权利要求1所述的一种基于Nginx日志行为采集和跟踪的方法，其特征在于：所述请求内容包括请求参数、时间戳、用户唯一码、Get请求中的参数值、接口链接、HTTP响应代码和用户终端浏览器。5.根据权利要求1所述的一种基于Nginx日志行为采集和跟踪的方法，其特征在于，所述生成核心报表的步骤还包括以下步骤：基于所述Mysql数据库，生成入库数据的所述核心报表；基于用户注册接口的接口链接、调用时间和调用状态码，生成实时数据的所述核心报表。6.一种基于Nginx日志行为采集和跟踪的装置，...

【专利技术属性】
技术研发人员：王锐旭，
申请(专利权)人：广州九尾信息科技有限公司，
类型：发明
国别省市：