自定义nginx系统的配置方法、数据处理方法、装置制造方法及图纸

本公开提供了一种自定义nginx系统的配置方法，包括：获取并编译nginx系统的源代码；在编译的过程中，禁用nginx系统的http服务模块，并将自定义模块添加到nginx系统，以完成对自定义nginx系统的配置，其中，自定义模块用于解析流量数据集，得到目标数据，并针对目标数据执行数据处理操作。本公开还提供了一种基于自定义nginx系统的数据处理方法、装置、电子设备、介质和程序产品。介质和程序产品。介质和程序产品。

【技术实现步骤摘要】
自定义nginx系统的配置方法、数据处理方法、装置


[0001]本公开涉及一种自定义nginx系统的配置方法、数据处理方法、装置、电子设备、介质和程序产品。

技术介绍

[0002]网络流量数据采集程序对网络流量数据进行采集的过程涉及到与底层网卡驱动程序的交互，而底层网卡驱动程序所依赖的程序库基于底层的C语言库，因此导致开发网络流量数据采集程序的效率低，稳定性差。

技术实现思路

[0003]本公开的一个方面提供了自定义nginx系统的配置方法，包括：获取并编译nginx系统的源代码；在所述编译的过程中，禁用所述nginx系统的http服务模块，并将自定义模块添加到所述nginx系统，以完成对所述自定义nginx系统的配置，其中，所述自定义模块用于解析流量数据集，得到目标数据，并针对所述目标数据执行数据处理操作。
[0004]可选地，所述http服务模块包括网络通信协议模块、代理模块和缓存模块中的至少一个；所述禁用所述http服务模块，包括：通过修改所述nginx系统的配置参数来禁用所述网络通信协议模块、所述代理模块和所述缓存模块中的至少一个。
[0005]可选地，所述将自定义模块添加到所述nginx系统包括：根据所述自定义模块的代码文件的存储地址，生成添加指令；以及利用所述添加指令将所述自定义模块添加到所述nginx系统。
[0006]可选地，所述流量数据集为多个，其中，所述自定义模块包括以下模块中的至少一个：存包模块，用于为多个流量数据集中的每个流量数据集启动一个第一进程，通过所述第一进程解析所述流量数据集，以得到目标数据，并将所述目标数据存储在共享内存队列；入库索引创建模块，用于启动第二进程，通过第二进程从共享内存队列中获取目标数据，并将所述目标数据写入数据库；以及后台监控模块，用于启动第三进程，通过所述第三进程监控所述数据库和/或与所述数据库相关的硬件信息，并在所述数据库和/或所述硬件信息出现异常的情况下，生成报警信息。
[0007]本公开的另一个方面提供了一种基于自定义nginx系统的自定义nginx系统的配置方法、数据处理方法，所述自定义nginx系统包括自定义模块，所述自定义模块用于解析流量数据，并基于解析结果执行数据处理；所述方法包括：利用自定义nginx系统获取流量数据集；利用所述自定义nginx系统中的自定义模块解析所述流量数据集，得到目标数据，并针对所述目标数据执行数据处理操作。
[0008]可选地，所述自定义模块包括存包模块；所述流量数据集为多个，所述利用所述自定义模块解析所述流量数据集，得到目标数据，包括：利用存包模块为多个流量数据集中的每个流量数据集启动一个第一进程；以及通过所述第一进程解析所述流量数据集，以得到目标数据，并将所述目标数据存储在共享内存队列。
[0009]可选地，所述自定义模块还包括入库索引创建模块；所述针对所述目标数据执行数据处理操作，包括：利用入库索引创建模块启动第二进程；以及通过第二进程从共享内存队列中获取目标数据，并将所述目标数据写入数据库。
[0010]可选地，所述获取流量数据集包括：从网卡处获取原始流量数据；以及根据流量负载信息，将所述原始流量数据分成多个流量数据集。
[0011]可选地，所述自定义模块还包括后台监控模块；所述方法还包括：利用所述后台监控模块启动第三进程，通过所述第三进程监控所述数据库和/或与所述数据库相关的硬件信息；以及在所述数据库和/或所述硬件信息出现异常的情况下，生成报警信息。
[0012]可选地，所述方法还包括：通过主进程管理所述第一进程、所述第二进程和所述第三进程；以及在所述第一进程、所述第二进程或所述第三进程出现异常的情况下，通过所述主进程重新启动所述第一进程、所述第二进程或所述第三进程。
[0013]本公开的另一个方面提供了一种基于自定义nginx系统的数据处理装置，包括：获取模块，用于获取流量数据集；以及自定义模块，用于解析所述流量数据集，得到目标数据，并针对所述目标数据执行数据处理操作。
[0014]可选地，所述自定义模块包括存包模块；所述流量数据集为多个，所述存包模块，用于：为多个流量数据集中的每个流量数据集启动一个第一进程；以及通过所述第一进程解析所述流量数据集，以得到目标数据，并将所述目标数据存储在共享内存队列。
[0015]可选地，所述自定义模块还包括：入库索引创建模块，用于启动第二进程；以及通过第二进程从共享内存队列中获取目标数据，并将所述目标数据写入数据库。
[0016]可选地，所述自定义模块还包括：后台监控模块，用于启动第三进程，通过所述第三进程监控所述数据库和/或与所述数据库相关的硬件信息；以及在所述数据库和/或所述硬件信息出现异常的情况下，生成报警信息。
[0017]本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序，其中，当一个或多个计算机程序被一个或多个处理器执行时，使得一个或多个处理器实现如上所述的方法。
[0018]本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
[0019]本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
[0020]根据本公开的实施例，通过禁用所述nginx系统的http服务模块，以裁剪nginx系统原有的http服务的业务逻辑，并添加自定义模块，以注入流量处理业务逻辑，从而将nginx系统改造成可以用于处理流量数据的自定义nginx系统，开发效率较高。另外，利用该自定义nginx系统采集处理流量数据，处理过程稳定性较高。
附图说明
[0021]为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
[0022]图1示意性示出了根据本公开实施例的可以应用自定义nginx系统的配置方法、数据处理方法的示例性系统架构；
[0023]图2示意性示出了根据本公开的实施例的自定义nginx系统的配置方法、数据处理
方法的流程图；
[0024]图3示意性示出了根据本公开的实施例的获取多个流量数据集的流程图；
[0025]图4示意性示出了根据本公开实施例的进程管理模型的架构图；
[0026]图5A示意性示出了根据本公开的实施例的数据处理装置的框图；
[0027]图5B示意性示出了根据本公开的实施例的处理模块的框图；以及
[0028]图6示意性示出了根据本公开实施例的适于实现根据本公开实施例的方法的计算机系统的方框图。
具体实施方式
[0029]以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自定义nginx系统的配置方法，包括：获取并编译nginx系统的源代码；在所述编译的过程中，禁用所述nginx系统的http服务模块，并将自定义模块添加到所述nginx系统，以完成对所述自定义nginx系统的配置，其中，所述自定义模块用于解析流量数据集，得到目标数据，并针对所述目标数据执行数据处理操作。2.根据权利要求1所述的方法，其中，所述http服务模块包括网络通信协议模块、代理模块和缓存模块中的至少一个；所述禁用所述http服务模块，包括：通过修改所述nginx系统的配置参数来禁用所述网络通信协议模块、所述代理模块和所述缓存模块中的至少一个。3.根据权利要求2所述的方法，其中，所述将自定义模块添加到所述nginx系统包括：根据所述自定义模块的代码文件的存储地址，生成添加指令；以及利用所述添加指令将所述自定义模块添加到所述nginx系统。4.根据权利要求1至3中任意一项所述的方法，所述流量数据集为多个，其中，所述自定义模块包括以下模块中的至少一个：存包模块，用于为多个流量数据集中的每个流量数据集启动一个第一进程，通过所述第一进程解析所述流量数据集，以得到目标数据，并将所述目标数据存储在共享内存队列；入库索引创建模块，用于启动第二进程，通过第二进程从共享内存队列中获取目标数据，并将所述目标数据写入数据库；以及后台监控模块，用于启动第三进程，通过所述第三进程监控所述数据库和/或与所述数据库相关的硬件信息，并在所述数据库和/或所述硬件信息出现异常的情况下，生成报警信息。5.一种基于自定义nginx系统的数据处理方法，所述自定义nginx系统包括自定义模块，所述自定义模块用于解析流量数据，并基于解析结果执行数据处理；所述方法包括：利用自定义nginx系统获取流量数据集；利用所述自定义nginx系统中的自定义模块解析所述流量数据集，得到目标数据，并针对所述目标数据执行数据处理操作。6.根据权利要求5所述的方法，其中，所述流量数据集为多个，所述自定义模块包括存包模块；所述利用所述自定义模块解析所述流量数据集，得到目标数据，包括：利用存包模块为多个流量数据集中的每个流量数据集启动一个第一进程；以及通过所述第一进程解析所述流量数据集，以得到目标数据，并将所述目标数据存储在共享内存队列。7.根据权利要求6所述的方法，其中，所述自定义模块还包括...

【专利技术属性】
技术研发人员：汪勇，齐向东，吴云坤，
申请(专利权)人：网神信息技术北京股份有限公司，
类型：发明
国别省市：