一种日志实时处理方法及系统技术方案

本发明专利技术公开了一种日志实时处理方法及系统，包括：接收日志：采用mmap的libpcap捕获日志报文；过滤报文：根据发送日志的设备IP过滤掉非法报文；解析日志：按照预设格式逐个字段解析日志；格式化日志：按照预设字段顺序拼接成标准csv格式的字符串，多线程入无锁队列；生成csv文件：根据硬件适配写csv文件的线程及多队列的数量；采用所适配的多线程多队列，从无锁队列中取出数据写入csv文件中；csv文件入库：动态监测csv文件大小，若csv文件大于预设阈值，则立即入库；对数据库表进行分区并设定索引key值；数据汇聚：按照预设条件对数据库的原始数据进行汇聚。

A real-time log processing method and system

【技术实现步骤摘要】
一种日志实时处理方法及系统
本专利技术涉及数据处理
，具体涉及一种日志实时处理方法及系统。
技术介绍
如今网络节点设备都会实时产生各种日志数据，日志大致分为两种，一是业务日志(通过计算、分析业务产生)，二是设备本身系统日志(告警日志，系统状态日志等)，这些日志一般都会实时上传到指定的服务器上，供服务器分析、计算、整合数据，这样可实时了解各个网络节点设备的业务状况，设备状态。这些数据也会被存放到服务器上，以便后续查询、导出以及进一步的业务展开。目前大多日志数据采用下述两种处理方式：1、收到日志解析后直接写入文件，直接写文件对于日志数据解析后写入比较简单方便不必设计过多的代码；2、写行式数据库方式，即收到日志解析后通过接口操作数据库，插入到数据库(基本上都是行式数据库)；写行式数据库方式，目前都是写mysql,postgres等，这种操作方便，接口丰富，网上资料较多；上述两种处理方式存在的缺陷为：1、第一种处理方式的缺点为：后面查询数据复杂繁琐，获取数据实时性差，不能做实时性很强的业务；2、第二本文档来自技高网...

【技术保护点】
1.一种日志实时处理方法，其特征在于，包括：/n接收日志：/n采用mmap的libpcap捕获日志报文；/n过滤报文：/n根据发送日志的设备IP过滤掉非法报文；/n解析日志：/n按照预设格式逐个字段解析日志；/n格式化日志：/n按照预设字段顺序拼接成标准csv格式的字符串，多线程入无锁队列；/n生成csv文件：/n根据硬件适配写csv文件的线程及多队列的数量；/n采用所适配的多线程多队列，从所述无锁队列中取出数据写入csv文件中；/ncsv文件入库：/n动态监测所述csv文件大小，若csv文件大于预设阈值，则立即入库；/n对数据库表进行分区并设定索引key值；/n数据汇聚：/n按照预设条件对数...

【技术特征摘要】
1.一种日志实时处理方法，其特征在于，包括：
接收日志：
采用mmap的libpcap捕获日志报文；
过滤报文：
根据发送日志的设备IP过滤掉非法报文；
解析日志：
按照预设格式逐个字段解析日志；
格式化日志：
按照预设字段顺序拼接成标准csv格式的字符串，多线程入无锁队列；
生成csv文件：
根据硬件适配写csv文件的线程及多队列的数量；
采用所适配的多线程多队列，从所述无锁队列中取出数据写入csv文件中；
csv文件入库：
动态监测所述csv文件大小，若csv文件大于预设阈值，则立即入库；
对数据库表进行分区并设定索引key值；
数据汇聚：
按照预设条件对数据库的原始数据进行汇聚。


2.如权利要求1所述的方法，其特征在于，在所述接收日志中：
所述libpcap采用零拷贝技术，支持多线程。


3.如权利要求1所述的方法，其特征在于，在所述生成csv文件中：
从所述无锁队列中取出的数据采用写内存文件系统方案写入csv文件中。


4.如权利要求1所述的方法，其特征在于，在所述csv文件入库中：
若csv文件不大于预设阈值，则间隔预设的时间入库一次；
若csv文件为空，则删除空文件。


5.如权利要求1所述的方法，其特征在于，在所述csv文件入库中：
根据日志数据量的大小，对数据库表进行分区；
根据业务查询条件，设定索引key值。


6.一种日志实时处理系统，其特征...

【专利技术属性】
技术研发人员：周滔，
申请(专利权)人：武汉智美互联科技有限公司，
类型：发明
国别省市：湖北;42