一种日志文件快速解析方法及装置制造方法及图纸

本发明专利技术涉及一种日志文件快速解析方法及装置，应用于分布式系统，其中，方法包括以下步骤：获取并存储正则解析对象集合，获取待解析的日志文件；将所述日志文件切割为多个子文件，读取并加载各所述子文件；将读取加载的子文件并行分发至多个处理单元；各处理单元分别在所述正则解析对象集合中匹配相应子文件的正则解析对象，并进行相应子文件的解析；对各处理单元的解析结果进行入库操作。本发明专利技术具有日志解析效率高、内存和CPU消耗低、适用于超大日志文件的技术效果。

【技术实现步骤摘要】
一种日志文件快速解析方法及装置
本专利技术涉及日志解析
，尤其涉及一种日志文件快速解析方法、装置及计算机存储介质。
技术介绍
各行业的各类设备、系统中都会产生大量日志文件。日志文件的解析是可以为各类设备、系统提供有价值的、可靠的各类指标参数，用于支撑各类设备、系统的运行、改进和发展。例如，银行、企业、政府单位都有很多防火墙设备，每个防火墙设备在运作过程中产生的日志数据都是海量，这些日志以天为单位或者类别为单位存储形成日志文件；基于这些日志文件进行大数据分析，可以提供多维度、不同颗粒度的安全防护数据，为网络安全提供重量级的数据支撑。另外，传统制造业、电商平台、金融、物流、航空、社交平台使用的业务系统或生产管理系统，在运作过程中会产生大量的日志数据，形成日志文件；这些日志文件在大数据分析的场景下，可以挖掘出有价值的数据，产生可靠的、可利用参考的各种指数和报表，用于支撑后期业务快速发展；还可以基于日志解析找到业务发展的瓶颈、限制、增长空间等有用的数据指数。目前，日志解析可以采用正则解析、使用xml配置实现日志解析等方案。这些方案大多不够本文档来自技高网...

【技术保护点】
1.一种日志文件快速解析方法，其特征在于，应用于分布式系统，包括以下步骤：/n获取并存储正则解析对象集合，获取待解析的日志文件；/n将所述日志文件切割为多个子文件，读取并加载各所述子文件；/n将读取加载的子文件并行分发至多个处理单元；/n各处理单元分别在所述正则解析对象集合中匹配相应子文件的正则解析对象，并进行相应子文件的解析；/n对各处理单元的解析结果进行入库操作。/n

【技术特征摘要】
1.一种日志文件快速解析方法，其特征在于，应用于分布式系统，包括以下步骤：
获取并存储正则解析对象集合，获取待解析的日志文件；
将所述日志文件切割为多个子文件，读取并加载各所述子文件；
将读取加载的子文件并行分发至多个处理单元；
各处理单元分别在所述正则解析对象集合中匹配相应子文件的正则解析对象，并进行相应子文件的解析；
对各处理单元的解析结果进行入库操作。


2.根据权利要求1所述的日志文件快速解析方法，其特征在于，还包括：
完成一个所述日志文件的所有子文件的解析处理后，休眠设定时间，再进行下一个日志文件的解析处理。


3.根据权利要求1所述的日志文件快速解析方法，其特征在于，获取并存储正则解析对象集合，具体为：
设置专用存储空间，通过activeMq消息队列接收java组件发送的正则解析对象集合，并存储至所述专用存储空间。


4.根据权利要求1所述的日志文件快速解析方法，其特征在于，将所述日志文件切割为多个子文件，读取并加载各所述子文件之前，还包括：
判断所述日志文件是否为压缩文件，如果是，则对所述日志文件进行解压缩，然后将解压缩后的日志文件移动至解析临时目录中，否则直接将所述日志文件移动至解析临时目录中。


5.根据权利要求1所述的日志文件快速解析方法，其特征在于，将所述日志文件切割为多个子文件，读取并加载各所述子文件，具体为：
判断所述日志文件的总行数是否大于设定行数，如果是，则将所述日志文件切割为多...

【专利技术属性】
技术研发人员：黄伟，
申请(专利权)人：北京安博通科技股份有限公司，
类型：发明
国别省市：北京;11