一种日志分析方法、装置、系统及可读存储介质制造方法及图纸

本申请公开了一种日志分析方法、装置、系统及可读存储介质，方法应用于日志处理中心，包括：接收在日志探测端的本地磁盘上进行探测且由Netty进行传输的日志；将日志写入日志处理中心的本地磁盘中，并从日志处理中心的本地磁盘上获取最新日志，且根据本地ClickHouse对最新日志进行处理，以得到第一处理日志；将第一处理日志发送至本地ClickHouse，由本地ClickHouse对第一处理日志进行分析。本申请公开的上述技术方案，通过Netty的高传输高并发性能、ClickHouse强悍的存储能力和分析能力及日志存储在本地磁盘上而降低日志分析的复杂性，提高日志分析的实时性，并实现轻量化地实现日志分析。现日志分析。现日志分析。

【技术实现步骤摘要】
一种日志分析方法、装置、系统及可读存储介质


[0001]本申请涉及日志分析
，更具体地说，涉及一种日志分析方法、装置、系统及可读存储介质。

技术介绍

[0002]日志在计算机系统中是一个非常广泛的概念，任何程序都有可能输出日志。日志记录了设备上和网络上每天发生的各种事情，因此，可以通过对日志进行分析来了解各个设备和整个网络的状况。
[0003]目前，日志收集系统一般采用ELK、Flume等技术进行实现，虽然功能完善，但是，技术门槛和部署环境要求比较高，维护成本也相对比较高。开发时要求开发人员必须掌握多种技术，对于非大数据专业的人员来说，并非开箱即用。部署系统时对部署环境要求比较高，往往需要多节点部署，部署和维护都相对麻烦，需要借助比较多的消息中间件等进行实现，且对于日志量不大、实时性要求高、日志系统并非核心业务等业务场景或中小型企业来说，采用上述技术进行日志收集和分析过于重量级。
[0004]综上所述，如何降低日志分析的复杂性，提高日志分析的实时性，是目前本领域技术人员亟待解决的技术问题。
专利
技术实现思路

[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志分析方法，其特征在于，应用于日志处理中心，包括：接收在日志探测端的本地磁盘上进行探测且由Netty进行传输的日志；将所述日志写入所述日志处理中心的本地磁盘中，并从所述日志处理中心的本地磁盘上获取最新日志，且根据本地ClickHouse对所述最新日志进行处理，以得到第一处理日志；将所述第一处理日志发送至所述本地ClickHouse，由所述本地ClickHouse对所述第一处理日志进行分析。2.根据权利要求1所述的日志分析方法，其特征在于，将所述第一处理日志发送至所述本地ClickHouse，包括：判断所述第一处理日志的数量在预设时间长度内是否达到阈值；若是，则将数量达到所述阈值的所述第一处理日志发送至所述本地ClickHouse；若否，则将所述预设时间长度内的所述第一处理日志发送至所述本地ClickHouse。3.根据权利要求1所述的日志分析方法，其特征在于，根据所述本地ClickHouse对所述最新日志进行处理，以得到第一处理日志，包括：根据所述本地ClickHouse对日志的格式需求，利用日志加工处理器对各条所述最新日志进行加工处理，以得到第一加工处理日志；根据所述本地ClickHouse的日志对接方式，利用日志处理器对所述第一加工处理日志进行转换，以得到所述第一处理日志。4.根据权利要求1所述的日志分析方法，其特征在于，还包括：根据第三方日志分析系统对所述最新日志进行处理，以得到第二处理日志；将所述第二处理日志发送至所述第三方日志分析系统，由所述第三方日志分析系统对所述第二处理日志进行分析。5.根据权利要求1所述的日志分析方法，其特征在于，将所述日志写入所述日志处理中心的本地磁盘中，包括：利用所述日志处理中心中的日志记录工具将所述日志写入所述日志处理中心的本地磁盘中。6.根据权利要求5所述...

【专利技术属性】
技术研发人员：倪山登，范渊，刘博，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：