日志分析方法及装置制造方法及图纸

本申请公开了日志分析方法及装置，涉及计算机领域，尤其涉及大数据分析领域。具体实现方案为：获取预设的规则文件；根据所述规则文件，生成日志数据的处理任务；所述处理任务包括接口调用指令序列；根据所述接口调用指令序列，调用相应的函数的接口，采用所述函数计算所述日志数据。本申请能够对大数据级的日志进行日志分析，并且能够减少操作人员的工作量。

Log analysis method and device

【技术实现步骤摘要】
日志分析方法及装置
本申请涉及计算机领域，尤其涉及数据处理领域。
技术介绍
近年来，随着互联网技术的飞速发展，给人们的生活带来了极大的便利。与此同时网络安全威胁问题也日益严峻。垃圾邮件、挖矿病毒、勒索病毒、DDOS(DistributedDenial-of-Service，分布式拒绝服务)攻击乃至APT(AdvancedPersistentThreat，高级持续性威胁)攻击，给网络安全建设提出了很高的挑战。目前无论是入侵检测、攻击溯源还是安全运营等都依赖于对海量日志的分析。这些日志包括访问日志、系统日志、审计日志等。这些日志通常数据量较大，在一个几千机器的机房内，日志量能达到每天数TB(Terabyte，太字节)。传统日志分析系统难以处理如此规模的日志。这就得诉诸于大数据处理系统。但是大数据处理系统的学习成本较高，要写出稳定可靠的高性能处理程序，需要相当的实战经验和编程功底，对于安全工程师来说无疑是十分困难的。
技术实现思路
为了解决现有技术中至少一个问题，本申请提供一种日志分析方法及装置。第一方面，本申请提供一种日本文档来自技高网...

【技术保护点】
1.一种日志分析方法，其特征在于，包括：/n获取预设的规则文件；/n根据所述规则文件，生成日志数据的处理任务；所述处理任务包括接口调用指令序列；/n根据所述接口调用指令序列，调用相应的函数的应用程序接口，采用所述函数计算所述日志数据。/n

【技术特征摘要】
1.一种日志分析方法，其特征在于，包括：
获取预设的规则文件；
根据所述规则文件，生成日志数据的处理任务；所述处理任务包括接口调用指令序列；
根据所述接口调用指令序列，调用相应的函数的应用程序接口，采用所述函数计算所述日志数据。


2.根据权利要求1所述的方法，其特征在于，根据所述规则文件，生成日志数据的处理任务，包括：
根据所述规则文件生成配置文件；所述配置文件包括处理任务流程图；
将所述处理任务流程图映射成相应的接口调用指令序列；所述接口调用指令序列用于调用所述应用程序接口。


3.根据权利要求2所述的方法，其特征在于，所述处理任务流程图包括输入节点、输出节点和操作节点；将所述处理任务流程图映射成相应的接口调用指令序列，包括：
从所述输出节点出发，按照深度优先的搜索方式遍历所述处理任务流程图，生成所述接口调用指令序列；
所述接口调用指令序列包括至少一条接口调用指令；所述接口调用指令用于指示对根据所述输入节点的信息获取的数据，采用所述操作节点的信息对应的函数进行计算，然后将计算结果输出到所述输出节点的信息对应的地址。


4.根据权利要求2所述的方法，其特征在于，根据所述规则文件生成配置文件，包括：
根据所述规则文件，生成单词序列字符串流；
对所述单词序列字符串流进行语法检查，确定语法结构；
根据所述语法结构生成语法分析树；
遍历所述语法分析树，解析所述语法分析树中的语句，确定所述处理任务流程图的结构、所述处理任务流程图的各节点相应的函数以及所述应用程序接口信息；
根据所述处理任务流程图的结构、所述处理任务流程图的各节点相应的函数以及所述应用程序接口信息，生成所述配置文件。


5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
验证所述处理任务流程图的合理性，去除所述处理任务流程图中的冗余节点，并合并同类型的节点；
根据所述处理任务流程图，将重复使用的日志数据加入缓存。


6.根据权利要求1所述的方法，其特征在于，所述规则文件包括过滤语句、联合语句、聚合语句和发送语句中的至少一种，其中，所述过滤语句用于过滤数据；所述联合语句用于关联数据；所述聚合语句用于聚合数据；所述发送语句用于输出数据到指定位置。


7.一种日志分析装置，其特征在于，包括：
规则文件获取模块：用于获取预设的规则文件；
处理任务生成模块：用于根据所述规则文件，生成日志数据的处理任务；所述处理任务包括接口调用指令序列；
日志数据计算模块：用于根据所述接口调用指令序列，调用相应的...

【专利技术属性】
技术研发人员：何忠峭，洪爵，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11