智能设备日志处理系统及方法技术方案

本发明专利技术公开了智能设备日志处理系统及方法，涉及物联网智能设备日志处理系统，包括日志获取器：用于根据智能设备的参数，获取智能设备的原始日志；日志解析器：用于接收所述原始日志，将非结构化或半结构化的所述原始日志解析成结构化日志，并生成日志序列；安全规则库：包含日志分析规则；日志分析引擎：用于接收所述结构化日志和日志序列，并根据所述安全规则库的日志分析规则对所述结构化日志进行规则匹配，并对日志序列进行层次聚类；日志分析报告器：用于根据所述日志分析引擎的结果和所述安全规则库，将分析结果生成报告；用户接口模块：用于与用户交互，接收智能设备所述参数，及将所述报告输出给用户。本发明专利技术日志获取高效、简单、准确。

Intelligent Equipment Log Processing System and Method

【技术实现步骤摘要】
智能设备日志处理系统及方法
本专利技术涉及物联网智能设备日志处理系统
，特别是指智能设备日志处理系统及其处理方法。
技术介绍
目前日志的审计方法有很多种，其中包括基于规则库、基于数据挖掘、基于免疫系统和基于神经网络的审计方法等。基于规则库的审计检测准确率高，但不适用于多变的网络攻击行为。基于数据挖掘的审计可处理大规模数据文件，但准确率需要调优。基于进化算法的审计可通过多维度进行有效审计优化，但无法检测同时发生的攻击行为。基于免疫系统的审计可以对具有记忆的攻击和病原体进行检测，但无法判断条件竞争、身份伪装的攻击。其中，常用的且已有一定成果是基于规则库的审计方法以及由于大数据热潮而得到关注的数据挖掘算法。涉及生物学的神经网络算法、遗传算法和进化算法仍待进一步研究。对于数据挖掘而言，针对日志的分析主要分为监督学习和无监督学习，主要取决于日志是否有标。监督学习主要采用分类算法，而无监督学习主要采用聚类算法，通过聚类分析将收集到的原始日志分为正常日志和可疑日志两大类，然后再分别对两类日志进行关联规则挖掘，得出正常操作规则和异常操作规则。目前主流的日志分析工具发展比较成熟，但是其局限性在于，收集日志时需要在采集对象上部署采集软件或加装日志收集工具，对于智能设备而言，在其上进行软件部署复杂、难度较大。对于日志采集常用协议，部分智能设备并不支持，增加了对智能设备日志获取的难度。在对获取到的日志进行审计时，目前主流的手段依旧是基于规则进行匹配，这种方法效率较高、简单直观，但是随着攻击手段的增多，对于不在安全规则库中的攻击手段而言，日志审计效果不好，而且对于大规模的日志数据无法挖掘出规则以外的信息。
技术实现思路
有鉴于此，本专利技术的目的在于提出智能设备日志处理系统及其处理方法，用于解决
技术介绍
中智能设备日志获取难度大，日志审计效果不好的问题，其具有日志获取简单，审计效果出色的特点。本专利技术提供了一种智能设备日志处理系统，包括：日志获取器：用于根据智能设备的参数，获取智能设备的原始日志；日志解析器：用于接收所述原始日志，将非结构化或半结构化的所述原始日志解析成结构化日志，并生成日志序列；安全规则库：包含日志分析规则；日志分析引擎：用于接收所述结构化日志和日志序列，并根据所述安全规则库的日志分析规则对所述结构化日志进行规则匹配，并对日志序列进行层次聚类；日志分析报告器：用于根据所述日志分析引擎的结果和所述安全规则库，将分析结果生成报告；用户接口模块：用于与用户交互，接收智能设备所述参数，及将所述报告输出给用户。可选的，所述日志获取器通过智能设备提供的接口识别智能设备的品牌和型号，确定智能设备所采用的协议以及通信方式，根据智能设备所采用的协议和交互方式向智能设备对应的IP发送请求，并通过解析智能设备返回的响应获取智能设备运行过程生成的原始日志。可选的，所述日志解析器包括：日志清洗器：用于将所述原始日志中的冗余信息去除，将所述原始日志解析为所述结构化日志；事件抽取器：用于提取出解析后的所述结构化日志记录的操作事件；日志组合器：用于根据所述结构化日志发生的时间和所述操作事件，将单条所述结构化日志按照上下文进行组合，生成对应的日志序列。可选的，所述日志分析引擎包括：规则匹配器：用于根据用户配置的规则和所述安全规则库中的日志分析规则，从所述结构化日志中匹配出相应日志记录，并对日志记录进行汇总和整理；聚类分析器：用于对所述日志解析器生成的所述日志序列进行层次聚类，根据聚类结果发现大聚簇和孤立点，由大聚簇分析设备运行规律，由孤立点发现异常行为，获得结构化日志中规则外蕴含的信息；日志分析接口：用于根据所述规则匹配器和所述聚类分析器的结果与所述日志分析报告器进行交互。基于相同的专利技术创造，本专利技术还提供了一种智能设备日志处理方法，包括：根据接收的智能设备的参数，获取智能设备非结构化或半结构化的原始日志；将所述非结构化或半结构化的原始日志解析成结构化日志，生成日志序列；根据安全规则库的日志分析规则对所述结构化日志进行规则匹配；对所述日志序列进行层次聚类；根据所述日志序列的规则匹配结果以及层次聚类结果生成报告；以及输出所述报告。可选的，所述原始日志解析包括：将所述原始日志中的冗余信息去除，将所述原始日志解析为所述结构化日志；提取解析后的所述结构化日志记录的操作事件；根据所述结构化日志发生的时间和所述操作事件，将单条所述结构化日志按照上下文进行组合，生成对应的日志序列。可选的，所述规则匹配和层次聚类包括：根据用户配置的规则和所述安全规则库中的日志分析规则，从所述结构化日志中匹配出相应日志记录；对所述日志序列进行层次聚类，根据聚类结果发现大聚簇和孤立点，由大聚簇分析设备运行规律，由孤立点发现异常行为，获得结构化日志中规则外蕴含的信息；根据所述规则匹配器和所述聚类分析器的结果与所述日志分析报告器进行交互。可选的，所述从所述结构化日志中匹配出相应日志记录包括：通过规则匹配器，利用用户自定义规则和安全规则库中规则对结构化日志进行匹配，统计命中数量，记录命中日志。可选的，所述对日志序列进行层次聚类包括：对于所述日志序列进行预处理，将日志序列转换成向量数据；使用改进的余弦相似度算法利用向量数据生成距离矩阵，输入层次聚类算法，生成聚类树；针对不同聚簇数量计算相关评价指标参数，选取最佳参数对应的聚簇数量作为聚簇数目；遍历每个聚簇数目内的日志，统计各聚簇数目内日志数量和类型。对规则匹配和层次聚类的结果进行归纳分析和关联分析，生成新的安全规则并补偿入所述安全规则库。基于相同的专利技术创造，本专利技术还提供了一种智能设备日志处理系统的保密安全检查方法，包括：提交待测智能设备参数；进入待测智能设备日志处理系统，并获得留存的日志审计报告；检测日志审计报告；基于检测结果，通过风险定位、风险排查和溯源对违规操作溯源。由上述所述本专利技术具有如下优点：本系统利用智能设备提供的接口与日志获取器连接，首先识别智能设备品牌和型号，生成对应实例，根据不同设备的协议和交互方式向指定IP发送请求，通过解析响应自动化地获取设备运行日志，不需要通过恢复智能设备存储介质或是在智能设备上加装日志采集装置来获取日志，日志获取高效、简单、准确。本系统除利用安全规则库进行日志处理外，还引入了聚类方法，能够挖掘规则外内容，如智能设备运行规律、用户使用习惯以及孤立点对应的异常事件，并能够将异常事件动态补偿给安全规则库，提升了日志的审计效果。附图说明图1为本专利技术实施例所述的智能设备日志处理系统的结构框图；图2为本专利技术实施例所述的智能设备日志处理方法流程图；图3为本专利技术实施例日志分析引擎处理流程图；图4为本专利技术实施例所述的智能设备日志处理系统进行保密安全检查的方法流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。本专利技术的主要目标是开发一套针对物联网智能设备的日志安全处理系统，该系统可以根据用户输入的智能设备型号自动化地获取设备运行日志，根据用户配置的安全规则在日志中寻找用户感兴趣的事件，同时利用聚类手段对日志进行分析，反映设备运行规律，利用孤立点定位异常，并报告给用户。智能设备第一步考虑支持市场主流数码复印机品牌及其子型号。本专利技术实施例所述的智能设本文档来自技高网...

【技术保护点】
1.智能设备日志处理系统，其特征在于，包括：日志获取器：用于根据智能设备的参数，获取智能设备的原始日志；日志解析器：用于接收所述原始日志，将非结构化或半结构化的所述原始日志解析成结构化日志，并生成日志序列；安全规则库：包含日志分析规则；日志分析引擎：用于接收所述结构化日志和日志序列，并根据所述安全规则库的日志分析规则对所述结构化日志进行规则匹配，并对日志序列进行层次聚类；日志分析报告器：用于根据所述日志分析引擎的结果和所述安全规则库，将分析结果生成报告；用户接口模块：用于与用户交互，接收智能设备所述参数，及将所述报告输出给用户。

【技术特征摘要】
1.智能设备日志处理系统，其特征在于，包括：日志获取器：用于根据智能设备的参数，获取智能设备的原始日志；日志解析器：用于接收所述原始日志，将非结构化或半结构化的所述原始日志解析成结构化日志，并生成日志序列；安全规则库：包含日志分析规则；日志分析引擎：用于接收所述结构化日志和日志序列，并根据所述安全规则库的日志分析规则对所述结构化日志进行规则匹配，并对日志序列进行层次聚类；日志分析报告器：用于根据所述日志分析引擎的结果和所述安全规则库，将分析结果生成报告；用户接口模块：用于与用户交互，接收智能设备所述参数，及将所述报告输出给用户。2.根据权利要求1所述的系统，其特征在于，所述日志获取器通过智能设备提供的接口识别智能设备的品牌和型号，确定智能设备所采用的协议以及通信方式，根据智能设备所采用的协议和交互方式向智能设备对应的IP发送请求，并通过解析智能设备返回的响应获取智能设备运行过程生成的原始日志。3.根据权利要求1所述的系统，其特征在于，所述日志解析器包括：日志清洗器：用于将所述原始日志中的冗余信息去除，将所述原始日志解析为所述结构化日志；事件抽取器：用于提取出解析后的所述结构化日志记录的操作事件；日志组合器：用于根据所述结构化日志发生的时间和所述操作事件，将单条所述结构化日志按照上下文进行组合，生成对应的日志序列。4.根据权利要求1所述的系统，其特征在于，所述日志分析引擎包括：规则匹配器：用于根据用户配置的规则和所述安全规则库中的日志分析规则，从所述结构化日志中匹配出相应日志记录，并对日志记录进行汇总和整理；聚类分析器：用于对所述日志解析器生成的所述日志序列进行层次聚类，根据聚类结果发现大聚簇和孤立点，由大聚簇分析设备运行规律，由孤立点发现异常行为，获得结构化日志中规则外蕴含的信息；日志分析接口：用于根据所述规则匹配器和所述聚类分析器的结果与所述日志分析报告器进行交互。5.一种智能设备日志处理方法，其特征在于，包括：根据接收的智能设备的参数，获取智能设备非结构化或半结构化的原始日志；将所...

【专利技术属性】
技术研发人员：徐国爱，张淼，张霖，王浩宇，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11