一种日志审计方法及平台技术

本申请涉及计算机技术，公开了一种日志审计方法及平台，用以实现云环境下的日志实时审计。该方法为：审计平台从云端的各类平台分别采集相应的系统日志，并将获得的系统日志缓存至分布式异步队列中，以及确定满足预计的触发条件时，从该分布式异步队列中读取符合上述触发条件的系统日志，并基于规则模型对获得的系统日志进行审计，其中，规则模型是基于历史审计数据进行机器学习训练后生成的。这样，基于历史审计数据建模形成的规则模型相较于现有技术下单一的规则，更能够描述出复杂的审计条件，便于挑选出因复杂预警事件而产生的系统日志，从而便于管理人员及时发现并进行管理。

【技术实现步骤摘要】
一种日志审计方法及平台
本申请涉及计算机技术，特别涉及一种日志审计方法及平台。
技术介绍
随着云计算、移动互联、虚拟化等新技术的应用日益广泛，用户面临的安全威胁越来越多。网络中的主机、服务器、网络设备、安全设备、数据库以及各种应用服务系统在运行过程中会产生大量的日志和事件，管理人员面对数量如此巨大的信息，由于缺乏分析手段，因为无法及时准确定位网络故障和真正的安全隐患所在。在传统的计算机网络环境下，安全厂商会将集群内日志数据的收集、存储、分析、报警、归档、报表等功能集成到一个定制的硬件设备中，通过部署该硬件设备到客户的计算机集群环境中，以完成离线的日志审计功能。但是在云计算环境下，因为虚拟化技术和网络虚拟化，无法采用传统的硬件盒子的方式来解决日志审计问题，众多的云产品运行在复杂的平台上，这些产品自身以及相互调用会有大量的操作，产生大量的日志和事件，需要实时地对日志进行审计，以便于及时处理各类事件，因此，现有的离线审计方式已不适用于云环境下的日志审计需求。而现有的云环境下目前暂时没有好的技术方案解决该问题。
技术实现思路
本申请实施例提供一种日志审计方法及平台，用以实现云环境下的日志实时审计。本申请实施例提供的具体技术方案如下：一种日志审计方法，包括：审计平台从云端的各类平台分别采集相应的系统日志，并将获得的系统日志缓存至分布式异步队列中；审计平台确定满足预计的触发条件时，从所述分布式异步队列中读取符合所述触发条件的系统日志；审计平台基于规则模型对获得的系统日志进行审计，其中，所述规则模型是基于历史审计数据进行机器学习训练后生成的。可选的，审计平台从云端的任意一平台采集相应的系统日志，包括：基于设定的筛选条件，实时从所述任意一平台采集符合所述筛选条件的系统日志。可选的，所述审计平台确定满足预计的触发条件时，从所述分布式异步队列中读取符合所述触发条件的系统日志，包括：从所述分布式异步队列中读取满足第一订阅内容的系统日志；或者，从所述分布式异步队列中读取缓存时长满足第一设定阈值的系统日志；或者，从所述分布式异步队列中读取缓存数据量满足第二设定阈值的系统日志。可选的，所述审计平台基于规则模型对获得的任意一条系统日志进行审计，包括：读取所述任意一条系统日志后，基于所述任意一条日志包含的主机字段、路径字段和参数字段获取相匹配的规则模型；采用获得的规则模型对所述任意一条系统日志进行检测，计算所述任意一条系统日志基于所述规则模型输出的概率；将所述概率与预设的门限值进行比较，确定所述概率低于所述门限值时，确定所述任意一条系统日志为异常日志，确定所述概率不低于所述门限值时，确定所述任意一条日志为正常日志。可选的，进一步包括：审计平台对应符合事件特征的系统日志及相应的审计结果进行索引构建。可选的，进一步包括：审计平台对应满足第二订阅内容的系统日志进行系统日志初始索引构建；或/和，审计平台对应满足第三订阅内容的系统日志进行保存。一种日志审计平台，包括：采集模块，用于从云端的各类平台分别采集相应的系统日志，并将获得的系统日志缓存至分布式异步队列中；分发模块，用于确定满足预计的触发条件时，从所述分布式异步队列中读取符合所述触发条件的系统日志；审计模块，用于基于规则模型对获得的系统日志进行审计，其中，所述规则模型是基于历史审计数据进行机器学习训练后生成的。可选的，从云端的任意一平台采集相应的系统日志时，所述采集模块具体用于：基于设定的筛选条件，实时从所述任意一平台采集符合所述筛选条件的系统日志。可选的，基于确定满足预计的触发条件时，从所述分布式异步队列中读取符合所述触发条件的系统日志时，所述分发模块具体用于：从所述分布式异步队列中读取满足第一订阅内容的系统日志；或者，从所述分布式异步队列中读取缓存时长满足第一设定阈值的系统日志；或者，从所述分布式异步队列中读取缓存数据量满足第二设定阈值的系统日志。可选的，基于规则模型对获得的系统日志进行审计时，所述审计模块具体用于：读取所述任意一条系统日志后，基于所述任意一条日志包含的主机字段、路径字段和参数字段获取相匹配的规则模型；采用获得的规则模型对所述任意一条系统日志进行检测，计算所述任意一条系统日志基于所述规则模型输出的概率；将所述概率与预设的门限值进行比较，确定所述概率低于所述门限值时，确定所述任意一条系统日志为异常日志，确定所述概率不低于所述门限值时，确定所述任意一条日志为正常日志。可选的，进一步包括：构建模块，用于对应符合事件特征的系统日志及相应的审计结果进行索引构建。可选的，进一步包括：构建模块，用于对应满足第二订阅内容的系统日志进行系统日志初始索引构建；或/和，存储模块，用于保存满足第三订阅内容的系统日志。本专利技术实施例中，审计平台从云端的各类平台分别采集相应的系统日志，并将获得的系统日志缓存至分布式异步队列中，以及在确定满足预计的触发条件时，从该分布式异步队列中读取符合上述触发条件的系统日志，并基于规则模型对获得的系统日志进行审计，其中，规则模型是基于历史审计数据进行机器学习训练后生成的。这样，便通过分布式的审计平台达到了实时读取、分析云端各类平台的系统日志的目的，并且，基于历史审计数据建模形成的规则模型相较于现有技术下单一的规则，更能够描述出复杂的审计条件，便于挑选出因复杂预警事件而产生的系统日志，从而便于管理人员及时发现并进行管理。附图说明图1为本申请实施例中日志审计系统架构图；图2为本申请实施例中日志审计流程图；图3为本申请实施例中HMM模型建立示意图；图4为本申请实施例中机器学习过程示意图。具体实施方式为了实时云环境下的日志文件实时审计，本申请实施例中，重新设计了一套新的审计平台，该审计平台采用分布式结构，其中，采集模块实时地从云环境下采集日志传送至分发装置，分发模块根据按照预设的触发条件，将获得的日志文件发往审计模块，审计模块根据预设的规则对日志文件进行审计。下面结合附图对本申请优选的实施方式进行详细说明。参阅图1所示，以分布式结构重新设计审计平台，该审计平台至少包括采集模块10、分发模块11和审计模块12；其中，采集模块10用于从云环境下采用系统日志，而分发模块11用于缓存采集的系统日志，并按照设定的触发事件发往审计模块12，审计模块则会基于预设事件规则对系统日志进行审计，获得审计结果。基于上述日志审计系统，参阅图2所示，本申请实施例中，进行日志审计的具体流程如下：步骤200：采集模块10从云端的各类平台分别采集相应的系统日志，并将获得的系统日志缓存至分布式异步队列中。如图1所示，实际应用中，不同类平台可以通过应用程序编程接口(ApplicationProgrammingInterface，API)或者代理(Agent)接入采集模块10，这样可以方便日志源扩展；采集模块10可以定期从各类平台采集相应的系统日志，以任意一平台A为例，假设平台A通过API接入采集模块10，那么，采集模块10可以随时从平台A读取相应的系统日志，可选的，采集模块10可以一次性读取平台A上所有的系统日志，或者，为了节省系统资源，采集模块10可以对系统日志进行初步筛选，例如，根据预设的筛选条件(如，设定日志格式，设定日志属性、设定日志日期等等)从平台A中读取出符合上述筛选条件的系统日志。以本文档来自技高网...

【技术保护点】
一种日志审计方法，其特征在于，包括：审计平台从云端的各类平台分别采集相应的系统日志，并将获得的系统日志缓存至分布式异步队列中；审计平台确定满足预计的触发条件时，从所述分布式异步队列中读取符合所述触发条件的系统日志；审计平台基于规则模型对获得的系统日志进行审计，其中，所述规则模型是基于历史审计数据进行机器学习训练后生成的。

【技术特征摘要】
1.一种日志审计方法，其特征在于，包括：审计平台从云端的各类平台分别采集相应的系统日志，并将获得的系统日志缓存至分布式异步队列中；审计平台确定满足预计的触发条件时，从所述分布式异步队列中读取符合所述触发条件的系统日志；审计平台基于规则模型对获得的系统日志进行审计，其中，所述规则模型是基于历史审计数据进行机器学习训练后生成的。2.如权利要求1所述的方法，其特征在于，审计平台从云端的任意一平台采集相应的系统日志，包括：基于设定的筛选条件，实时从所述任意一平台采集符合所述筛选条件的系统日志。3.如权利要求1所述的方法，其特征在于，所述审计平台确定满足预计的触发条件时，从所述分布式异步队列中读取符合所述触发条件的系统日志，包括：从所述分布式异步队列中读取满足第一订阅内容的系统日志；或者，从所述分布式异步队列中读取缓存时长满足第一设定阈值的系统日志；或者，从所述分布式异步队列中读取缓存数据量满足第二设定阈值的系统日志。4.如权利要求1、2或3所述的方法，其特征在于，所述审计平台基于规则模型对获得的任意一条系统日志进行审计，包括：读取所述任意一条系统日志后，基于所述任意一条日志包含的主机字段、路径字段和参数字段获取相匹配的规则模型；采用获得的规则模型对所述任意一条系统日志进行检测，计算所述任意一条系统日志基于所述规则模型输出的概率；将所述概率与预设的门限值进行比较，确定所述概率低于所述门限值时，确定所述任意一条系统日志为异常日志，确定所述概率不低于所述门限值时，确定所述任意一条日志为正常日志。5.如权利要求4所述的方法，其特征在于，进一步包括：审计平台对应符合事件特征的系统日志及相应的审计结果进行索引构建。6.如权利要求1、2或3所述的方法，其特征在于，进一步包括：审计平台对应满足第二订阅内容的系统日志进行系统日志初始索引构建；或/和，审计平台对应满足第三订阅内容的系统日志进行保存。7.一种日志审计平台，...

【专利技术属性】
技术研发人员：林贤圩，林龙，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY