一种基于大数据的日志审计系统技术方案

技术编号:37419989 阅读:11 留言:0更新日期:2023-04-30 09:42
本发明专利技术公开了一种基于大数据的日志审计系统,涉及日志审计领域,该系统包括:端侧日志采集平台,用于采集并上传日志数据;文件传输协议服务器、消息队列集群,与端侧日志采集平台连接;数据处理模块,与文件传输协议服务器和消息队列集群连接,用于将文件传输协议数据文件和消息队列数据融合并写入分布式文件系统;分布式文件系统,用于加载贴源数据层表数据;稽核模块,用于对贴源数据层表数据进行稽核;审计模块,用于采用审计模型对稽核通过数据进行审计,确定稽核通过数据中的违规信息。本发明专利技术通过采集、传输、转换、分析挖掘全量的操作日志,解决了传统行为日志审计效率低下问题,提高了数据处理能力、数据分析的时效性和数据处理效率。数据处理效率。数据处理效率。

【技术实现步骤摘要】
一种基于大数据的日志审计系统


[0001]本专利技术涉及日志审计领域,特别是涉及一种基于大数据的日志审计系统。

技术介绍

[0002]目前进行日志审计的系统从展现或者模型上还存在不完整,或者不完善,或存在集中在某个领域内的现象,这个平台属于日志审计平台产品,通过此产品能够比较快速及时的审计出运维运营人员的操作是否存在违规操作,从而发现日常操作中的问题,从而对不符合规范的操作进行整改或者处罚。现有技术都是基于批处理或者流处理单一模式进行的,无法同时进行批流一体进行实时处理,因此,数据处理的实时性差,处理效率低。

技术实现思路

[0003]基于此,本专利技术实施例提供一种基于大数据的日志审计系统,以提高数据处理的实时性。
[0004]为实现上述目的,本专利技术提供了如下方案:
[0005]一种基于大数据的日志审计系统,包括:
[0006]端侧日志采集平台,用于采集并上传日志数据;所述日志数据,包括:系统日志、应用日志、主机日志和各业务系统数据;
[0007]文件传输协议服务器,与所述端侧日志采集平台连接,用于接收并存储所述日志数据,得到文件传输协议数据文件;
[0008]消息队列集群,与所述端侧日志采集平台连接,用于接收并存储所述日志数据,得到消息队列数据;
[0009]数据处理模块,与所述文件传输协议服务器和所述消息队列集群连接,用于采用数据同步工具对所述文件传输协议数据文件和所述消息队列数据进行数据补全、数据解析、数据标准化和数据清洗,得到清洗后日志数据,并将所述清洗后日志数据写入分布式文件系统;
[0010]分布式文件系统,与所述数据处理模块连接,用于采用修复表操作,将写入的清洗后日志数据加载为贴源数据层表数据;
[0011]稽核模块,与所述分布式文件系统连接,用于对所述贴源数据层表数据中的每个字段按照设定稽核标准进行稽核,得到稽核通过数据;
[0012]审计模块,与所述稽核模块连接,用于采用审计模型按照设定审计标准对所述稽核通过数据进行审计,确定所述稽核通过数据中的违规信息;
[0013]其中,所述设定审计标准,包括:数据是否为登录日志,数据的登录账号是否在白名单中,数据的源地址是否在堡垒机信息中和数据是否在数据资产中。
[0014]可选地,所述基于大数据的日志审计系统,还包括:
[0015]审计结果展示模块,用于基于微服务框架展示所述违规数据。
[0016]可选地,所述基于大数据的日志审计系统,还包括:
[0017]关系数据库,与所述审计模块连接,用于存储所述违规信息,并为所述审计结果展示模块提供所述违规信息。
[0018]可选地,所述基于大数据的日志审计系统,还包括:
[0019]接口平台,分别与所述关系数据库和所述审计结果展示模块连接,用于调用所述违规信息,以在所述审计结果展示模块中展示。
[0020]可选地,所述基于大数据的日志审计系统,还包括:
[0021]调度系统,用于将所述违规信息调度到所述关系数据库中。
[0022]可选地,所述稽核模块,具体包括:
[0023]字段判断单元,用于对于所述贴源数据层表数据中的每个字段,判断所述字段是否为空,若为空,则稽核不通过,若不为空,则稽核通过,将所述字段确定为稽核通过数据。
[0024]可选地,所述审计模块,具体包括:
[0025]日志判断单元,用于判断所述稽核通过数据中类型为登录日志的数据,得到第一数据;
[0026]白名单过滤单元,用于获取所述第一数据的源地址、目的地址以及登录账号,根据所述源地址和所述目的地址过滤白名单信息,得到白名单,并确定所述第一数据中所述登录账号不在白名单中的数据,得到第二数据;
[0027]堡垒机信息判断单元,用于确定所述第二数据的源地址不在堡垒机信息中的数据,得到第三数据;
[0028]资产匹配单元,用于将所述第三数据与数据资产进行匹配,若所述第三数据不在数据资产中,则判断所述第三数据为违规信息,且违规类型为外部绕行,若所述第三数据在数据资产中,则判断所述第三数据为违规信息,且违规类型为内部绕行。
[0029]可选地,所述系统日志,包括:认证日志、授权日志、账号日志和审计日志;
[0030]所述各业务系统数据,包括:性能管理系统数据、资源管理系统数据、客服管理系统数据、检测系统数据、分析系统数据和日志留存系统数据。
[0031]根据本专利技术提供的具体实施例,本专利技术公开了以下技术效果:
[0032]本专利技术实施例提出了一种基于大数据的日志审计系统,数据处理模块分别与文件传输协议服务器和消息队列集群连接,采用数据同步工具对文件传输协议数据文件和消息队列数据进行数据补全、数据解析、数据标准化和数据清洗,并将清洗后日志数据写入分布式文件系统,本专利技术对两种数据进行处理,采用批流融合技术解决了只有一种单一处理模式的问题,使得以前按照批次进行传输的处理的数据,可以实时进行上传处理,提高了数据处理的实时性;通过采集、传输、转换、分析挖掘全量的操作日志,解决了传统行为日志审计效率低下问题,提高了数据处理能力、数据分析的时效性和数据处理效率。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0034]图1为本专利技术实施例提供的基于大数据的日志审计系统的结构图;
[0035]图2为现有日志审计系统的结构图;
[0036]图3为本专利技术实施例提供的基于大数据的日志审计系统的系统架构图;
[0037]图4为本专利技术实施例提供的基于大数据的日志审计系统的具体实现过程示意图。
具体实施方式
[0038]下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。
[0039]为使本专利技术的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0040]参见图1,本实施例的基于大数据的日志审计系统,包括:
[0041]端侧日志采集平台,用于采集并上传日志数据;所述日志数据,包括:系统日志、应用日志、主机日志和各业务系统数据。
[0042]文件传输协议服务器,与所述端侧日志采集平台连接,用于接收并存储所述日志数据,得到文件传输协议数据文件。
[0043]消息队列集群,与所述端侧日志采集平台连接,用于接收并存储所述日志数据,得到消息队列数据。
[0044]数据处理模块,与所述文件传输协议服务器和所述消息队列集群本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的日志审计系统,其特征在于,包括:端侧日志采集平台,用于采集并上传日志数据;所述日志数据,包括:系统日志、应用日志、主机日志和各业务系统数据;文件传输协议服务器,与所述端侧日志采集平台连接,用于接收并存储所述日志数据,得到文件传输协议数据文件;消息队列集群,与所述端侧日志采集平台连接,用于接收并存储所述日志数据,得到消息队列数据;数据处理模块,与所述文件传输协议服务器和所述消息队列集群连接,用于采用数据同步工具对所述文件传输协议数据文件和所述消息队列数据进行数据补全、数据解析、数据标准化和数据清洗,得到清洗后日志数据,并将所述清洗后日志数据写入分布式文件系统;分布式文件系统,与所述数据处理模块连接,用于采用修复表操作,将写入的清洗后日志数据加载为贴源数据层表数据;稽核模块,与所述分布式文件系统连接,用于对所述贴源数据层表数据中的每个字段按照设定稽核标准进行稽核,得到稽核通过数据;审计模块,与所述稽核模块连接,用于采用审计模型按照设定审计标准对所述稽核通过数据进行审计,确定所述稽核通过数据中的违规信息;其中,所述设定审计标准,包括:数据是否为登录日志,数据的登录账号是否在白名单中,数据的源地址是否在堡垒机信息中和数据是否在数据资产中。2.根据权利要求1所述的一种基于大数据的日志审计系统,其特征在于,还包括:审计结果展示模块,用于基于微服务框架展示所述违规数据。3.根据权利要求2所述的一种基于大数据的日志审计系统,其特征在于,还包括:关系数据库,与所述审计模块连接,用于存储所述违规信息,并为所述审计结果展示模块提供所述违规信息。4.根据权利要求3所述的一种基于大数据的日志审计系统,其特征在...

【专利技术属性】
技术研发人员:许彬彬孙娜杨京波
申请(专利权)人:北京志行正科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1