【技术实现步骤摘要】
日志处理方法、系统、存储介质及计算机设备
本专利技术涉及电网安全
，特别是涉及一种日志处理方法、系统、存储介质及计算机设备。
技术介绍
目前，随着信息化的快速发展，国内外网络安全形势日趋复杂，乌克兰、委内瑞拉多次遭遇网络攻击导致停电、美国电力系统因防火墙漏洞导致运行中断、南非电力公司遭勒索病毒攻击导致系统中断等事件表明，针对能源行业的敌对势力始终存在，通过黑客手段攻击电力系统的行为已经成为现实。为有效应对日趋复杂的网络安全形势，面对可能出现的有组织、系统性、高频度、长期潜伏的网络攻击，亟需在现有技防措施和防护体系基础上，建立更加完善的管理、技术体系，强化网络安全防护与事件溯源能力。但电力系统网络安全是一个复杂的系统工程，其中有大量的日志文件需要进行处理，且现有的大量安全产品使得安全运营变得日渐庞杂，安全产品的日志相互之间不关联互动、信息不互换共享，难以形成有价值的、全面系统的安全态势分析。
技术实现思路
为此，本专利技术的一个实施例提出一种日志处理方法，以对大量的日志文件进行处理，解...
【技术保护点】
1.一种日志处理方法，其特征在于，所述方法包括：/n日志收集，基于SIEM技术收集数据源，所述数据源包括运维类日志和安全类日志，所述运维类日志包括操作系统日志、中间件日志、数据库日志、网络设备日志、安全设备日志、业务系统的操作日志和/或告警日志，所述安全类日志为安全设备的攻击日志；/n日志解析，通过日志类型的调研和分析，明细化所需的日志字段，进行全量日志的范式化整合，并通过实时计算引擎，结合攻击关联向量，进行数据清洗和预处理；/n日志存储和分析，将解析后的数据放入消息队列，此时数据将分为两份，一份范式化后的数据直接入库，另一份基于范式化后的结果用于查询、统计、分析；/n日志...
【技术特征摘要】
1.一种日志处理方法，其特征在于，所述方法包括：
日志收集，基于SIEM技术收集数据源，所述数据源包括运维类日志和安全类日志，所述运维类日志包括操作系统日志、中间件日志、数据库日志、网络设备日志、安全设备日志、业务系统的操作日志和/或告警日志，所述安全类日志为安全设备的攻击日志；
日志解析，通过日志类型的调研和分析，明细化所需的日志字段，进行全量日志的范式化整合，并通过实时计算引擎，结合攻击关联向量，进行数据清洗和预处理；
日志存储和分析，将解析后的数据放入消息队列，此时数据将分为两份，一份范式化后的数据直接入库，另一份基于范式化后的结果用于查询、统计、分析；
日志展示，将分析结果或查询统计结果送至前端进行调用和展示。
2.根据权利要求1所述的日志处理方法，其特征在于，所述日志解析的步骤具体包括：
对操作系统日志及数据库日志按照各自类型解析，建立不同的索引序列，以进行主机排障及安全关联分析；
对中间件日志进行合并解析，集合成HTTP访问请求索引，以作为安全分析的基准数据；
对网络设备日志按照各自类型解析，建立不同的索引序列，以进行设备排障及安全关联分析；
对安全设备日志进行合并解析，集合成安全告警索引，以直接进行处置。
3.根据权利要求1所述的日志处理方法，其特征在于，所述日志存储和分析的步骤中，采用全文搜索引擎ES进行日志数据存储，所述全文搜索引擎ES采样分布式集群架构，包括管理节点、协调节点、数据节点；
所述数据节点用于存储数据，创建本地索引，同时处理数据相关的操作；
所述协调节点用于接收客户端的请求，同时进行请求的转发和合并；
所述管理节点用于集群管理。
4.根据权利要求3所述的日志处理方法，其特征在于，所述日志存储的步骤包括：
将所述数据节点根据不同的资源配比打上标签；
定义2个时序索引的IndexTemplate，包括HotTemplate和WarmTemplate；
用HotTemplate创建一个ActiveIndex名为active-logs-1，别名active-logs，支持索引切割；
插入一定数据后，通过rolleroverapi将active-logs切割，并将切割前的Index移动到WarmNodes上，并阻止写入；
通过ShrinkingAPI收缩索引active-logs-1为inactive-logs-1，原Shard为5，收缩到2或3；
通过force-mergingapi合并inactive-logs-1索引每个Shard的Segmen...
【专利技术属性】
技术研发人员：章玲玲，林楠，肖勇才，徐健，
申请(专利权)人：国网江西省电力有限公司电力科学研究院，国家电网有限公司，
类型：发明
国别省市：江西;36
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。