一种电力信息系统多源日志数据处理方法技术方案

本发明专利技术公开了一种电力信息系统多源日志数据处理方法，包括采集日志数据，用于获取多种来源不同的日志数据，并将采集的每条日志信息扫描分割成字段序列存储到数据库中，日志数据来源包括网络设备日志，安全设备日志和系统日志；数据预处理，用于去除冗余数据获取有效数据，将网络设备日志，安全设备日志和系统日志去除冗余数据并分别存储到对应的数据库中；关联融合多源日志数据，根据采集到的网络设备日志，安全设备日志和系统日志数据库中的日志数据建立关联规则库。其中在数据预处理中，为了去除不在研究范围内的冗余数据，采用模糊聚类算法将日志数据分类，模糊聚类方法将日志数据不确定的划分到类别中，更加符合实际情况。

A method of multi-source log data processing in power information system

【技术实现步骤摘要】
一种电力信息系统多源日志数据处理方法
本专利技术涉及电力系统日志分析
，特别是涉及一种电力信息系统多源日志数据处理方法。
技术介绍
日志信息能够全方位的记录系统的运行，大量的事件和攻击，用于分析网络态势很重要，但在日志分析中也会因为一些日志本身的原因带来很多不便和缺陷，在多源日志分析中主要的关键点和难点如下：(1)不同数据源的日志信息格式不同。在结合多种数据源的日志进行分析时不得不面对不同格式的日志数据，不同数据源的日志不仅格式有差异，存储的方式等也会有区别。有的日志信息能够轻易理解但也有部分日志信息不容易理解，所以如何在对多源日志信息综合分析时将所有日志的字段都理解清楚是多源日志分析的关键问题。(2)需要分析的日志数据量大。无论是哪一个来源的日志记录在时间的积累下都会积累成一个庞大的信息量，当结合了多个数据源中的日志数据后，需要分析的日志量将会非常庞大，如何快速的筛选出所需的信息并进行处理也是一个难点。(3)数据对准。不同的来源的日志信息提供的内容是根据自身的参数设置产生的，要将不同的信息结合起来分析就需要将它们放入同一个参数体系中，这时属性归并删减和数据对准就是至关重要的问题。(4)矛盾信息。因为每个设备、应用的功能不同，在对同一网络环境进行测量时，可能因为一些噪声的原因产生虚假的信息导致不同来源的日志结论大相径庭，如何处理这些虚假信息并将正确信息有效的融合将是一个关键问题。
技术实现思路
针对上述现有技术存在的问题，本专利技术提供了一种电力信息系统多源日志数据处理方法，包括：步骤1：采集日志数据，用于获取多种来源不同的日志数据，并将采集的每条日志信息扫描分割成字段序列存储到数据库中，日志数据来源包括网络设备日志，安全设备日志和系统日志；步骤2：数据预处理，用于去除冗余数据获取有效数据，将网络设备日志，安全设备日志和系统日志去除冗余数据并分别存储到对应的数据库中；步骤3：关联融合多源日志数据，根据采集到的网络设备日志，安全设备日志和系统日志数据库中的日志数据建立关联规则库。作为上述方案的进一步优化，所述多源日志数据预处理包括：去除每条日志信息的多余属性数据：每种来源的日志数据，根据预设需要保留的属性字段，通过正则表达式匹配的方式将每条日志信息中的需要保留的属性字段提取出来存储；去除属性值超范围的日志信息：根据对某一属性的属性值预设的范围，滤除超范围的数据；将不同来源的日志数据统一格式，根据预设的统一格式中每条日志信息需要的属性，将所有日志数据转换为相同格式；作为上述方案的进一步优化，所述去除属性值超范围的日志信息，先将去除多余属性数据后的数据通过模糊聚类方法分类，分类完成后：将主机系统日志按照事件类型模糊分类，保留事件类型为错误，审核失败和警告的日志数据；将安全设备日志按事件严重程度模糊分类，保留事件严重程度为攻击和可疑的事件；将网络设备日志按照事件严重程度模糊分类，保留严重级别为emergency、alert、critical、error和warnings的事件。作为上述方案的进一步优化，所述通过模糊聚类方法分类具体为：4.1、将采集的日志数据记为X＝{x1，x2，x3，.....xn}，其中Xi是用保留下的属性对应的属性值组成的向量数据；4.2、根据矩阵X获取每两条日志数据的相似度，得到相似矩阵R，其中计算相似度采用夹角余弦法；4.3、根据相似矩阵R采用传递闭包法获取等价矩阵，采用公式为：R2k＝(R2k)2，R2k为传递闭包；4.4、根据等价矩阵，取λ∈[0，1]，获得日志数据的不同λ值下的聚类结果，根据实际情况判断最符合实际的λ以及聚类结果。作为上述方案的进一步优化，所述关联融合多源日志数据具体为：将统一格式后的日志数据按照发生时间排列，按照预设时间间隔设置滑动时间窗口，将日志数据划分到不同的滑动时间窗口中，对每个滑动时间窗口中的发生事件，获取事件发生的前提条件和造成的结果，组成每个发生事件的关联规则表单。本专利技术的一种电力信息系统多源日志数据处理方法，具备如下有益效果：1.本专利技术的一种电力信息系统多源日志数据处理方法，在数据预处理中，为了去除不在研究范围内的冗余数据，采用模糊聚类算法将日志数据分类，模糊聚类方法将日志数据不确定的划分到类别中，更加符合实际情况。2.本专利技术的一种电力信息系统多源日志数据处理方法，融合了网络设备日志，安全设备日志和系统日志多种来源的日志数据，使得数据更加完善，便于通过多种来源的日志全面分析电力信息系统的安全情况。附图说明图1为本专利技术一种电力信息系统多源日志数据处理方法的整体流程框图；图2为本专利技术一种电力信息系统多源日志数据处理方法中模糊聚类算法的流程框图；实施方式下面参考附图描述根据本专利技术实施例的一种电力信息系统多源日志数据处理方法。如图所示，本专利技术的一种电力信息系统多源日志数据处理方法，包括：步骤1：采集日志数据，用于获取多种来源不同的日志数据，并将采集的每条日志信息扫描分割成字段序列存储到数据库中，日志数据来源包括网络设备日志，安全设备日志和系统日志；其中，采集的日志数据包括Linux主机日志采集模块，Windows主机日志采集模块，安全设备日志采集模块和网络设备日志采集模块；采集Linux主机日志的方法为：在Linux主机群上进行syslog的配置服务，在对应用于采集其日志信息的Windows主机上安装连接软件，利用Syslog服务器中提供的功能将Linux主机群上采集到的日志传输到Windows主机上，把采集传输过来的日志文件以文本文件的方式进行存储；采集Windows的日志信息时，通过系统中的eventquery脚本工具来进行日志的采集；对于安全设备日志采集，选择采用开源的snort系统来进行获取；在网络设备日志采集中，选择使用交换机来作为网络设备进行日志的采集，在windows系统上创建syslog服务器，udp通过端口来接受交换机的日志信息；每种来源的日志数据分别保存到各自对应的数据库中。步骤2：数据预处理，用于去除冗余数据获取有效数据，将网络设备日志，安全设备日志和系统日志去除冗余数据并分别存储到对应的数据库中；步骤3：关联融合多源日志数据，根据采集到的网络设备日志，安全设备日志和系统日志数据库中的日志数据建立关联规则库。在步骤2中的多源日志数据预处理包括：去除每条日志信息的多余属性数据：每种来源的日志数据，根据预设需要保留的属性字段，通过正则表达式匹配的方式将每条日志信息中的需要保留的属性字段提取出来存储；在主机系统日志信息中，需要保留的属性包括事件类型，事件ID，事件来源，计算机名，用户，事件描述，日志类型；在安全设备日志中需要的属性：时间节点，事件发生的时间；报警消息(描述了发现了什么漏洞或者攻击)；协议；源IP地址，攻击发起点；目标IP地址，攻击本文档来自技高网...

【技术保护点】
1.一种电力信息系统多源日志数据处理方法，其特征在于：包括：/n步骤1：采集日志数据，用于获取多种来源不同的日志数据，并将采集的每条日志信息扫描分割成字段序列存储到数据库中，日志数据来源包括网络设备日志，安全设备日志和系统日志；/n步骤2：数据预处理，用于去除冗余数据获取有效数据，将网络设备日志，安全设备日志和系统日志去除冗余数据并分别存储到对应的数据库中；/n步骤3：关联融合多源日志数据，根据采集到的网络设备日志，安全设备日志和系统日志数据库中的日志数据建立关联规则库。/n

【技术特征摘要】
1.一种电力信息系统多源日志数据处理方法，其特征在于：包括：
步骤1：采集日志数据，用于获取多种来源不同的日志数据，并将采集的每条日志信息扫描分割成字段序列存储到数据库中，日志数据来源包括网络设备日志，安全设备日志和系统日志；
步骤2：数据预处理，用于去除冗余数据获取有效数据，将网络设备日志，安全设备日志和系统日志去除冗余数据并分别存储到对应的数据库中；
步骤3：关联融合多源日志数据，根据采集到的网络设备日志，安全设备日志和系统日志数据库中的日志数据建立关联规则库。


2.根据权利要求1所述的一种电力信息系统多源日志数据处理方法，其特征在于：所述多源日志数据预处理包括：
去除每条日志信息的多余属性数据：每种来源的日志数据，根据预设需要保留的属性字段，通过正则表达式匹配的方式将每条日志信息中的需要保留的属性字段提取出来存储；
去除属性值超范围的日志信息：根据对某一属性的属性值预设的范围，滤除超范围的数据；
将不同来源的日志数据统一格式，根据预设的统一格式中每条日志信息需要的属性，将所有日志数据转换为相同格式。


3.根据权利要求2所述的一种电力信息系统多源日志数据处理方法，其特征在于：所述去除属性值超范围的日志信息，先将去除多余属性数据后的数据通过模糊聚类方法分类，分类完成后：
将主机系统日志按照事件类型模糊分类，保留事...

【专利技术属性】
技术研发人员：何东，张辰，饶涵宇，徐海青，徐唯耀，陈是同，吴小华，董媛媛，吴立刚，浦正国，张彬彬，胡心颖，郭庆，张鹏飞，
申请(专利权)人：国网浙江省电力有限公司信息通信分公司，安徽继远软件有限公司，国网信息通信产业集团有限公司，国家电网有限公司，
类型：发明
国别省市：浙江;33