一种异常日志和流量关联分析的方法技术

本发明专利技术公开了一种异常日志和流量关联分析的方法，可以在“语义”级别统一SYSLOG的含义，并且通过统一之后的格式对流量进行关联。本发明专利技术可以将一个大型网络中的风险事件和流量关联，有助于问题定位，根因溯源，通过本发明专利技术，可以将故障事件和流量信息进行自动关联，避免了手工查找带来的复杂定位过程。

Method for abnormal log and traffic association analysis

The invention discloses a method for analyzing abnormal logs and traffic associations, which can unify the meaning of SYSLOG at the semantic level and associate the traffic in a unified format. The invention can be a large network of risk events and flow rate, contribute to the localization problem, the root causes of traceability, the invention can be fault events and traffic information automatically, avoiding the complex positioning process manual to find the.

【技术实现步骤摘要】
一种异常日志和流量关联分析的方法
本专利技术涉及一种分析方法，具体是一种异常日志和流量关联分析的方法。
技术介绍
在IT运维领域，SYSLOG日志和流量信息都是非常重要的信息来源。系统日志（Syslog）协议是在一个IP网络中转发系统日志信息的标准，它是在美国加州大学伯克利软件分布研究中心（BSD）的TCP/IP系统实施中开发的，目前已成为工业标准协议，可用它记录设备的日志。Syslog记录着系统中的任何事件，管理者可以通过查看系统记录随时掌握系统状况。系统日志通过Syslog进程记录系统的有关事件，也可以记录应用程序运作事件。通过适当配置，还可以实现运行Syslog协议的机器之间的通信。通过分析这些网络行为日志，可追踪和掌握与设备和网络有关的情况。为了探测网络中是否存在异常的访问，业界提出了以检测网络数据流的方法来判断网络异常和攻击的方法，借助实时的检测网络数据流信息，通过与历史记录模式匹配（判断是否正常）、或者与异常模式匹配（判断是否被攻击），让网络管理人员可以实时查看全网的状态，检测网络性能可能出现的瓶颈，并进行自动处理或告警显示，以保证网络高效、可靠地运转。这两种信息对IT系统的维护都具有重要意义，SYSLOG日志中具备更明确的信息，记录着某个设备的故障、出现的问题以及发生的准确的时间，流量信息记录着网络中某个时刻的流量特征。现阶段的技术，都只是分离的使用两种信息而不能综合SYSLOG和流量信息，自动的对网络中出现的问题进行分析和定位。
技术实现思路
本专利技术的目的在于提供一种异常日志和流量关联分析的方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种异常日志和流量关联分析的方法，包括如下步骤：(1)统一接收来自不同设备的SYSLOG日志，首先根据SYSLOG日志的来源地址比对手工设置的数据库中是否存在该日志的对应系统或者厂商；(2)如果不能确定SYSLOG日志属于哪个厂商的，则分解syslog日志中的MSG部分，根据MSG的前128字节的指纹信息对SYSLOG日志进行第二次分类；(3)通过上述两个步骤，将一条syslog日志归属到某个厂商或者某个特定操作系统；(4)预存一个不同厂商、不同操作系统的日志格式库，将分类之后的日志和对应厂商、操作系统的日志进行进行快速正则化的对比，将该syslog日志翻译成一个具备唯一ID的消息；(5)一个消息ID是不同厂商的syslog消息的统一化解释，当全网不同厂商的设备发现一次“A攻击事件”告警的时候，每个设备发出的SYSLOG信息不用，系统能够将所有这些信息归类成“A攻击事件”；(6)不同的消息ID会附加一些“可选参数”，如果该消息存在“可选参数”，系统会根据可选参数信息，进一步剥离“可选参数”信息；(7)通过上述操作，一条SYSLOG消息会分解成：消息ID+可选参数列表的形式；(8)通过时间戳、消息ID存在的设备数量、可选参数中的地址信息、接口信息，去流量信息库进行对比，找到这条SYSLOG日志是由哪些流量触发的；(9)如果SYSLOG日志在已知信息库中没有翻译成“事件ID”，则将该条日志放入学习库，根据学习库中的积累和特征学习，生成新的规则ID。作为本专利技术再进一步的方案：完整的syslog日志消息由3部分组成，分别是PRI、HEADER和MSG。与现有技术相比，本专利技术的有益效果是：本专利技术可以将一个大型网络中的风险事件和流量关联，有助于问题定位，根因溯源，通过本专利技术，可以将故障事件和流量信息进行自动关联，避免了手工查找带来的复杂定位过程。附图说明图1为异常日志和流量关联分析的方法的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术实施例中，一种异常日志和流量关联分析的方法，包括如下步骤：(1)统一接收来自不同设备的SYSLOG日志，首先根据SYSLOG日志的来源地址比对手工设置的数据库中是否存在该日志的对应系统或者厂商；(2)完整的syslog消息由3部分组成，分别是PRI、HEADER和MSG。如果不能确定SYSLOG日志属于哪个厂商的，则分解syslog日志中的MSG部分，根据MSG的前128字节的指纹信息对SYSLOG日志进行第二次分类；(3)通过上述两个步骤，可以将一条syslog日志归属到某个厂商或者某个特定操作系统；(4)在该专利技术中，预存了一个不同厂商、不同操作系统的日志格式库，将分类之后的日志和对应厂商、操作系统的日志进行进行快速正则化的对比，就可以将该syslog日志翻译成一个具备唯一ID的消息；(5)一个消息ID是不同厂商的syslog消息的统一化解释。这样当全网不同厂商的设备发现一次“A攻击事件”告警的时候，每个设备发出的SYSLOG信息都是不一样的，但是该系统可以将所有这些信息归类成“A攻击事件”。(6)不同的消息ID同时会附加一些“可选参数”，例如ID为001的消息，可能会存在“来源地址”信息，如果该消息存在“可选参数”，系统会根据可选参数信息，进一步剥离“可选参数”信息。(7)通过上述操作，一条SYSLOG消息会分解成：消息ID+可选参数列表的形式。(8)通过时间戳、消息ID存在的设备数量、可选参数中的地址信息、接口信息，去流量信息库进行对比，就可以找到这条SYSLOG日志是由哪些流量触发的。(9)如果SYSLOG日志在已知信息库中没有翻译成“事件ID”，则将该条日志放入学习库，根据学习库中的积累和特征学习，将会生成新的规则ID。对于本领域技术人员而言，显然本专利技术不限于上述示范性实施例的细节，而且在不背离本专利技术的精神或基本特征的情况下，能够以其他的具体形式实现本专利技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本专利技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本专利技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。本文档来自技高网...

【技术保护点】
一种异常日志和流量关联分析的方法，其特征在于，包括如下步骤：(1)统一接收来自不同设备的SYSLOG日志，首先根据SYSLOG日志的来源地址比对手工设置的数据库中是否存在该日志的对应系统或者厂商；(2)如果不能确定SYSLOG日志属于哪个厂商的，则分解syslog日志中的MSG部分，根据MSG的前128字节的指纹信息对SYSLOG日志进行第二次分类；(3)通过上述两个步骤，将一条syslog日志归属到某个厂商或者某个特定操作系统；(4)预存一个不同厂商、不同操作系统的日志格式库，将分类之后的日志和对应厂商、操作系统的日志进行进行快速正则化的对比，将该syslog日志翻译成一个具备唯一ID的消息；(5)一个消息ID是不同厂商的syslog消息的统一化解释，当全网不同厂商的设备发现一次“A攻击事件”告警的时候，每个设备发出的SYSLOG信息不用，系统能够将所有这些信息归类成“A攻击事件”；(6)不同的消息ID会附加一些“可选参数”，如果该消息存在“可选参数”，系统会根据可选参数信息，进一步剥离“可选参数”信息；(7)通过上述操作，一条SYSLOG消息会分解成：消息ID+可选参数列表的形式；(8)通过时间戳、消息ID存在的设备数量、可选参数中的地址信息、接口信息，去流量信息库进行对比，找到这条SYSLOG日志是由哪些流量触发的；(9)如果SYSLOG日志在已知信息库中没有翻译成“事件ID”，则将该条日志放入学习库，根据学习库中的积累和特征学习，生成新的规则ID。...

【技术特征摘要】
1.一种异常日志和流量关联分析的方法，其特征在于，包括如下步骤：(1)统一接收来自不同设备的SYSLOG日志，首先根据SYSLOG日志的来源地址比对手工设置的数据库中是否存在该日志的对应系统或者厂商；(2)如果不能确定SYSLOG日志属于哪个厂商的，则分解syslog日志中的MSG部分，根据MSG的前128字节的指纹信息对SYSLOG日志进行第二次分类；(3)通过上述两个步骤，将一条syslog日志归属到某个厂商或者某个特定操作系统；(4)预存一个不同厂商、不同操作系统的日志格式库，将分类之后的日志和对应厂商、操作系统的日志进行进行快速正则化的对比，将该syslog日志翻译成一个具备唯一ID的消息；(5)一个消息ID是不同厂商的syslog消息的统一化解释，当全网不同厂商的设备发现一次“A攻击事件”告...

【专利技术属性】
技术研发人员：应磊，
申请(专利权)人：上海以弈信息技术有限公司，
类型：发明
国别省市：上海,31