一种多层次集群式架构的多源安全日志采集系统及方法技术方案

本发明专利技术公开了一种多层次集群式架构的多源安全日志采集系统及方法，在交换机和防火墙等网络设备日志和网络行为日志等多源异构日志的进行统一采集；在日志源控制方面，采用访问控制技术，能够在不影响其他日志源采集的条件下，动态新增、删除和修改日志源配置，并实现对单个日志源采集任务的启停操作，保障日志采集的不间断性；在采集方法上，采用集群式架构设计，当一个采集节点出现故障或性能出现瓶颈时，能够动态调配负载，保障海量日志数据采集的可靠性和实时性。在数据的存储上，将安全日志同时存储至Hbase数据库和ES索引中，既能够支持智能化的大数据分析，也能够支持日志在线查询分析。

【技术实现步骤摘要】

本专利技术涉及一种多层次集群式架构的多源安全日志采集系统及方法。
技术介绍
根据国家互联网中心的调查报告，2015年针对我国信息系统的高强度有组织攻击威胁形势严峻。构成信息系统的主机、防火墙、交换机和Web服务等软硬件设备都有记录用户访问行为的日志数据，包括用户操作行为、访问请求和系统错误异常等。因此要全面掌握系统安全状况、追溯攻击源头和定位系统漏洞，采集信息系统安全日志非常必要。信息系统中与安全事件相关的日志主要包括主机日志、访问日志、防火墙日志、网络设备日志和网络行为日志等。针对信息系统的网络攻击呈现复杂化，一次攻击事件往往由多个攻击步骤构成，会在不同的设备日志中留下痕迹。依靠单个日志事件，不能捕捉复杂有步骤的攻击行为。为溯源整个的攻击事件的步骤，对安全事件进行印证，需对多源安全日志进行采集，进而进行关联分析。海量的多源日志数据对日志采集方法的性能和可靠性提出了很高的要求：一是要支持异构多源日志的数据采集、解析和存储，包括对信息系统主机日志、Web服务访问日志、网络设备日志、安全设备日志和网络行为日志的采集、解析和存储；二是采集方法要具有可控性，日志源的增加、删除不影响其他日志源的采集任务的运行；三是采集方法要具有冗余性，当一个采集节点出现故障或者性能出现瓶颈时，不能影响日志采集的可靠性和实时性。四是采集方法要考虑日志分析的兼容性问题，即采集的安全数据既支持攻击路径挖掘、威胁态势感知等大数据挖掘，也要支持用户的在线统计查询。当前关于安全日志采集方法侧重于研究数据的采集方式和解析效率，以满足海量安全事件信息采集需求。专利(CN201310572103.0)“一种大规模分布式网络安全数据采集方法与系统”公开了一种海量网络安全数据采集方法。该方法实现了对海量安全数据的全面采集、数据格式的快速解析和采集系统之间弹性组合，满足了数据信息海量采集的要求。但是，该方法没有考虑多源主机、访问日志、防火墙日志、网络设备日志和网络行为日志等多源异构日志的采集需求，无法实现日志源的动态配置和负载的动态调配，难以满足多源安全日志数据采集的可靠性和实时性要求。
技术实现思路
针对以上问题，本专利技术提出了一种多层次集群式架构多源安全日志采集方法。在日志源采集方面，采用标准的Syslog协议，对Linux和Windows主机日志，Apache、Weblogic、IIS、Tomcat、Nginx等主流Web服务访问日志，以及交换机和防火墙等网络设备日志和网络行为日志等多源异构日志的进行统一采集；在日志源控制方面，采用访问控制技术，能够在不影响其他日志源采集的条件下，动态新增、删除和修改日志源配置，并实现对单个日志源采集任务的启停操作，保障日志采集的不间断性；在采集方法上，采用集群式架构设计，当一个采集节点出现故障或性能出现瓶颈时，能够动态调配负载，保障海量日志数据采集的可靠性和实时性。在数据的存储上，将安全日志同时存储至Hbase(一种分布式开源数据库)数据库和ES(ElasticSearch，一种分布式开源搜索引擎)索引中，既能够支持智能化的大数据分析，也能够支持日志在线查询分析。为了实现上述技术目的，本专利技术的技术方案是，一种多层次集群式架构的多源安全日志采集系统，包括Syslog客户端、访问控制服务器、负载均衡器、采集前置集群、Hbase存储服务集群、ES存储服务集群、Hbase数据库集群和ES集群；所述的Syslog客户端将安全日志封装成Syslog消息，并发送至访问控制服务器；所述的访问控制服务器与Syslog客户端、负载均衡器通信连接，并控制Syslog客户端和负载均衡模块监听端口的网络连通性；所述的负载均衡器与采集前置服务集群、访问控制服务器通信连接，并根据负载均衡策略，将采集日志流分发至采集前置服务集群；所述的采集前置服务集群包括至少两个采集前置服务模块，并与负载均衡器、Hbase存储服务集群、ES存储服务集群通信连接，以将日志流分发转发至Hbase存储服务集群和ES存储服务集群；所述的Hbase数据存储服务集群包括至少两个Hbase数据存储服务模块，并与采集前置服务集群、Hbase数据库集群通信连接，将接收到的Syslog消息解析成Hbase数据表格式，并存储到Hbase数据库集群中；所述的ES存储服务集群包括至少两个ES存储服务模块，并与采集前置服务集群、ES集群通信连接，ES存储服务集群将接收到的Syslog消息解析成ES消息格式，并存储到ES集群中。所述的系统，所述的采集前置服务模块包括第一侦听线程和第一接收线程、第一缓存队列、组包线程和分发线程；所述的第一侦听线程侦听负载均衡器的连接请求，如果收到负载均衡器的连接请求，则与负载均衡器建立一个TCP数据通信链路；第一接收线程从TCP数据通信链路中接收来自负载均衡器的Syslog消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到第一缓存队列；第一缓存队列是为先入先出的队列，队列中的一个元素即为一个Syslog消息对象；组包线程用于将第一缓存队列的消息对象取出，打包成遵守Java消息服务规范的消息体；负载分发线程根据IP地址和端口号探测Hbase数据存储服务模块和ES数据存储服务模块的连通性，并根据负载均衡策略，将JMS消息体发送到Hbase数据存储服务模块和ES数据存储服务模块。所述的系统，Hbase数据存储服务模块包括第二侦听线程和第二接收线程、第二缓存队列、第一解析线程和第一数据存储线程；第二侦听线程侦听采集前置服务模块的连接请求，如果收到采集前置服务模块的连接请求，则与采集前置服务模块建立一个TCP数据通信链路；接收线程从TCP数据通信链路中接收来自采集前置服务模块的JMS消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到第二缓存队列；第二缓存队列是为先入先出的队列，队列中的一个元素即为一个JMS消息对象；第一解析线程将第二缓存队列的消息对象取出，按照预先定义的Hbase日志数据表格式解析第二缓存队列块的消息对象；第一数据存储线程调用Hbase数据库集群的接口，将解析后的日志数据存储Hbase数据库集群中；其中安全日志数据表格式包括日期时间、客户端IP、服务器IP、请求方法、状态码、用户代理、Cookie信息、链接网址、访问路径、请求参数、事件ID、进程ID、对象名、源端口、日志级别、消息描述、协议、目的端口、动作19个数据字段。所述的系统，ES存储服务模块包括第三侦听线程和第三接收线程、第三缓存队列、第二解析线程和第二数据存储线程组成，第三侦听线程侦听采集前置服务模块的连接请求，如果收到采集前置服务模块的连接请求，则与采集前置服务模块建立一个TCP数据通信链路。第三接收线程从TCP数据通信链路中接收来自采集前置服务模块的JMS消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到缓存子模块。第三缓存队列是为先入先出的队列，队列中的一个元素即为一个JMS消息；第二解析线程将第三缓存队列的消息对象取出，按照定义的安全日志数据表格式解析第三缓存队列的消息对象；第二数据存储线程调用ES索引接口，将解析后的日志数据存储ES集群中。一种多层次集本文档来自技高网...

【技术保护点】
一种多层次集群式架构的多源安全日志采集系统，其特征在于，包括Syslog客户端、访问控制服务器、负载均衡器、采集前置集群、Hbase存储服务集群、ES存储服务集群、Hbase数据库集群和ES集群；所述的Syslog客户端将安全日志封装成Syslog消息，并发送至访问控制服务器；所述的访问控制服务器与Syslog客户端、负载均衡器通信连接，并控制Syslog客户端和负载均衡模块监听端口的网络连通性；所述的负载均衡器与采集前置服务集群、访问控制服务器通信连接，并根据负载均衡策略，将采集日志流分发至采集前置服务集群；所述的采集前置服务集群包括至少两个采集前置服务模块，并与负载均衡器、Hbase存储服务集群、ES存储服务集群通信连接，以将日志流分发转发至Hbase存储服务集群和ES存储服务集群；所述的Hbase数据存储服务集群包括至少两个Hbase数据存储服务模块，并与采集前置服务集群、Hbase数据库集群通信连接，将接收到的Syslog消息解析成Hbase数据表格式，并存储到Hbase数据库集群中；所述的ES存储服务集群包括至少两个ES存储服务模块，并与采集前置服务集群、ES集群通信连接，ES存储服务集群将接收到的Syslog消息解析成ES消息格式，并存储到ES集群中。...

【技术特征摘要】
1.一种多层次集群式架构的多源安全日志采集系统，其特征在于，包括Syslog客户端、访问控制服务器、负载均衡器、采集前置集群、Hbase存储服务集群、ES存储服务集群、Hbase数据库集群和ES集群；所述的Syslog客户端将安全日志封装成Syslog消息，并发送至访问控制服务器；所述的访问控制服务器与Syslog客户端、负载均衡器通信连接，并控制Syslog客户端和负载均衡模块监听端口的网络连通性；所述的负载均衡器与采集前置服务集群、访问控制服务器通信连接，并根据负载均衡策略，将采集日志流分发至采集前置服务集群；所述的采集前置服务集群包括至少两个采集前置服务模块，并与负载均衡器、Hbase存储服务集群、ES存储服务集群通信连接，以将日志流分发转发至Hbase存储服务集群和ES存储服务集群；所述的Hbase数据存储服务集群包括至少两个Hbase数据存储服务模块，并与采集前置服务集群、Hbase数据库集群通信连接，将接收到的Syslog消息解析成Hbase数据表格式，并存储到Hbase数据库集群中；所述的ES存储服务集群包括至少两个ES存储服务模块，并与采集前置服务集群、ES集群通信连接，ES存储服务集群将接收到的Syslog消息解析成ES消息格式，并存储到ES集群中。2.根据权利要求1所述的系统，其特征在于，所述的采集前置服务模块包括第一侦听线程和第一接收线程、第一缓存队列、组包线程和分发线程；所述的第一侦听线程侦听负载均衡器的连接请求，如果收到负载均衡器的连接请求，则与负载均衡器建立一个TCP数据通信链路；第一接收线程从TCP数据通信链路中接收来自负载均衡器的Syslog消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到第一缓存队列；第一缓存队列是为先入先出的队列，队列中的一个元素即为一个Syslog消息对象；组包线程用于将第一缓存队列的消息对象取出，打包成遵守Java消息服务规范的消息体；负载分发线程根据IP地址和端口号探测Hbase数据存储服务模块和ES数据存储服务模块的连通性，并根据负载均衡策略，将JMS消息体发送到Hbase数据存储服务模块和ES数据存储服务模块。3.根据权利要求1所述的系统，其特征在于，Hbase数据存储服务模块包括第二侦听线程和第二接收线程、第二缓存队列、第一解析线程和第一数据存储线程；第二侦听线程侦听采集前置服务模块的连接请求，如果收到采集前置服务模块的连接请求，则与采集前置服务模块建立一个TCP数据通信链路；接收线程从TCP数据通信链路中接收来自采集前置服务模块的JMS消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到第二缓存队列；第二缓存队列是为先入先出的队列，队列中的一个元素即为一个JMS消息对象；第一解析线程将第二缓存队列的消息对象取出，按照预先定义的Hbase日志数据表格式解析第二缓存队列块的消息对象；第一数据存储线程调用Hbase数据库集群的接口，将解析后的日志数据存储Hbase数据库集群中；其中安全日志数据表格式包括日期时间、客户端IP、服务器IP、请求方法、状态码、用户代理、Cookie信息、链接网址、访问路径、请求参数、事件ID、进程ID、对象名、源端口、日志级别、消息描述、协议、目的端口、动作19个数据字段。4.根据权利要求3所述的系统，其特征在于，ES存储服务模块包括第三侦听线程和第三接收线程、第三缓存队列、第二解析线程和第二数据存储线程组成，第三侦听线程侦听采集前置服务模块的连接请求，如果收到采集前置服务模块的连接请求，则与采集前置服务模块建立一个TCP数据通信链路。第三接收线程从TCP数据通信链路中接收来自采集前置服务模块的JMS消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到缓存子模块。第三缓存队列是为先入先出的队列，队列中的一个元素即为一个JMS消息；第二解析线程将第三缓存队列的消息对象取出，按照定义的安...

【专利技术属性】
技术研发人员：田建伟，田峥，黎曦，薛海伟，漆文辉，刘洁，
申请(专利权)人：国家电网公司，国网湖南省电力公司，国网湖南省电力公司电力科学研究院，
类型：发明
国别省市：北京;11