一种分布式日志处理系统、网络设备及方法技术方案

本发明专利技术公开了一种分布式日志处理系统、网络设备及方法，涉及流量的收集汇总分析技术。本发明专利技术公开的一种分布式日志处理系统，包括日志分析器，网关设备以及与所述网关设备相关联的多个日志采集器，其中：所述网关设备接收到日志数据后，根据所接收到的日志数据的议IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器；所述日志采集器，按照所述网关设备控制进行日志数据的收集，并将收集的日志数据传送到所述日志分析器。本发明专利技术技术方案易于实现，实现了日志的消峰，避免了超出服务器的处理阈值，实现了系统的稳定性。

【技术实现步骤摘要】
一种分布式日志处理系统、网络设备及方法
本专利技术涉及流量的收集汇总分析技术，特别涉及一种分布式日志收集分析方案。
技术介绍
现有的日志收集分析系统主要存在于运营商之中，由于各个厂商的实现方案各不相同，因此主要解决的方向为大数据量消峰、数据的实时性、准确性以及系统的稳定性。针对上述的问题，亟待提出一解决方案，以应对日益增长的流量数据。
技术实现思路
本专利技术公开了一种分布式日志处理系统、网络设备及方法，可以解决现有日志收集分析系统针法应用数据流量过大的问题。本专利技术公开了一种分布式日志处理系统，包括日志分析器，还包括网关设备以及与所述网关设备相关联的多个日志采集器，其中：所述网关设备接收到日志数据后，根据所接收到的日志数据的IP地址和关联的日志采集器的总个数进行HASH(哈希)计算，按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器；所述日志采集器，按照所述网关设备控制进行日志数据的收集，并将收集的日志数据传送到所述日志分析器。可选地，上述系统中，所述网关设备根据所接收到的日志数据的IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收到的日志数本文档来自技高网...

【技术保护点】
1.一种分布式日志处理系统，包括日志分析器，其特征在于，还包括网关设备以及与所述网关设备相关联的多个日志采集器，其中：所述网关设备接收到日志数据后，根据所接收到的日志数据的网络协议IP地址和关联的日志采集器的总个数进行哈希HASH计算，按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器；所述日志采集器，按照所述网关设备控制进行日志数据的收集，并将收集的日志数据传送到所述日志分析器。

【技术特征摘要】
1.一种分布式日志处理系统，包括日志分析器，其特征在于，还包括网关设备以及与所述网关设备相关联的多个日志采集器，其中：所述网关设备接收到日志数据后，根据所接收到的日志数据的网络协议IP地址和关联的日志采集器的总个数进行哈希HASH计算，按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器；所述日志采集器，按照所述网关设备控制进行日志数据的收集，并将收集的日志数据传送到所述日志分析器。2.如权利要求1所述的系统，其特征在于，所述网关设备根据所接收到的日志数据的IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器进行日志数据的收集，包括：为每个日志采集器设定索引标识，根据HASH计算结果，得到日志采集器的索引，将日志数据发至所计算出的索引对应的日志采集器上。3.如权利要求1或2所述的系统，其特征在于，所述日志采集器将收集的日志数据传送到所述日志分析器包括：所述日志采集器进行日志数据的收集后，生成嵌入式数据库BDB文件，通过文件传输协议/安全文件传送协议FTP/SFTP发送至所述日志分析器。4.如权利要求3所述的系统，其特征在于，所述日志分析器，接收到所述日志采集器发送的日志数据时，在线程池中创建线程，所述线程用于将日志分析器积压的日志数据回调给对应的日志采集器。5.一种网络设备，其特征在于，包括存储器和处理器，且所述网络设备关联多个日志采集器，其中：所述存储器，用于保存用于分布式日志处理的程序；所述处理器，用于读取执行所述用于分布式日志处理的程序，执行如下操作：接收日志数据后，根据所接收的日志数据的网络协议IP地址和关联的日志采集器的总个数进行哈希HASH计算，按照HASH计算结果将所接收的日志数据分发至指定的日志采集器进行日志数据的收集，收集的日志数据用于后续日志分析处理。6.如权利要求5所述的设备，其特征在于，所述根据所接收的日志数据的IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收的日志数据分发至指定的日志采集器进行日志数据的收集，包括：为每个日志采集器设定索引标识，根据HAS...

【专利技术属性】
技术研发人员：田琳，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41