一种基于并行流处理的ICT系统运行日志分析方法技术方案

本发明专利技术公开了一种基于并行流处理的ICT系统运行日志分析方法。本发明专利技术建立的基于RDMA的并行分布式日志处理平台，当数据流在Spark集群中传输时，数据流直接从本地节点内存传输到目的节点内存，不需要通信双方操作系统的介入，大大降低了CPU占用率和网络时延。提出的在线日志流解析方法，设置了缓存模板集，经过两次过滤和结果汇总后的筛错重解析，显著增强了日志解析算法的准确性和鲁棒性。日志解析结果汇总后，通过基于元数据映射的结构化日志压缩方法，将所有元数据顺序编码，映射关系字典存储，将元数据编码映射后直接压缩，显著降低了日志存储空间。

【技术实现步骤摘要】
一种基于并行流处理的ICT系统运行日志分析方法
本专利技术涉及ICT系统日志管理的实现方法，尤其是在大规模在线日志数据流中，通过并行流处理实现ICT系统运行日志分析方法。
技术介绍
随着云计算和大数据技术的快速发展，ICT系统为海量用户提供了丰富的应用服务，服务提供商期望为用户提供稳定安全的服务。对于中小型企业来说，频繁的系统故障会带来极差的用户体验，而大型企业短暂的服务器宕机都将带来难以估量的损失。系统管理员通常会通过分析出错日志来诊断系统问题。当单台ICT系统出现故障时，系统管理员会查看运行日志，快速定位出现系统故障的位置，确定故障原因。但是，在面对大型分布式集群时，每秒产生的日志数据大小都在GB级，系统管理员通过手动检查出错日志是劳动密集型行为，短时间内难以发现系统故障。如果利用数据挖掘技术对运行日志进行自动化分析，则能够提前发现系统运行过程中潜在的错误，系统管理员也能提前对系统的不当行为进行处理。此外，自动化分析日志分析也能够对系统和应用程序性能，系统安全保障带来重要的参考价值。ICT系统输出的原始运行日志一般是非结构的本文档来自技高网...

【技术保护点】
1.一种基于并行流处理的ICT系统运行日志分析方法，其特征在于该方法包括如下步骤：/n步骤1：搭建基于RDMA的分布式并行日志流处理平台；/n服务器集群通过网络协议RoCE v2进行通信，其中RoCE v2支持在以太网上实现RDMA技术，集群内所有服务器的网卡可支持RoCE v2，并且是此网卡是可热插拔的；/n步骤2：用户启动Flume、Zookeeper、Kafka、Spark集群，将日志处理程序提交至Spark引擎；/n步骤3：Flume将从ICT系统采集到的日志流输入Kafka集群，Kafka集群接受来自收集层的日志流后，将日志数据放入消息队列；/n步骤4：Kafka将消息队列中的数据流...

【技术特征摘要】
1.一种基于并行流处理的ICT系统运行日志分析方法，其特征在于该方法包括如下步骤：
步骤1：搭建基于RDMA的分布式并行日志流处理平台；
服务器集群通过网络协议RoCEv2进行通信，其中RoCEv2支持在以太网上实现RDMA技术，集群内所有服务器的网卡可支持RoCEv2，并且是此网卡是可热插拔的；
步骤2：用户启动Flume、Zookeeper、Kafka、Spark集群，将日志处理程序提交至Spark引擎；
步骤3：Flume将从ICT系统采集到的日志流输入Kafka集群，Kafka集群接受来自收集层的日志流后，将日志数据放入消息队列；
步骤4：Kafka将消息队列中的数据流推送至Spark集群，SparkStreaming接受数据流并将其分片；
步骤5：Spark引擎将日志处理任务分发到工作节点集群，工作节点内创建Container，同时启动执行器执行日志解析任务；
为了提高CPU利用率，执行器开启多线程，同时完成多个日志行的解析任务；在所述的解析任务设置了缓存模板集，经过两次过滤和结果汇总后的筛错重解析；
步骤6：工作节点完成日志解析后将结果返回至Spark主节点的任务调度器，任务调度器将日志解析结果汇总，并选出解析失败的日志，进行二次解析；
DAGScheduler将集群中各工作节点...

【专利技术属性】
技术研发人员：蒋从锋，张开强，欧东阳，闫龙川，殷昱煜，张纪林，黄震，赵子岩，李妍，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33