基于联邦学习技术的分布式系统日志解析方法技术方案

本发明专利技术公开了一种基于联邦学习技术的分布式系统日志解析方法，包括建立本地服务器和中央服务器的联系，在本地服务器建立神经网络模型用于解析本地的日志数据，所述中央服务器用于更新每个本地服务器中的神经网络模型参数。本发明专利技术的优点在于：更加适用于分布式系统的日志解析，对于分布式系统的日志解析更加准确、可靠，同时解析效率更高，具有较好的鲁棒性。性。性。

【技术实现步骤摘要】
基于联邦学习技术的分布式系统日志解析方法


[0001]本专利技术涉及软件开发领域，特别涉及一种基于联邦学习技术的分布式系统日志解析方法。

技术介绍

[0002]系统日志包含重要的系统运行信息，这些信息对于系统的开发和维护有着重大的意义。在对日志数据进行分析前，如进行异常检测等，需要先将日志解析，即提取日志模板并将包含原始日志消息的日志数据集转换为结构化的表。因此，很多自动日志解析方法被提出。但随着分布式软件系统的迅速发展，产生数量巨大的日志数据，且分布在地理跨地较大的本地服务器中，现有方法无法适用于分布式系统。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，提供一种基于联邦学习技术的分布式系统日志解析方法，适用于分布式系统的日志解析。
[0004]为了实现上述目的，本专利技术采用的技术方案为：基于联邦学习技术的分布式系统日志解析方法，包括建立本地服务器和中央服务器的联系，在本地服务器建立神经网络模型用于解析本地的日志数据，所述中央服务器用于更新每个本地服务器中的神经网络模型参数。<br/>[0005]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于联邦学习技术的分布式系统日志解析方法，其特征在于：包括建立本地服务器和中央服务器的联系，在本地服务器建立神经网络模型用于解析本地的日志数据，所述中央服务器用于更新每个本地服务器中的神经网络模型参数。2.如权利要求1所述的基于联邦学习技术的分布式系统日志解析方法，其特征在于：所述中央服务器用于跟新每个本地服务器中的神经网络模型参数包括如下步骤：(1)本地服务器使用本地的日志数据集训练建立神经网络模型；(2)所有本地服务器向中央服务器传输本地训练建立的神经网络模型的参数；(3)中央服务器收集所有的模型参数后，求得所有本地模型参数的平均值；(4)平均模型参数传输给所有本地服务器；(5)本地服务器将平均模型参数用于本地模型的更新，更新后开始解析本地的日志数据。3.如权利要求1或2所述的基于联邦学习技术的分布式系统日志解析方法，其特征在于：本地服务器中训练并建立的神经网络模型为一个自监督学习模型。4.如权利要求1或2所述的基于联邦学习技术的分布式系统日志解析方法，其特征在于：本地服务器向中央服务器传输模型参数包括：本地服务器将模型参数保存为字典，字典的键为模型名，值为模型所有的参数值；其中参数值也是一个字典，键是参数名，值是其参数矩阵；每个本地服务器建...

【专利技术属性】
技术研发人员：章一磊，李欣园，罗永龙，程厚敏，张梦蝶，
申请(专利权)人：安徽师范大学，
类型：发明
国别省市：