模型训练及故障检测方法、装置、电子设备和存储介质制造方法及图纸

本实施例公开了一种模型训练以及故障检测方法、装置、电子设备和计算机存储介质，该方法包括：根据持久化存储的至少两个日志序列中每个日志事件的权重，对至少两个日志序列进行聚类，得到第一聚类结果；获取第一权重信息，第一权重信息表示针对所述至少两个日志序列中每个日志事件重新分配的权重，第一权重信息是根据第一参考信息和第二参考信息中的至少一项确定的，第一参考信息表示第一聚类结果中出现日志事件的分组数量，第二参考信息表示日志事件在所述第一聚类结果的每个分组中出现的次数；根据第一权重信息，对第一聚类结果中的每组日志序列进行聚类，得到第二聚类结果；根据第二聚类结果，得到训练完成的日志分组模型。型。型。

【技术实现步骤摘要】
模型训练及故障检测方法、装置、电子设备和存储介质


[0001]本申请属于网络日志处理技术，特别涉及一种模型训练及故障检测方法、装置、电子设备和存储介质。

技术介绍

[0002]网络日志中存储了极为丰富的系统状态和运行信息，在系统维护中发挥着重要作用。在相关技术中，可以基于日志序列中的日志事件的在各个日志序列中的整体出现频率，对日志序列进行聚类，从而根据聚类结果进行故障诊断；然而，仅仅基于日志事件的在各个日志序列中的整体出现频率，无法准确地反映日志事件在单个日志序列中的集中程度或分散程度，导致聚类结果中日志序列的类型与实际情况不相符，降低了后续根据聚类结果进行故障诊断的准确性。

技术实现思路

[0003]本申请实施例提供一种模型训练及故障检测方法、装置、电子设备和存储介质。
[0004]本申请实施例提供的模型训练方法包括：
[0005]根据持久化存储的至少两个日志序列中每个日志事件的权重，对至少两个日志序列进行聚类，得到第一聚类结果；
[0006]获取第一权重信息，所述第一权重信息表示针对所述至少两个日志序列中每个日志事件重新分配的权重，所述第一权重信息是根据第一参考信息和第二参考信息中的至少一项确定的，所述第一参考信息表示第一聚类结果中出现日志事件的分组数量，所述第二参考信息表示日志事件在所述第一聚类结果的每个分组中出现的次数；
[0007]根据所述第一权重信息，对所述第一聚类结果中的每组日志序列进行聚类，得到第二聚类结果；
[0008]根据所述第二聚类结果，得到训练完成的日志分组模型，所述日志分组模型用于记录日志序列所在的分组。
[0009]在一些实施例中，在得到训练完成的日志分组模型后，所述方法还包括：每隔设定时间段，加载最近一个设定时间段内累积的日志序列；并返回根据持久化存储的至少两个日志序列中每个日志事件的权重，对至少两个日志序列进行聚类，得到第一聚类结果的步骤，以得到重新训练完成的日志分组模型。
[0010]可以看出，定期更新日志分组模型的机制，可以有效地减少日志分组模型的更新频率，有利于在一定程度上解决因模型更新频繁导致故障诊断效率较低的问题；进一步地，最近一个设定时间段内累积的日志序列又可以提升后续故障检测时提取代表性日志序列的准确性与可靠性。
[0011]在一些实施例中，在获取持久化存储的至少两个日志序列之后，且在根据持久化存储的至少两个日志序列中每个日志事件的权重，对至少两个日志序列进行聚类之前，所述方法还包括：获取持久化存储文件，所述持久化存储文件包括按照第一顺序排列的各个
日志事件；根据所述第一顺序读取所述持久化存储文件的各个日志事件；所述根据持久化存储的至少两个日志序列中每个日志事件的权重，对至少两个日志序列进行聚类，得到第一聚类结果，包括：根据读取到的所述各个日志事件的权重，对所述至少两个日志序列进行聚类，得到第一聚类结果；所述根据所述第一权重信息，对所述第一聚类结果中的每组日志序列进行聚类，得到第二聚类结果，包括：根据读取到的所述各个日志事件和所述第一权重信息，对所述至少两个日志序列进行聚类，得到第二聚类结果；所述方法还包括：在所述最近一个设定时间段内累积的日志序列存在新日志事件的情况下，在按照所述第一顺序排列的各个日志事件的末端添加所述新日志事件，确定添加有所述新日志事件的各个日志事件的第一顺序；所述新日志事件表示所述持久化存储文件中不存在的日志事件。
[0012]可以看出，本申请实施例中在每次进行聚类时均按照持久化存储文件中日志事件的第一顺序读取日志事件，并且，对于新日志事件，可以之间添加在持久化存储文件的末尾，这样不会影响到已有日志事件的读取顺序，从而，可以使每次更新后的日志分组模型中分组编号和内容与更新前的日志分组模型中分组编号和内容保持一致，不会出现分组混乱导致影响故障诊断结果的问题。
[0013]在一些实施例中，所述方法还包括：在所述第二聚类结果的至少一个目标分组中的日志序列数量大于或等于设定阈值时，将至少一个目标分组中的每个目标分组确定为封闭分组，所述封闭分组表示后续不更改内部日志序列的分组；所述目标分组表示所述第二聚类结果的任意一个分组。
[0014]本申请实施例中，在目标分组中的日志序列数量大于或等于设定阈值时，可以认为目标分组可以代表某些故障场景和问题，无需再累加该分组的日志序列数量，从而可以在一定程度上提高模型更新效率和故障诊断效率。
[0015]在一些实施例中，在对所述至少两个日志序列进行持久化存储之前，所述方法还包括：获取第一日志序列集合，将所述第一日志序列集合中满足设定条件的日志事件滤除，得到所述至少两个日志序列，所述设定条件表示：日志事件的权重小于设定权重。
[0016]可以看出，由于权重较小的日志事件通常是正常的日志事件，对于故障诊断没有明显意义，因此，本申请实施例中，通过将第一日志序列集合中权重较小的日志事件滤除，在一定程度上降低了权重较小的日志事件在日志聚类中造成影响，有利于提升聚类精度。
[0017]本申请实施例提供的故障检测方法包括：
[0018]根据预先存储的至少两个待预测日志序列中每个日志事件的首次分配的权重，对至少两个待预测日志序列进行第一次聚类，得到第三聚类结果；
[0019]获取第二权重信息，所述第二权重信息表示针对所述至少两个待预测日志序列中每个日志事件重新分配的权重，所述第二权重信息是根据第三参考信息和第四参考信息中的至少一项确定的，所述第三参考信息表示第三聚类结果中出现日志事件的分组数量，所述第四参考信息表示日志事件在所述第四聚类结果的每个分组中出现的次数；
[0020]根据所述第二权重信息，对所述第三聚类结果中的每组日志序列进行第二次聚类，得到第四聚类结果；
[0021]确定距离信息，所述距离信息表示所述第四聚类结果中每个分组的代表性日志序列与所述训练完成的日志分组模型中各个代表性日志序列的距离值；
[0022]根据所述距离信息和所述日志分组模型中每个分组关联的故障信息，确定所述第
四聚类结果中每个分组关联的故障信息。
[0023]在一些实施例中，所述根据所述距离信息和所述日志分组模型中每个分组关联的故障信息，确定所述第四聚类结果中每个分组关联的故障信息，包括：根据所述距离信息中各个距离值的最小距离值和所述日志分组模型中每个分组关联的故障信息，确定所述第四聚类结果中每个分组关联的故障信息。
[0024]可以看出，由于距离信息表示第四聚类结果中每个分组的代表性日志序列与训练完成的日志分组模型中各个代表性日志序列的距离值，因此，根据距离信息中各个距离值的最小距离值，可以确定训练完成的日志分组模型中与第四聚类结果中每个分组的代表性日志序列距离最小的代表性日志序列，在训练完成的日志分组模型中各个分组关联的故障信息已知的情况下，有利于根据训练完成的日志分组模型中与第四聚类结果中每个分组的代表性日志序列距离最小的代表性日志序列，较为准确地确定对应分组关联的故障信息。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：根据持久化存储的至少两个日志序列中每个日志事件的权重，对至少两个日志序列进行聚类，得到第一聚类结果；获取第一权重信息，所述第一权重信息表示针对所述至少两个日志序列中每个日志事件重新分配的权重，所述第一权重信息是根据第一参考信息和第二参考信息中的至少一项确定的，所述第一参考信息表示第一聚类结果中出现日志事件的分组数量，所述第二参考信息表示日志事件在所述第一聚类结果的每个分组中出现的次数；根据所述第一权重信息，对所述第一聚类结果中的每组日志序列进行聚类，得到第二聚类结果；根据所述第二聚类结果，得到训练完成的日志分组模型，所述日志分组模型用于记录日志序列所在的分组。2.根据权利要求1所述的方法，其特征在于，在得到训练完成的日志分组模型后，所述方法还包括：每隔设定时间段，加载最近一个设定时间段内累积的日志序列；并返回根据持久化存储的至少两个日志序列中每个日志事件的权重，对至少两个日志序列进行聚类，得到第一聚类结果的步骤，以得到重新训练完成的日志分组模型。3.根据权利要求1或2所述的方法，其特征在于，在获取持久化存储的至少两个日志序列之后，且在根据持久化存储的至少两个日志序列中每个日志事件的权重，对至少两个日志序列进行聚类之前，所述方法还包括：获取持久化存储文件，所述持久化存储文件包括按照第一顺序排列的各个日志事件；根据所述第一顺序读取所述持久化存储文件的各个日志事件；所述根据持久化存储的至少两个日志序列中每个日志事件的权重，对至少两个日志序列进行聚类，得到第一聚类结果，包括：根据读取到的所述各个日志事件的权重，对所述至少两个日志序列进行聚类，得到第一聚类结果；所述根据所述第一权重信息，对所述第一聚类结果中的每组日志序列进行聚类，得到第二聚类结果，包括：根据读取到的所述各个日志事件和所述第一权重信息，对所述至少两个日志序列进行聚类，得到第二聚类结果；所述方法还包括：在所述最近一个设定时间段内累积的日志序列存在新日志事件的情况下，在按照所述第一顺序排列的各个日志事件的末端添加所述新日志事件，确定添加有所述新日志事件的各个日志事件的第一顺序；所述新日志事件表示所述持久化存储文件中不存在的日志事件。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述第二聚类结果的至少一个目标分组中的日志序列数量大于或等于设定阈值时，将至少一个目标分组中的每个目标分组确定为封闭分组，所述封闭分组表示后续不更改内部日志序列的分组；所述目标分组表示所述第二聚类结果的任意一个分组。5.根据权利要求1所述的方法，其特征在于，在对所述至少两个日志序列进行持久化存
储之前，所述方法还包括：获取第一日志序列集合，将所述第一日志序列集合中满足设定条件的日志事件滤除，得到所述至少两个日志序列，所述设定条件表示：日志事件的权重小于设定权重。6.一种故障检测方法，其特征在于，所述方法包括：根据预先存储的至少两个待预测日志序列中每个日志事件的首次分配的权重，对至少两个待预测日志序列进行第一次聚类，得到第三聚类结果；获取第二权重信息，所述第二权重信息表示针对所述至少两个待预测日志序列中每个日志事件重新分配的权重，所述第二权重信息是根据第三参考信息和第四参考信息中的至少一项确定的，所述第三参考信息表示第三聚类结果中出现日志事件的分组数量，所述第四参考信息表示日志事件在所述第四聚类结果的每个分组中出现的次数；根据所述第二权重信息，对所述第三聚类结果中的每组日志序列进行第二次聚类，得到第四聚类结果；确定距离信息，所述距离信息表示所述第四聚类结果中每个分组的代表性日志序列与所述训练完成的日志分组模型中各个代表性日志序列的距离值；根据所述距离信息和所述日志分组模型中每个...

【专利技术属性】
技术研发人员：徐敬文，张攀翔，余立，杨晓，王喆，杨杰，温伟能，赵鹏，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：