日志流聚类的方法和装置制造方法及图纸

本发明专利技术涉及计算机设备日志处理技术领域。为了解决目前对日志数据的分析挖掘计算成本高昂、准确率低的问题，本发明专利技术实施例提供了一种日志流聚类的方法和装置，该日志流聚类的方法包括以下步骤：基于历史日志训练聚类模型；设置日志流的增量日志大小；当日志流汇集至增量日志大小时，基于增量日志更新训练聚类模型；使用增量更新后的聚类模型对日志流中的每条日志进行分类。本发明专利技术实施例实现了日志数据分析挖掘计算成本小、准确率高的目的。

The Method and Device of Log Flow Clustering

The invention relates to the technical field of log processing for computer equipment. In order to solve the problem of high cost and low accuracy in analyzing and mining log data at present, the embodiment of the present invention provides a method and device for clustering log streams. The method of clustering log streams includes the following steps: training clustering model based on historical log; setting the incremental log size of log streams; and basing on incremental log size when log streams converge to incremental log size. Log updating trains clustering model, and uses incremental updating clustering model to classify each log in the log stream. The embodiment of the invention realizes the purpose of low calculation cost and high accuracy of log data analysis and mining.

【技术实现步骤摘要】
日志流聚类的方法和装置
本专利技术涉及计算机设备日志处理
，具体而言，涉及一种日志流聚类的方法和装置。
技术介绍
本专利技术对于
技术介绍
的描述属于与本专利技术相关的相关技术，仅仅是用于说明和便于理解本专利技术的
技术实现思路
，不应理解为申请人明确认为或推定申请人认为是本专利技术在首次提出申请的申请日的现有技术。IT运维中服务器、网络设备、Web中间件等会产生日志数据，利用大数据技术和机器学习方法对日志数据进行分析挖掘，可应用于运维的监控、审计、告警等场景。但是，目前对日志数据的分析挖掘计算成本高昂，且准确率低。
技术实现思路
为了解决目前对日志数据的分析挖掘计算成本高昂、准确率低的问题，本专利技术实施例提供了一种日志流聚类的方法和装置，实现了日志数据分析挖掘计算成本小、准确率高的目的。第一方面，本专利技术提供了一种日志流聚类的装置，包括：第一训练单元，所述第一训练单元用于基于历史日志训练聚类模型；设置单元，所述设置单元用于设置日志流的增量日志大小；第二训练单元，所述第二训练单元用于当所述日志流汇集至所述增量日志大小时，基于所述增量日志训练所述聚类模型；分类单元，所述分类单元用于使用所本文档来自技高网...

【技术保护点】
1.一种日志流聚类的装置，其特征在于，包括：第一训练单元，所述第一训练单元用于基于历史日志训练聚类模型；设置单元，所述设置单元用于设置日志流的增量日志大小；第二训练单元，所述第二训练单元用于当所述日志流汇集至所述增量日志大小时，基于所述增量日志训练所述聚类模型；分类单元，所述分类单元用于使用所述聚类模型对所述日志流进行分类。

【技术特征摘要】
1.一种日志流聚类的装置，其特征在于，包括：第一训练单元，所述第一训练单元用于基于历史日志训练聚类模型；设置单元，所述设置单元用于设置日志流的增量日志大小；第二训练单元，所述第二训练单元用于当所述日志流汇集至所述增量日志大小时，基于所述增量日志训练所述聚类模型；分类单元，所述分类单元用于使用所述聚类模型对所述日志流进行分类。2.根据权利要求1所述的日志流聚类的装置，其特征在于，所述第一训练单元包括：采集模块，所述采集模块用于采集历史日志；第一处理模块，所述第一处理模块用于对所述历史日志进行文本处理；第二处理模块，所述第二处理模块用于对所述历史日志进行哈希特征向量化；训练模块，所述训练模块用于使用所述历史日志训练所述聚类模型；保存模块，所述保存模块用于保存所述聚类模型。3.根据权利要求1所述的日志流聚类的装置，其特征在于，所述第一训练单元还用于选择所述聚类模型的参数；所述第二训练单元还用于基于所述增量日志训练所述聚类模型时应用所述参数。4.根据权利要求3所述的日志流聚类的装置，其特征在于，所述聚类模型包括k-means聚类模型，所述参数包括K值。5.根据权利要求1所述的日志流聚类的装置，其特征在于，所述第二训练单元还用于对所述增量日志进行文本处理及哈希特征向量化。6.根据权利要求1所述的日志流聚类的装置，其特征在于，所述第一训练单元还用于定期基于历史日志训练聚类模型。7.一种日志流聚类的方法，其特征在于，包括以...

【专利技术属性】
技术研发人员：方建生，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：广东,44