基于机器学习的业务监控方法及系统技术方案

本发明专利技术提供了一种基于机器学习的业务监控方法及系统。基于机器学习的业务监控方法包括：第一步骤：收集服务器的实时日志，存储到分布式搜索引擎平台；第二步骤：从分布式搜索引擎平台上的海量的日志数据流中读取数据，进行日志预处理，并实时检索分析业务的异常日志；第三步骤：利用预处理好的日志，提取特征，训练数据模型；第四步骤：根据模型算法训练模块训练好的数据模型输出一个样本集，然后利用样本集进行算法回归判断，识别出业务监控异常的波动率并进行业务报警。

【技术实现步骤摘要】
基于机器学习的业务监控方法及系统
本专利技术涉及网络通信领域，更具体地说，本专利技术涉及一种基于机器学习的业务监控方法及系统，
技术介绍
通常，业务日志会分散储存在不同的设备上，随着业务日志的海量增长，在上百台服务器上，如果还是用依次登陆每台机器的传统方法查阅日志和统计业务运行指标，效率非常低下，操作也很繁琐。一般的业务监控手段通过脚本或批量安装代理(agent)制定大量的阀值检测业务的可用性，常见的有shell、nagios、zabbix，prometheus等监控方法。但是，这种方法只能通过预先设置的上下阀值，监控到服务器的性能异常和业务是否有错误信息，无法实时汇集海量的业务日志数据检测业务指标的波动率。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种基于机器学习的业务监控实时检测方法及系统，其中提供一个样本集系统，通过训练机器学习算法模型，使用分布式搜索引擎日志收集工具对服务器的业务日志实时分析，并根据模型回归算法形成一套业务异常波动监控方案。根据本专利技术，提供了一种基于机器学习的业务监控方法，包括：第一步骤：收集服务器的实时日志，存储到分布式搜本文档来自技高网...

【技术保护点】
一种基于机器学习的业务监控方法，其特征在于包括：第一步骤：收集服务器的实时日志，存储到分布式搜索引擎平台；第二步骤：从分布式搜索引擎平台上的海量的日志数据流中读取数据，进行日志预处理，并实时检索分析业务的异常日志；第三步骤：利用预处理好的的日志，提取特征，训练数据模型；第四步骤：根据模型算法训练模块训练好的数据模型输出一个样本集，然后利用样本集进行算法回归判断，识别出业务监控异常的波动率并进行业务报警。

【技术特征摘要】
1.一种基于机器学习的业务监控方法，其特征在于包括：第一步骤：收集服务器的实时日志，存储到分布式搜索引擎平台；第二步骤：从分布式搜索引擎平台上的海量的日志数据流中读取数据，进行日志预处理，并实时检索分析业务的异常日志；第三步骤：利用预处理好的的日志，提取特征，训练数据模型；第四步骤：根据模型算法训练模块训练好的数据模型输出一个样本集，然后利用样本集进行算法回归判断，识别出业务监控异常的波动率并进行业务报警。2.根据权利要求1所述的基于机器学习的业务监控方法，其特征在于，在第一步骤，通过日志收集工具实时监控、拉取服务器产生的业务日志，日志收集工具集中对日志进行传输，将日志以消息的形式传递给消息队列，消息队列再把数据写入到分布式搜索引擎平台进行储存。3.根据权利要求1或2所述的基于机器学习的业务监控方法，其特征在于，在第二步骤，在分布式搜索引擎上过滤掉日志脏数据，根据业务特征进而提取出不同的业务日志进行归类，利用归类好的业务日志再分别检索，分析每个业务的异常日志结果。4.根据权利要求1或2所述的基于机器学习的业务监控方法，其特征在于，在第三步骤，提取业务日志的时间序列数据，设置参数周期值，提取训练样本点，使用梯度提升算法回归预测值，根据原有的异常点数据值和预测值进行对比，取异常点数据值和预测值之间的差值，计算出差值平均值作为波动阀值。5.根据权利要求1或2所述的基于机器学习的业务监控方法，其特征在于，在第四步骤，根据模型算法训练模块提供的预测波动阀值和模型算法训练模块计算出的波动范围，判断当前的波动率是否在预定的波动范围内。6.一种基于机器学习的业务监控系统...

【专利技术属性】
技术研发人员：余振羊，黄凌鹏，官建辉，汪龙宝，
申请(专利权)人：小花互联网金融服务深圳有限公司，
类型：发明
国别省市：广东,44