【技术实现步骤摘要】
一种云环境下基于时序数据的异常检测系统
本专利技术涉及一种检测系统，具体涉及一种云环境下基于时序数据的异常检测系统，属于时序数据异常检测
技术介绍
随着云技术的发展，数据中心管理的机器规模以指数化的方式增长，同时巨大的运维工作量也让运维成本不断上升。如何能有效的提高自动化运维效率，也成为急需解决的问题。运维的目的是保证生产的平稳运行，系统监控即是最基础的环节。在数据中心，有着海量的基于时间序列的监控指标，这些指标值都是带有时间戳。因此可以分析各种趋势、比例，以及检测异常。在运维工作中，异常检测是关键环节，决定了系统的可靠性。对于时间序列的监控数据，在实际生产环境中，通常是根据经验来设置阀值，当超过或者低于一定阀值的时候产生告警信息。但这种缺乏客观依据的方式，易导致频繁的接受告警信息或者漏掉重要的告警信息。所以，需要一种异常检测机制，能够针对不同的序列类型做出不同的策略的方式，在基于量化的标准的同时，找到异常指标并告警通知用户。如：秒杀活动的情形，一定是非周期性的，如果使用针对周期性的策略，就会判定为不合理的异常，因此，迫切的需要一种新的方案解决上述技术问...
【技术保护点】
1.一种云环境下基于时序数据的异常检测系统，其特征在于，所述系统包括以下模块：Collector数据采集模块、数据存储模块、Analyst分析模块以及告警通知模块，所述Collector数据采集模块定时采集所在设备的业务指标数据通过汇聚模块传输到数据存储模块，所述存储模块用于存储时间序列数据，并将数据传送至分析模块，所述Analyst分析器模块用于对时序数据进行分析，通过告警通知模块推送通知消息给用户。
【技术特征摘要】
1.一种云环境下基于时序数据的异常检测系统，其特征在于，所述系统包括以下模块：Collector数据采集模块、数据存储模块、Analyst分析模块以及告警通知模块，所述Collector数据采集模块定时采集所在设备的业务指标数据通过汇聚模块传输到数据存储模块，所述存储模块用于存储时间序列数据，并将数据传送至分析模块，所述Analyst分析器模块用于对时序数据进行分析，通过告警通知模块推送通知消息给用户。2.根据权利要求1所述的云环境下基于时序数据的异常检测系统，其特征在于，所述Collector数据采集模块安装在服务器或工作站的系统中，作为一种agent，定时采集所在设备的业务指标数据，所采集数据都有时间标签，因此为时序数据。3.根据权利要求2所述的云环境下基于时序数据的异常检测系统，其特征在于，所述采集模块上传数据至汇聚模块中，汇聚模块用于收集数据，统一提交到存储，汇聚模块内部维护数个队列，采集的时序数据作为片段压入队列中，当队列满的时候，统一提交到存储模块的redis保存。4.根据权利要求3所述的云环境下基于时序数据的异常检测系统，其特征在于，所述Collector数据采集模块中采集数据时使用数据帧格式，当待发送数据积累到规定大小时，才封装为一个帧发送到汇聚端，汇聚端采用队列机制，帧进入队列，当队列满后，一次将队列中的数据上报到Redis中。5.根据权利要求4所述的云环境下基于时序数据的异常检测系统，其特征在于，Analyst分析器模块用于对时序数据进行分析，对于不同的业务数据类型，本模块会按照动态算法来分析时序数据，判断具体某个点的数据是否正常，这种判断不依赖预先设定的固定阀值，而是根据业务数据的类型和特点，实时计算出合理范围，然后判断业务指标是否在合理范围内，若超过合理范围，则判断为异常点，通过告警通知模块推送通知消息给用户。6.根据权利要求5所述的云环境下基于时序数据的异常检测系统，其特征在于，所述Analyst分析器模块中的动态算法计算方法如下：判断指标是周期性的或者是非周期性的；对于非周期性的，计算近期差值；首先确定近期选取的点数n，假设现在时刻是t，采样周期为1分钟，n个点分别为t0，t1…,tn.分别计算n个数据点的最大值，最小值和平均值，记为avg，min，max；计算阀值threshold＝min(max-avg,avg-min)；即计算最大值和平均值的差值，平均值和最小值的差值，然后取二者小的一个；设定计数器count为0；对n个数据，计算t0-ti，i＝1..n，如果差值大于阀值，则计数器加1；最后得到计数器count为差值大于阀值的数目TC，如果TC大于某个固定值，则认为此项检测当前时刻的值是一个异常点；计算加权移动平均；在时间t，选取较大的采样点数m，计算m个点的指数移动加权平均，计算方式如下：...
【专利技术属性】
技术研发人员：杨松贵，谌瑞敏，
申请(专利权)人：南京维拓科技股份有限公司，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。