数据存储中异常检测的系统和方法技术方案

一种系统包括一个存储一组指令集的存储设备，以及至少一个与所述存储设备通信的处理器。当执行所述指令时，所述至少一个处理器被配置为使系统获取至少两个历史数据值，并确定与至少两个历史数据值相关的类别。所述至少一个处理器还被配置为使系统基于所述类别确定至少两个预测值以及获取与所述服务相关的、对应于所述至少两个预测值的至少两个真实值。所述至少一个处理器进一步使得系统使用至少一个过滤器，将所述至少两个真实值与所述至少两个预测值进行比较，以产生比较结果，以及基于所述比较结果，确定所述至少两个真实值的至少一部分是异常的。

【技术实现步骤摘要】
【国外来华专利技术】数据存储中异常检测的系统和方法
本专利技术涉及用于数据存储管理的系统及方法，特别涉及一种数据存储中异常检测的方法及系统。
技术介绍
随着线上到线下服务系统的各条服务线的蓬勃发展，服务数据量可能会出现爆发性增长。数据仓库可用于存储服务数据。异常检测致力于从服务数据中找出与预期数据不同的数据。由于服务数据可以反映一定时间内的业务情况，因此必须保证数据仓库中服务数据的真实性，并且服务数据的异常波动需要被及时提醒。当前的技术通常依赖于数据库管理或连续迭代修改数据库管理系统的经验，导致对异常波动的响应延迟。亟需一种方法以及系统来改善异常检测。
技术实现思路
根据本申请的一个方面，系统可以包括存储一组指令集的存储设备；以及一个或以上与所述存储设备进行通信的处理器。当执行所述指令集时，所述一个或以上处理器被配置为使所述系统通过网络获取与服务相关的至少两个历史数据值和与所述至少两个历史数据值相关的类别。所述一个或以上处理器可以使所述系统基于与所述类别相关的预测模型，确定与所述服务相关的至少两个预测值和通过网络获取与所述服务相关的、对本文档来自技高网...

【技术保护点】
1.一种数据存储异常检测系统包括：/n存储一组指令集的存储设备；以及/n一个或以上与所述存储设备进行通信的处理器，其中，当执行所述指令集时，所述一个或以上处理器被配置为使所述系统：/n通过网络获取与服务相关的至少两个历史数据值；/n确定与所述至少两个历史数据值相关的类别；/n基于与所述类别相关的预测模型，确定与所述服务相关的至少两个预测值，每个预测值对应于一个时间点；/n通过网络获取与所述服务相关的、对应于所述至少两个预测值的至少两个真实值；/n使用至少一个过滤器，将所述至少两个真实值与所述至少两个预测值进行比较，以产生比较结果；以及/n基于所述比较结果，确定所述至少两个真实值的至少一部分是异...

【技术特征摘要】
【国外来华专利技术】1.一种数据存储异常检测系统包括：
存储一组指令集的存储设备；以及
一个或以上与所述存储设备进行通信的处理器，其中，当执行所述指令集时，所述一个或以上处理器被配置为使所述系统：
通过网络获取与服务相关的至少两个历史数据值；
确定与所述至少两个历史数据值相关的类别；
基于与所述类别相关的预测模型，确定与所述服务相关的至少两个预测值，每个预测值对应于一个时间点；
通过网络获取与所述服务相关的、对应于所述至少两个预测值的至少两个真实值；
使用至少一个过滤器，将所述至少两个真实值与所述至少两个预测值进行比较，以产生比较结果；以及
基于所述比较结果，确定所述至少两个真实值的至少一部分是异常的。


2.根据权利要求1所述的系统，其中，所述至少两个历史数据值形成时间序列。


3.根据权利要求1或2中任一项所述的系统，其中，为了确定与所述至少两个历史数据值相关的所述类别，所述一个或以上处理器进一步被配置为使所述系统：
确定与所述至少两个历史数据值相关的至少两个特征值；以及
基于所述至少两个特征值，确定与所述至少两个历史数据值相关的所述类别。


4.根据权利要求1-3中任一项所述的系统，其中，所述类别表示与所述服务相关的特性，所述类别包括具有周期性的生长期、具有周期性的稳定期、具有周期性的衰减期、具有非周期性的生长期、具有非周期性的稳定期、或具有非周期性的衰退期。


5.根据权利要求4所述的系统，其中，基于与所述类别相关的所述预测模型，为了确定与所述服务相关的所述至少两个预测值；所述一个或以上处理器进一步被配置为使所述系统：
确定表明与所述服务相关的所述特性的所述类别与周期性相关；
基于所述与周期性相关的类别，确定与所述至少两个历史数据值相关的残差函数、趋势函数和季节性函数；
基于所述残差函数、所述趋势函数和所述季节性函数，生成所述预测模型；以及
基于所述预测模型，确定所述至少两个预测值。


6.根据权利要求1-5中任一项所述的系统，其中，为了获取与所述服务相关的、对应于所述至少两个预测值的所述至少两个真实值，所述一个或以上处理器进一步被配置为使所述系统：
获取与所述至少两个预测值的至少一部分相关的时间点；以及
基于所述与所述至少两个预测值的至少一部分相关的时间点，获取所述至少两个真实值。


7.根据权利要求1至6中任一项所述的系统，其中，所述至少一个过滤器包括离散过滤器，基于所述比较结果，为了确定所述至少两个真实值的所述至少一部分是异常的，所述一个或以上处理器进一步被配置为使所述系统：
使用所述离散过滤器，基于所述至少两个预测值和所述至少两个真实值，确定统计值，所述统计值与所述至少两个预测值和所述至少两个真实值的离散程度相关；
将所述统计值和第一阈值进行比较；以及
响应于所述统计值大于所述第一阈值的比较结果，确定所述至少两个真实值的所述至少一部分是异常的。


8.根据权利要求1至7中任一项所述的系统，其中，所述至少一个过滤器包括阈值过滤器，基于所述比较结果，为了确定所述至少两个真实值的所述至少一部分是异常的，所述一个或以上处理器进一步被配置为使所述系统：
使用所述阈值过滤器，确定所述至少两个预测值和所述至少两个真实值之间的至少两个差值；
基于时间函数确定至少两个第二阈值；
将所述至少两个差值中的每一个与其对应的第二阈值进行比较，所述至少两个差值中的每一个和所述与其对应的第二阈值与相同的时间点相关；以及
响应于所述至少两个差值中的每一个大于与其对应的第二阈值的比较结果，确定所述至少两个真实值的所述至少一部分是异常的。


9.根据权利要求1-8中任一项所述的系统，其中，所述至少一个过滤器包括虚警过滤器，基于所述比较结果，为了确定所述至少两个真实值的所述至少一部分是异常的，所述一个或以上处理器进一步被配置为使所述系统：
基于与服务数据相关的预标记数据集，确定虚警模型，所述预标记数据集包括所述系统产生的至少两个虚警结果；以及
基于所述虚警模型，确定所述至少两个真实值的所述至少一部分是异常的。


10.根据权利要求1-9中任一项所述的系统，其中，所述一个或以上处理器进一步被配置为使所述系统：
使用离散过滤器、阈值过滤器和虚警过滤器，将所述至少两个真实值与所述至少两个预测值进行比较，以分别产生第一比较结果，第二比较结果和第三比较结果；以及
基于所述第一比较结果、所述第二比较结果和所述第三比较结果，确定所述至少两个真实值的至少一部分是异常的。


11.在计算设备上实施的、用于数据存储中的异常检测的方法，所述计算机设备包括至少一个处理器、存储器以及连接到网络的通信平台，所述方法...

【专利技术属性】
技术研发人员：甘祖毓，叶舟，王瑜，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11