银行系统监控数据异常检测方法及系统技术方案

一种银行系统监控数据异常检测方法及系统，所述系统包含：监控数据采集模块用于采集监控数据；数据预处理模块用于根据监控数据的采集时间点，采集历史监控数据中该采集时间点前后预设时间范围的历史监控数据，通过监控数据和历史监控数据生成时间序列样本；无监督检测模块用于根据时间序列样本数据通过预设的一个或多个机器学习模型提取异常点数据；有监督模型用于根据异常点数据通过特征提取生成特征矩阵，根据特征矩阵及时间序列样本通过机器学习算法训练获得异常检测模型；以及，根据待检测监控数据的时间序列样本和异常检测模型计算获得待检测监控数据的异常检测结果。

【技术实现步骤摘要】
银行系统监控数据异常检测方法及系统
本专利技术涉及一种无阈值异常检测方法，尤其涉及一种基于时间序列分析的银行系统监控数据异常检测方法。
技术介绍
监控系统是运维人员的“第三只眼”，其重要性不言而喻。现有的国内商业银行监控系统，大多数沿用传统的人工巡检和人工设置阈值的方式，部分银行也引入了开源监控软件。但是，目前这两种监控模式中的异常检测方法都不能很好地满足银行系统的监控需求。1、人工巡检和人工设置阈值的监控系统在这种监控系统中，针对固定的监控指标设置一个固定的阈值，当某时刻监控指标值大于(或小于)阈值时就认为指标数据异常。例如，设置交易量指标的下限阈值为100(笔)，当某时刻的交易量低于100的时候就认为该时刻的交易量指标异常。系统中的阈值往往靠运维人员反复修正迭代来保证其正确性。这种方式会带来两方面的问题：一方面，判断监控指标是否正常的逻辑过于简单必然会带来大量的误报，运维人员每天需要耗费大量的精力处理一些不应该存在的报警，这无疑是对人力资源的一大浪费；另一方面，阈值的设置过于依赖运维人员个体的经验水平，难免会出现漏报的情况，因为漏报而没有及时处理系统故障无疑会给银行带来巨大的损失。2、开源监控软件(如Nagios、Ganglia等)业界常用的开源监控软件主要侧重于监控平台的搭建(例如：监控数据采集，监控数据展示，监控数据传输等)，并没有提供有效的异常检测方法。目前大多数使用这些开源软件的银行，都需要运维人员配置个性化的监控脚本。开源监控软件优于第一种传统监控系统之处在于运维人员可以通过脚本的方式实现动态阈值的设置(例如，运维人员可以通过脚本计算监控指标历史时刻的均值，然后比较当前时刻的值与均值的大小关系来判断是否异常)，但是这种方式同样需要耗费大量人力，监控效果的好坏也不可避免地依赖于运维人员个体的经验技术水平。
技术实现思路
本专利技术目的在于一种高效的无阈值异常检测模型，可以适用于银行现有的大多数监控系统。为达上述目的，本专利技术所提供的银行系统监控数据异常检测系统，具体包含：监控数据采集模块、数据预处理模块、无监督检测模块和有监督模块；所述监控数据采集模块用于采集监控数据；所述数据预处理模块用于根据所述监控数据的采集时间点，采集历史监控数据中该采集时间点前后预设时间范围的历史监控数据，通过所述监控数据和历史监控数据生成时间序列样本；所述无监督检测模块用于根据所述时间序列样本数据通过预设的一个或多个机器学习模型提取异常点数据；所述有监督模型用于根据所述异常点数据通过特征提取生成特征矩阵，根据所述特征矩阵及所述时间序列样本通过机器学习算法训练获得异常检测模型；以及，根据待检测监控数据的时间序列样本和所述异常检测模型计算获得待检测监控数据的异常检测结果。在上述银行系统监控数据异常检测系统中，优选的，所述有监督模块包含特征提取模块、有监督训练模块和有监督检测模块；所述特征提取模块用于根据所述异常点数据提取统计类型、拟合类型、分类类型中一种或多种的特征值，根据所述特征值生成特征矩阵；所述有监督训练模块用于根据所述特征矩阵及所述时间序列样本，通过Xgboost模型训练获得异常检测模型；以及，通过网格搜索法优化更新所述异常检测模型；所述有监督检测模块用于根据待检测监控数据的时间序列样本和所述异常检测模型计算获得待检测监控数据的异常检测结果。在上述银行系统监控数据异常检测系统中，优选的，所述特征提取模块包含拟合类型提取单元，所述拟合类型提取单元用于根据所述异常点数据通过EWMA模型、移动平均模型、DoubleEWMA模型对时间序列进行平滑操作，根据平滑后的值生成特征值。在上述银行系统监控数据异常检测系统中，优选的，所述无监督检测模块通过3-sigma模型、多项式岭回归模型、EWMA控制图模型和孤立森林模型中一个或多个的组合提取所述时间序列样本数据中的异常点数据。在上述银行系统监控数据异常检测系统中，优选的，所述数据预处理模块包含数据提取单元、数据重组单元和数据处理单元；所述数据提取单元用于根据所述监控数据的采集时间点，采集历史监控数据中该采集时间点前后预设时间范围的历史监控数据；所述数据重组单元用于将所述历史监控数据重组为预定数量的长度相等的时间序列数据；所述数据处理单元用于对所述时间序列数据做归一化处理后拼接生成时间序列样本。本专利技术还提供一种银行系统监控数据异常检测方法，所述方法包含：采集监控数据；根据所述监控数据的采集时间点，采集历史监控数据中该采集时间点前后预设时间范围的历史监控数据，通过所述监控数据和历史监控数据生成时间序列样本；根据所述时间序列样本数据通过预设的一个或多个机器学习模型提取异常点数据；根据所述异常点数据通过特征提取生成特征矩阵，根据所述特征矩阵及所述时间序列样本通过机器学习算法训练获得异常检测模型；根据待检测监控数据的时间序列样本和所述异常检测模型计算获得待检测监控数据的异常检测结果。在上述银行系统监控数据异常检测方法中，优选的，根据所述异常点数据通过特征提取生成特征矩阵，根据所述特征矩阵及所述时间序列样本通过机器学习算法训练获得异常检测模型包含：根据所述异常点数据提取统计类型、拟合类型、分类类型中一种或多种的特征值，根据所述特征值生成特征矩阵；根据所述特征矩阵及所述时间序列样本，通过Xgboost模型训练获得异常检测模型；通过网格搜索法优化更新所述异常检测模型。在上述银行系统监控数据异常检测方法中，优选的，根据所述异常点数据提取统计类型、拟合类型、分类类型中一种或多种的特征值，根据所述特征值生成特征矩阵包含：根据所述异常点数据通过EWMA模型、移动平均模型、DoubleEWMA模型对时间序列进行平滑操作，根据平滑后的值生成特征值。在上述银行系统监控数据异常检测方法中，优选的，根据所述时间序列样本数据通过预设的一个或多个机器学习模型提取异常点数据包含：通过3-sigma模型、多项式岭回归模型、EWMA控制图模型和孤立森林模型中一个或多个的组合提取所述时间序列样本数据中的异常点数据。在上述银行系统监控数据异常检测方法中，优选的，根据所述监控数据的采集时间点，采集历史监控数据中该采集时间点前后预设时间范围的历史监控数据，通过所述监控数据和历史监控数据生成时间序列样本包含：根据所述监控数据的采集时间点，采集历史监控数据中该采集时间点前后预设时间范围的历史监控数据；将所述历史监控数据重组为预定数量的长度相等的时间序列数据；对所述时间序列数据做归一化处理后拼接生成时间序列样本。本专利技术还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。本专利技术的有益技术效果在于：该模型无需运维人员手工设置阈值或配置脚本，而是根据数据分布形态和历史规律自动判断当前时间点的监控指标数据是否正常。鉴于国内银行系统的监控指标数据都是以固定时间频率采集的时间序列本文档来自技高网...

【技术保护点】
1.一种银行系统监控数据异常检测系统，其特征在于，所述系统包含：监控数据采集模块、数据预处理模块、无监督检测模块和有监督模块；/n所述监控数据采集模块用于采集监控数据；/n所述数据预处理模块用于根据所述监控数据的采集时间点，采集历史监控数据中该采集时间点前后预设时间范围的历史监控数据，通过所述监控数据和历史监控数据生成时间序列样本；/n所述无监督检测模块用于根据所述时间序列样本数据通过预设的一个或多个机器学习模型提取异常点数据；/n所述有监督模型用于根据所述异常点数据通过特征提取生成特征矩阵，根据所述特征矩阵及所述时间序列样本通过机器学习算法训练获得异常检测模型；以及，根据待检测监控数据的时间序列样本和所述异常检测模型计算获得待检测监控数据的异常检测结果。/n

【技术特征摘要】
1.一种银行系统监控数据异常检测系统，其特征在于，所述系统包含：监控数据采集模块、数据预处理模块、无监督检测模块和有监督模块；
所述监控数据采集模块用于采集监控数据；
所述数据预处理模块用于根据所述监控数据的采集时间点，采集历史监控数据中该采集时间点前后预设时间范围的历史监控数据，通过所述监控数据和历史监控数据生成时间序列样本；
所述无监督检测模块用于根据所述时间序列样本数据通过预设的一个或多个机器学习模型提取异常点数据；
所述有监督模型用于根据所述异常点数据通过特征提取生成特征矩阵，根据所述特征矩阵及所述时间序列样本通过机器学习算法训练获得异常检测模型；以及，根据待检测监控数据的时间序列样本和所述异常检测模型计算获得待检测监控数据的异常检测结果。


2.根据权利要求1所述的银行系统监控数据异常检测系统，其特征在于，所述有监督模块包含特征提取模块、有监督训练模块和有监督检测模块；
所述特征提取模块用于根据所述异常点数据提取统计类型、拟合类型、分类类型中一种或多种的特征值，根据所述特征值生成特征矩阵；
所述有监督训练模块用于根据所述特征矩阵及所述时间序列样本，通过Xgboost模型训练获得异常检测模型；以及，通过网格搜索法优化更新所述异常检测模型；
所述有监督检测模块用于根据待检测监控数据的时间序列样本和所述异常检测模型计算获得待检测监控数据的异常检测结果。


3.根据权利要求2所述的银行系统监控数据异常检测系统，其特征在于，所述特征提取模块包含拟合类型提取单元，所述拟合类型提取单元用于根据所述异常点数据通过EWMA模型、移动平均模型、DoubleEWMA模型对时间序列进行平滑操作，根据平滑后的值生成特征值。


4.根据权利要求1所述的银行系统监控数据异常检测系统，其特征在于，所述无监督检测模块通过3-sigma模型、多项式岭回归模型、EWMA控制图模型和孤立森林模型中一个或多个的组合提取所述时间序列样本数据中的异常点数据。


5.根据权利要求1所述的银行系统监控数据异常检测系统，其特征在于，所述数据预处理模块包含数据提取单元、数据重组单元和数据处理单元；
所述数据提取单元用于根据所述监控数据的采集时间点，采集历史监控数据中该采集时间点前后预设时间范围的历史监控数据；
所述数据重组单元用于将所述历史监控数据重组为预定数量的长度相等的时间序列数据；
所述数据处理单元用于对所述时间序列数据做归一化处理后拼接生成时间序列样本。


6.一种银行系统监控数据异常检测方法，其特征在于，所述方法包含：
采集监控数据；
根...

【专利技术属性】
技术研发人员：付轶喆，李莹莹，沈文东，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11