一种异常检测的方法及装置制造方法及图纸

本发明专利技术实施例提供一种异常检测的方法及装置，该方法包括：针对第一大周期内的采集数据，确定待检测指标在第一大周期内的各小周期的至少一个指标值；针对每个小周期的至少一个指标值，根据预设的边界规则，确定待检测指标在每个小周期的边界指标值；根据各小周期的边界指标值，按照边界规则，确定待检测指标在第一大周期的边界指标值；根据第一大周期的边界指标值，确定第一大周期的可信边界指标值；第一大周期的可信边界指标值作为对第二大周期内的采集数据进行异常检测的检测阈值；第二大周期为第一大周期之后的周期。采用上述方法，实现了检测阈值的自适应调整，提高了检测阈值的准确性，进一步提高了异常检测的准确率。

【技术实现步骤摘要】
一种异常检测的方法及装置
本申请涉及金融科技(Fintech)的运维
，尤其涉及一种异常检测的方法及装置。
技术介绍
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出更高的要求。在网络迅速发展的今天，已经实现可以通过计算机直接处理大部分金融业务，这种方式极大地节省了人力资源，又可以快速且准确的处理金融业务，提高了金融业务处理的精确性和实时性。当前，计算机可以直接处理大部分业务，比如对理财产品是否处于正常交易状态进行检测，交易状态的检测可以通过交易量、交易时延等指标进行监控；当监控到交易量或交易时延等指标异常时产生告警，运维人员可以获知交易发生异常，通过维修异常交易设备、异常交易程序或设定恶意购买账户权限等方式恢复交易正常状态。也可以通过监控到的交易量或交易时延等指标的异常判断产品的发布、推广效果等。现有两种监控方法，一种为人工设定阈值，当交易量或时延超过对应阈值后，产生告警；但这种方式由于过于死板，需要人工不断调整，浪费人工成本。另一种方式为利用历史数据通过模型(如LSTM,ARIMA等)进行无监督学习其变化规律，并设置阈值；但这种方式应用的模型需要较大的内存存储模型参数，且对于波动很大且随机的数据，误告率非常高。因此，现在亟需一种异常检测的方法及装置，能够自动调整异常阈值，且在占用较小内存的基础上，提高异常检测的准确率。
技术实现思路
本专利技术实施例提供一种异常检测的方法及装置，能够自动调整异常阈值，且在占用较小内存的基础上，提高异常检测的准确率。第一方面，本专利技术实施例提供一种异常检测的方法，该方法包括：针对第一大周期内的采集数据，确定待检测指标在所述第一大周期内的各小周期的至少一个指标值；针对每个小周期的至少一个指标值，根据预设的边界规则，确定所述待检测指标在每个小周期的边界指标值；根据各小周期的边界指标值，按照所述边界规则，确定所述待检测指标在所述第一大周期的边界指标值；根据所述第一大周期的边界指标值，确定所述第一大周期的可信边界指标值；所述第一大周期的可信边界指标值作为对第二大周期内的采集数据进行异常检测的检测阈值；所述第二大周期为所述第一大周期之后的周期。采用上述方法，第一大周期内包含多个小周期，采集第一大周期内的数据，确定第一大周期及中各个小周期内的至少一个指标值；对于每个小周期对应的指标值，根据预设边界规则，获取每个小周期对应的边界指标值。如此，可以通过边界规则对每个小周期的指标值进行选择，得到每个小周期对应的边界指标值，使得每个小周期对应的边界指标值更准确。进一步，通过第一大周期的各个小周期对应的边界指标值，再次按照边界规则得到第一大周期的边界指标值，使得第一大周期的边界指标值更准确。更进一步的，根据第一大周期的边界指标值得到第一大周期的可信边界指标值，以可信边界指标值作为之后产生的数据的检测阈值；如此，在第一大周期的边界指标值的准确性基础上做相关调整得到可信边界指标值，使得之后的第一大周期采集的数据可以在正常合理的范围波动而不会触发异常，造成异常误报。实现了检测阈值的自适应调整，提高了检测阈值的准确性，进一步提高了数据异常检测的准确率。在一种可能的设计中，所述边界规则为对于一组数据的边界值是从数据中的最大值开始确定密度区域；若密度区域内的数据的个数大于密度阈值，则将所述最大值确定为该组数据的边界值；否则从该组数据中将所述最大值删除，返回从数据中的最大值开始确定密度区域的步骤；所述密度阈值依据该组数据的数据量进行设定。采用上述方法，通过边界规则选择边界值；具体来说，判断最大值密度区域内的数据个数是否大于密度阈值，若是最大值密度区域内的数据个数大于密度阈值；则可以认为在最大值附近的数据密度符合数据变化规律，最大值为合理数据，可以作为边界值。若是最大值密度区域内的数据个数小于密度阈值，就可以判定该最大值附近的数据量异常小，不符合数据变化规律，该最大值很可能是异常数据，则将该最大值删除并重新在该组数据中重新确定最大值，继续判断重新确定的最大值的密度区域的数据个数是否大于密度阈值，直到确定的最大值的密度区域中的数据个数大于密度阈值，则以该最大值为边界值。因此，可以提高确定边界值的准确性，防止因为边界值为异常数据，而影响后续计算检测阈值的准确性。在一种可能的设计中，所述密度区域通过如下方式确定，包括：根据该组数据的最大值、最小值，确定该组数据的分区数；根据该组数据的最大值、最小值和所述分区数，确定区域半径；以所述最大值为中心，所述区域半径为半径，确定所述密度区域。采用上述方法，密度区域是以最大值为中心，区域半径为半径确定的区域。其中，根据一组数据的最大值、最小值，确定该组数据的分区数，通过最大值、最小值和分区数确定区域半径，可以使得到的区域半径更能准确划分密度区域，使得该密度区域可以准确表征最大值附近的数据分布特征，进而判断该最大值附近的数据是否处于异常，确定该最大值是否符合数据变化规律，再确定该最大值是否应用到后续检测阈值的计算中，如此，增加检测阈值计算的准确性。在一种可能的设计中，根据所述第一大周期的边界指标值，确定所述第一大周期的可信边界指标值，包括：通过如下公式计算：up_boundary＝up_p+K*eps+base其中，up_boundary为所述第一大周期的可信边界指标值，up_p为所述第一大周期的边界指标值；K为波动系数；eps为区域半径，根据所述第一大周期内小周期的边界指标值的最大值、最小值和分区数确定；所述分区数为根据所述第一大周期内小周期的边界指标值的数据的个数确定的；base为根据所述最大值和所述最小值确定的。采用上述方法，使可信边界指标值等于边界指标值、两倍的区域半径和base的和。边界指标值加两倍的区域半径，可以使得在边界指标值的基础上设定后续数据的合理波动区间，base的设置则可以使得在合理波动区间的基础上增加小部分偶然数据，在保证异常检测的准确率的情况下，减少误报率。在一种可能的设计中，还包括：若根据所述边界规则未确定出边界值，则将该组数据中的最大值作为该组数据的边界值。采用上述方法，若根据边界规则无法确定出边界值，则可以将该组数据中的最大值作为边界值，防止因为边界值为空，出现无法计算检测阈值的情况。在一种可能的设计中，所述密度阈值依据该组数据的数据量进行设定，包括：该组数据的数据量越大，该组数据的密度阈值越大。采用上述方法，通过数据量决定密度阈值，可以增加密度阈值的合理性与准确性。在一种可能的设计中，所述第一大周期内的各小周期为同一时段。第二方面，本专利技术实施例提供一种异常检测的装置，所述装置包括：采集单元，用于针对第一大周期内的采集数据，确定待检测指标在所述第一大周期内的各小周期的至少一个指标值；处理单元，用于针对每个小周期的至少一个指标值，根据预设的边界规则，本文档来自技高网...

【技术保护点】
1.一种异常检测的方法，其特征在于，包括：/n针对第一大周期内的采集数据，确定待检测指标在所述第一大周期内的各小周期的至少一个指标值；/n针对每个小周期的至少一个指标值，根据预设的边界规则，确定所述待检测指标在每个小周期的边界指标值；/n根据各小周期的边界指标值，按照所述边界规则，确定所述待检测指标在所述第一大周期的边界指标值；/n根据所述第一大周期的边界指标值，确定所述第一大周期的可信边界指标值；所述第一大周期的可信边界指标值作为对第二大周期内的采集数据进行异常检测的检测阈值；所述第二大周期为所述第一大周期之后的周期。/n

【技术特征摘要】
1.一种异常检测的方法，其特征在于，包括：
针对第一大周期内的采集数据，确定待检测指标在所述第一大周期内的各小周期的至少一个指标值；
针对每个小周期的至少一个指标值，根据预设的边界规则，确定所述待检测指标在每个小周期的边界指标值；
根据各小周期的边界指标值，按照所述边界规则，确定所述待检测指标在所述第一大周期的边界指标值；
根据所述第一大周期的边界指标值，确定所述第一大周期的可信边界指标值；所述第一大周期的可信边界指标值作为对第二大周期内的采集数据进行异常检测的检测阈值；所述第二大周期为所述第一大周期之后的周期。


2.如权利要求1所述的方法，其特征在于，所述边界规则为对于一组数据的边界值是从数据中的最大值开始确定密度区域；若密度区域内的数据的个数大于密度阈值，则将所述最大值确定为该组数据的边界值；否则从该组数据中将所述最大值删除，返回从数据中的最大值开始确定密度区域的步骤；所述密度阈值依据该组数据的数据量进行设定。


3.如权利要求2所述的方法，其特征在于，所述密度区域通过如下方式确定，包括：
根据该组数据的最大值、最小值，确定该组数据的分区数；
根据该组数据的最大值、最小值和所述分区数，确定区域半径；
以所述最大值为中心，所述区域半径为半径，确定所述密度区域。


4.如权利要求2所述的方法，其特征在于，根据所述第一大周期的边界指标值，确定所述第一大周期的可信边界指标值，包括：
通过如下公式计算：
up_boundary＝up_p+K*eps+base
其中，up_boundary为所述第一大周期的可信边界指标值；up_p为所述第一大周期的边界指标值；K为波动系数；eps为区域半径，根据所述第一大周期内小周期的边界指标值的...

【专利技术属性】
技术研发人员：卢冠男，朱红燕，莫林林，孙芮，李冕正，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44