【技术实现步骤摘要】
本公开主要涉及风险控制，尤其涉及异常检测。
技术介绍
1、异常检测(anomaly detection或outlier detection)，又称为离群点检测，在风控领域应用广泛。有监督异常检测是在训练集中的正常实例和异常实例都有标签的情况下，训练二类或多类分类器。然而，现实(尤其是风控场景)中很少有异常点的标签，尤其是难以获得足够数量的干净样本标签。由此，在风控领域中，更倾向于使用无监督异常检测。
2、无监督异常检测仅基于数据的内在属性来检测异常值。由于有标记数据很难获得，因此无监督异常检测技术优于传统方法，例如主成分分析(pca)、支持向量机(svm)、和隔离森林等等。然而，在风控场景中，异常检测需要做到攻守兼备，即如何实现自动化地进攻(覆盖现有风险)和防守(抵御未知风险)。
3、因此，本领域需要高效的无监督异常检测方案，其既能够覆盖到现有的异常，又能够抵御未知的异常。
技术实现思路
1、为解决上述技术问题，本公开提供了一种高效的基于特征移动的无监督异常检测方案，其仅需要正常样本(即正常状态数据)进行训练而无需任何异常事件数据，并且通过移动经降维特征，使得重构误差对异常和正常状态数据的区分度更强。进一步地，通过基于经降维的正常状态数据构造正常特征域，描绘出清楚的正常事件的边界，使得经训练的模型不仅能够覆盖到现有的异常风险，而且能够抵御未知的异常风险。
2、在本公开一实施例中，提供了一种基于特征移动的无监督异常检测方法，包括：接收待检测数据；将
3、在本公开另一实施例中，重构误差阈值是在训练阶段基于正常状态数据的重构误差分布确定的。
4、在本公开又一实施例中，重构误差阈值通过经降维正常状态数据的重构误差的正态分布确定。
5、在本公开另一实施例中，在训练阶段，正常状态数据的重构误差分布的获取包括：接收正常状态数据；将正常状态数据降维以获取经降维正常状态数据；获取经降维正常状态数据的重构误差分布。
6、在本公开又一实施例中，移动经降维待检测数据采用求周边平均实现。
7、在本公开另一实施例中，经降维正常状态数据构成正常特征域。
8、在本公开又一实施例中，当待检测数据正常时，移动经降维待检测数据使其仍落在该正常特征域内。
9、在本公开另一实施例中，当待检测数据异常时，移动经降维待检测数据使其从该正常特征域外落到该正常特征域内。
10、在本公开又一实施例中，数据的降维采用自编码器的编码器进行，并且重构误差的获取采用自编码器的解码器进行。
11、在本公开一实施例中，提供了一种基于特征移动的无监督异常检测系统，包括：接收模块，接收待检测数据；数据降维模块，将待检测数据降维以获取经降维待检测数据；特征移动模块，移动经降维待检测数据并获取移动后的经降维待检测数据的重构误差；以及异常检测模块，基于重构误差阈值和所获取的待检测数据的重构误差确定待检测数据是否异常。
12、在本公开另一实施例中，重构误差阈值是在训练阶段基于正常状态数据的重构误差分布确定的。
13、在本公开又一实施例中，进一步包括重构误差阈值获取模块，该重构误差阈值获取模块将所接收的正常状态数据降维以获取经降维正常状态数据，获取经降维正常状态数据的重构误差分布，以及基于重构误差分布确定重构误差阈值。
14、在本公开一实施例中，提供了一种存储有指令的计算机可读存储介质，当这些指令被执行时使得机器执行如前所述的方法。
15、提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
本文档来自技高网...【技术保护点】
1.一种基于特征移动的无监督异常检测方法，包括：
2.如权利要求1所述的方法，所述重构误差阈值是在训练阶段基于正常状态数据的重构误差分布确定的。
3.如权利要求2所述的方法，所述重构误差阈值通过经降维正常状态数据的重构误差的正态分布确定。
4.如权利要求2所述的方法，在训练阶段，所述正常状态数据的重构误差分布的获取包括：
5.如权利要求1所述的方法，移动所述经降维待检测数据采用求周边平均实现。
6.如权利要求3所述的方法，所述经降维正常状态数据构成正常特征域。
7.如权利要求4所述的方法，当待检测数据正常时，移动所述经降维待检测数据使其仍落在所述正常特征域内。
8.如权利要求4所述的方法，当待检测数据异常时，移动所述经降维待检测数据使其从所述正常特征域外落到所述正常特征域内。
9.如权利要求3所述的方法，数据的降维采用自编码器的编码器进行，并且重构误差的获取采用所述自编码器的解码器进行。
10.一种基于特征移动的无监督异常检测系统，包括：
11.如权利要求10所
12.如权利要求11所述的系统，进一步包括重构误差阈值获取模块，所述重构误差阈值获取模块将所接收的正常状态数据降维以获取经降维正常状态数据，获取所述经降维正常状态数据的重构误差分布，以及基于所述重构误差分布确定重构误差阈值。
13.一种存储有指令的计算机可读存储介质，当所述指令被执行时使得机器执行如权利要求1-9中任一项所述的方法。
...【技术特征摘要】
1.一种基于特征移动的无监督异常检测方法，包括：
2.如权利要求1所述的方法，所述重构误差阈值是在训练阶段基于正常状态数据的重构误差分布确定的。
3.如权利要求2所述的方法，所述重构误差阈值通过经降维正常状态数据的重构误差的正态分布确定。
4.如权利要求2所述的方法，在训练阶段，所述正常状态数据的重构误差分布的获取包括：
5.如权利要求1所述的方法，移动所述经降维待检测数据采用求周边平均实现。
6.如权利要求3所述的方法，所述经降维正常状态数据构成正常特征域。
7.如权利要求4所述的方法，当待检测数据正常时，移动所述经降维待检测数据使其仍落在所述正常特征域内。
8.如权利要求4所述的方法，当待检测数据异常时，移动所述经降维待...
【专利技术属性】
技术研发人员：杨浩森，
申请(专利权)人：蚂蚁区块链科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。