一种非常规异常检测方法、系统及存储介质技术方案

本发明专利技术提供一种非常规异常检测方法、系统及存储介质，包括：S1检测输入数据存在异常维度的异常点；S2确定异常程度超过第一阈值的异常点为第一异常点，异常程度未超过第一阈值的异常点为第二异常点；S3确定特征提取模型；S4采用S3的特征提取模型计算第二异常点的特征指标数据；S5聚合第二异常点的特征指标数据，若聚合后的第二异常点的特征指标数据超过第二阈值，则确定为第三异常点；S6排除与第一异常点重叠的第三异常点，确定为非常规异常。本发明专利技术解决了难以对发生频率低、单个指标异常程度不高、交易小的故障情况进行准确有效异常检测的技术问题，对非常规异常检测的针对性强、准确率高、识别速度快。识别速度快。识别速度快。

【技术实现步骤摘要】
一种非常规异常检测方法、系统及存储介质


[0001]本专利技术涉及异常检测，具体涉及一种非常规异常检测方法、系统及存储介质。

技术介绍

[0002]金融领域异常检测的一种常见方法为，通过交易量失败情况统计故障，进而分析上述故障的各项指标情况。系统异常的判断通常通过指标的阈值程度确定，即，当异常超过一定阈值时，认为属于系统异常，否则则认为属于可接收的故障场景。例如，当特定时间区间内，发生的失败交易频率大于指定阈值，或单笔交易的异常程度大于指定阈值等，则为判断系统异常的常规方法。现有场景中，出现了部分发生频率低、单个指标异常程度不高、交易小、样本数量少的故障情况。这类故障的识别难度在于：难以通过通常的超过阈值的检测方法将其有效识别；难以与不需要被判定为系统异常的正常的刷卡失败情况加以准确区分。因此，针对这类故障程度不足以被确定为系统异常的非常规故障在系统异常检测时，容易被海量情况淹没，无法准确、有效地针对该类特定系统异常进行识别。

技术实现思路

[0003]为解决现有技术存在的难以对发生频率低、单个指标异常程度不高、交易小的故障情况进行准确有效异常检测的技术问题，本专利技术提供1.一种非常规异常检测方法，其特征在于，包括：S1检测输入数据存在异常维度的异常点；S2确定异常程度超过第一阈值的异常点为第一异常点，异常程度未超过第一阈值的异常点为第二异常点；S3确定特征提取模型；S4 采用S3的特征提取模型计算第二异常点的特征指标数据；S5聚合第二异常点的特征指标数据，若聚合后的第二异常点的特征指标数据超过第二阈值，则确定为第三异常点；S6排除与第一异常点重叠的第三异常点，确定为非常规异常；所述特征提取模型通过最小化损失函数降低特征扩展后减枝的工作量，所述损失函数与第三异常点及第三异常点对应的真实出现的非常规异常的第四异常点的相似度正相关，与第三异常点及第一异常点的相似度负相关。
[0004]优选的，所述非常规异常检测方法还包括S7：聚合评价所述S6确定的非常规异常，所述聚合评价的方法为，计算第三异常点与第一异常点的相似度，或/且，计算第三异常点与第四异常点的相似度；所述第四异常点为真实出现的非常规异常。
[0005]优选的，所述聚合评价方法还包括：统计第四异常点；所述第四异常点的统计方法为：当前时间窗口下统计获得第一聚合结果；在扩展时间窗口内统计获得第二聚合结果；在泛化空间区间下统计获得第三聚合结果。
[0006]优选的，所述S3确定特征提取模型的方法为，根据历史数据及聚合评价的结果优化特征提取模型。
[0007]优选的，所述特征提取模型的确定方法包括：识别异常点特征；对异常点的特征进行排列组合，获得第一特征指标向量；对第一特征指向量标进行剪枝，获得第二特征指标向量。
[0008]优选的，所述计算针对第二特征指标向量的权重向量的方法为，以损失函数最小时的权重向量作为对第二特征指标向量进行剪枝的权重向量；所述损失函数为：Loss_weight = Loss_cls +Lamda_reg*Loss_reg；其中，Loss_weight为损失函数，Loss_cls为精度损失函数，Lamda_reg为超参数，Loss_reg为计算量约束量。
[0009]优选的，所述S6包括:S6.1获取第三异常点及第三异常点周边点的特征数据；S6.2动态匹配第三异常点及第三异常点周边数据的特征数据；S6.3去除与第一异常点重叠的第三异常点及第三异常点周边点。
[0010]一种非常规异常检测系统，包括：异常检测模块，被配置为检测输入数据存在异常维度的异常点；异常判断模块，被配置为执行异常程度超过第一阈值的异常点为第一异常点，异常程度未超过第一阈值的异常点为第二异常点；特征提取模型；特征提取模块，被配置为根据特征模型提取模型计算第二异常点的特征指标数据；聚合模块，被配置为聚合第二异常点的特征指标数据，若聚合后的第二异常点的特征指标数据超过第二阈值，则确定为第三异常点；非常规异常判断模块，被配置为排除与第一异常点重叠的第三异常点，确定为非常规异常；聚合评价模块，被配置为通过计算第三异常点与第一异常点的相似度，或/且，计算第三异常点与第四异常点的相似度，评价聚合结果；所述第四异常点为真实出现的非常规异常。
[0011]优选的，所述特征提取模型包括：特征识别模块、特征扩展模块、剪枝模块、权重向量计算模块。
[0012]一种存储介质，其存储有计算机程序；当所述计算机程序被计算设备中的处理器执行时，计算设备执行如上述任一项所述的方法。
[0013]本专利技术通过优化特征提取模型重新对特征进行组合进行提取，并对提取后的离散、低异常程度的异常点的特征进行聚合，以及对常规异常的排除，有效、准确地针对低频发、低阈值异常信号、少样本数量的系统异常进行有针对性识别。
附图说明
[0014]为了更清楚地说明专利技术实施例或现有技术中的技术方案，下面将对实施例或现有
技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0015]图1是本专利技术实施例一提供的一种非常规异常检测方法流程图；图2是本专利技术实施例一提供的特征提取模型确定方法流程图。
具体实施方式
[0016]为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0017]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。
[0018]实施例一本实施例提供了一种非常规异常检测方法，流程如图1
‑
2所示。
[0019]本实施例针对金融交易数据中，针对低频发、低阈值异常信号的故障进行识别聚合后有效识别。例如，单次、小交易的POS刷卡失败的原因可能为卡内余额不足或无效卡，该类情况即使出现故障返回码，也无需被认定为异常。但实际场景中，在某些短时间区间内，某些区域内或特定POS机，出现小范围多次无法有效刷卡的情况，该类情况发生频率低，异常程度低，交易数额小，样本数量少。识别难度在于一来难以通过通常的超过阈值的检测方法将其有效识别，二来难以与不需要被判定为系统异常的失败情况加以准确区分。本实施例通过优化特征提取模型重新对特征进行组合提取，并对提取后的离散、低异常程度的异常点的特征进行聚合，以及对常规异常的排除，有效、准确地针对上述非常规异常点进行有针对性识别。
[0020]本实施例提供的检测方法流程如下：S1检测输入数据存在异常维度的异常点；所述异常点检测选择的阈值远低于通常的系统异常检测采用的阈值，目的在于全面囊括各种的故障情况，即包括高频发高异常程度的异常点，也包括可能由于余额不足，或失效卡所带来的正常的无需被识别为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非常规异常检测方法，其特征在于，包括：S1检测输入数据存在异常维度的异常点；S2确定异常程度超过第一阈值的异常点为第一异常点，异常程度未超过第一阈值的异常点为第二异常点；S3确定特征提取模型；S4 采用S3的特征提取模型计算第二异常点的特征指标数据；S5聚合第二异常点的特征指标数据，若聚合后的第二异常点的特征指标数据超过第二阈值，则确定为第三异常点；S6排除与第一异常点重叠的第三异常点，确定为非常规异常；所述特征提取模型通过最小化损失函数降低特征扩展后减枝的工作量，所述损失函数与第三异常点及第三异常点对应的真实出现的非常规异常的第四异常点的相似度正相关，与第三异常点及第一异常点的相似度负相关。2.根据权利要求1所述的非常规异常检测方法，其特征在于，所述非常规异常检测方法还包括S7：聚合评价所述S6确定的非常规异常，所述聚合评价的方法为，计算第三异常点与第一异常点的相似度，或/且，计算第三异常点与第四异常点的相似度；所述第四异常点为真实出现的非常规异常。3.根据权利要求2所述的非常规异常检测方法，其特征在于，所述聚合评价方法还包括：统计第四异常点；所述第四异常点的统计方法为：当前时间窗口下统计获得第一聚合结果；在扩展时间窗口内统计获得第二聚合结果；在泛化空间区间下统计获得第三聚合结果。4.根据权利要求2所述的非常规异常检测方法，其特征在于，所述S3确定特征提取模型的方法为，根据历史数据及聚合评价的结果优化特征提取模型。5.根据权利要求1所述的非常规异常检测方法，其特征在于，所述特征提取模型的确定方法包括：识别异常点特征；对异常点的特征进行排列组合，获得第一特征指标向量；对第一特征指向量标进行剪枝，获得第二特征指标向量。6.根据权利要求5所述的非常规异常检测方法，其特征在于，所述计算针对第二特征指标向量的权重向...

【专利技术属性】
技术研发人员：吴勇，史晨阳，彭晓，王岗，孙纪周，潘竹，周放，冯震，巩政杰，魏耀辉，
申请(专利权)人：中国光大银行股份有限公司，
类型：发明
国别省市：