一种金融业交易全链路日志的异常检测方法技术

本发明专利技术提供一种金融业交易全链路日志的异常检测方法，采用上述技术方案解决了对交易链路的错误返回码的统计只能手工设置阈值的问题。本发明专利技术通过机器学习方式对交易链路各种交易序列的特点进行建模，学习全天不同时段内交易的分布概率，可以识别出新增序列异常，序列分布突增、突降异常，序列中断异常。可以在第一时间检测出交易的潜在故障并告警。同时解决了传统的日志异常检测方式会丢失大量链路的已有序列知识问题，可以更好的识别出交易链路的序列类异常，该类异常在多个金融机构的实际生产环境中多次发生过，造成很严重的故障，追查和定位困难。查和定位困难。查和定位困难。

【技术实现步骤摘要】
一种金融业交易全链路日志的异常检测方法


[0001]本专利技术涉及异常检测方法和系统领域，具体是指一种金融业交易全链路日志的异常检测方法。

技术介绍

[0002]现有技术方案有如下缺点：
[0003]1.人工梳理出的链路拓扑，无法纳管中断的交易序列和新增的交易节点，另外对于交易的分布情况出现异常时也无法识别。
[0004]2.传统的日志异常检测方式对于交易链路的序列类异常丢失了手工/自动构建出的链路拓扑先验知识，结果的准确性和可解释性不够好。
[0005]因此，一种金融业交易全链路日志的异常检测方法成为整个社会亟待解决的问题。

技术实现思路

[0006]为解决上述技术问题，本专利技术提供的技术方案为：一种金融业交易全链路日志的异常检测方法，包括假设构建的链路拓扑，
[0007]链路1：模块A＝》模块B＝》模块C；
[0008]链路2：模块A＝》模块D＝》模块E＝》模块F；
[0009]链路3：模块A＝》模块D；
[0010](1)首先缓存所有的交易序列到内存数据库中；
[0011](2)学习历史上固定时间切片内的交易序列分布情况，例如计算每工作日一下午15：00～15：05的所有交易序列的分布情况，用3西格玛原则去除噪声，例如链路1的概率是20％～40％；链路2的分布概率为40％～50％；链路3的分布概率为20％～30％；
[0012](3)学习历史上固定时间切片内模块间的转移概率情况，例如计算每工作日一下午15：00～15：05模块A到模块D的转移概率，用3西格玛原则去除噪声，得出模块A到模块D的转移概率为在60％～80％，模块A到模块B的转移概率为20％～40％。
[0013]进一步地，当有一条新的交易序列结束或超时后与内存数据中已有的交易序列进行比对：
[0014](1)如果历史上没有出现过该序列同时该序列也不是任一序列的子序列，则记录下来该异常，当某固定时间切片(例如1分钟或者5分钟)内发生的相同异常超过一个经验参数后发出告警，并标记为历史新增序列异常；
[0015](2)如果该序列是历史上出现过的某一序列的子序列(同时序列长度大于某参数)，则表明该序列是一个中断的序列，记录下来该异常，当某固定时间切片(例如1分钟或者5分钟)内发生的相同异常超过一个经验参数后发出告警。如果该该序列属于多个序列的子序列，则按照转移概率排序取最大概率的那条序列，并标识为序列中断异常；
[0016](3)针对当前时间切片内的所有序列，计算每一序列的统计比例，与历史上的概率
分布进行比对，如果超过上下限，则发出告警，并标识为序列分布异常，也可以设定经验参数，当突增或突降时才进行告警。
[0017]本专利技术与现有技术相比的优点在于，本专利技术采用上述技术方案，具备以下优点：
[0018](1)解决了对交易链路的错误返回码的统计只能手工设置阈值的问题。本专利技术通过机器学习方式对交易链路各种交易序列的特点进行建模，学习全天不同时段内交易的分布概率，可以识别出新增序列异常，序列分布突增、突降异常，序列中断异常。可以在第一时间检测出交易的潜在故障并告警。
[0019](2)解决了传统的日志异常检测方式会丢失大量链路的已有序列知识问题，可以更好的识别出交易链路的序列类异常，该类异常在多个金融机构的实际生产环境中多次发生过，造成很严重的故障，追查和定位困难。
附图说明
[0020]图1是本专利技术一种金融业交易全链路日志的异常检测方法的模块示意图。
具体实施方式
[0021]下面结合附图对本专利技术做进一步的详细说明。
[0022]结合附图，对本专利技术进行详细介绍。
[0023]本专利技术在具体实施时提供了一种金融业交易全链路日志的异常检测方法，包括假设构建的链路拓扑，
[0024]链路1：模块A＝》模块B＝》模块C；
[0025]链路2：模块A＝》模块D＝》模块E＝》模块F；
[0026]链路3：模块A＝》模块D；
[0027](1)首先缓存所有的交易序列到内存数据库中；
[0028](2)学习历史上固定时间切片内的交易序列分布情况，例如计算每工作日一下午15：00～15：05的所有交易序列的分布情况，用3西格玛原则去除噪声，例如链路1的概率是20％～40％；链路2的分布概率为40％～50％；链路3的分布概率为20％～30％；
[0029](3)学习历史上固定时间切片内模块间的转移概率情况，例如计算每工作日一下午15：00～15：05模块A到模块D的转移概率，用3西格玛原则去除噪声，得出模块A到模块D的转移概率为在60％～80％，模块A到模块B的转移概率为20％～40％。
[0030]2.根据权利要求1所述的一种金融业交易全链路日志的异常检测方法，其特征在于：当有一条新的交易序列结束或超时后与内存数据中已有的交易序列进行比对：
[0031](1)如果历史上没有出现过该序列同时该序列也不是任一序列的子序列，则记录下来该异常，当某固定时间切片(例如1分钟或者5分钟)内发生的相同异常超过一个经验参数后发出告警，并标记为历史新增序列异常；
[0032](2)如果该序列是历史上出现过的某一序列的子序列(同时序列长度大于某参数)，则表明该序列是一个中断的序列，记录下来该异常，当某固定时间切片(例如1分钟或者5分钟)内发生的相同异常超过一个经验参数后发出告警。如果该该序列属于多个序列的子序列，则按照转移概率排序取最大概率的那条序列，并标识为序列中断异常；
[0033](3)针对当前时间切片内的所有序列，计算每一序列的统计比例，与历史上的概率
分布进行比对，如果超过上下限，则发出告警，并标识为序列分布异常，也可以设定经验参数，当突增或突降时才进行告警。
[0034]作为本专利技术的进一步阐述，在云原生的场景下，上面列举的模块也可能是微服务，当有海量微服务存在时，记录下所有微服务间的转移概率在训练和计算时会有性能问题，我们通过使用HMM(隐马尔科夫模型)限定计算节点的长度来大大降低计算量。
[0035]作为本专利技术的进一步阐述，在有些场景中，序列的某一子序列会多次循环，我们通过消除环来降低序列的总数量，降低存储难度和实现复杂度。
[0036]以上对本专利技术及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本专利技术的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本专利技术创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利技术的保护范围。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种金融业交易全链路日志的异常检测方法，其特征在于，包括假设构建的链路拓扑，链路1：模块A＝》模块B＝》模块C；链路2：模块A＝》模块D＝》模块E＝》模块F；链路3：模块A＝》模块D；(1)首先缓存所有的交易序列到内存数据库中；(2)学习历史上固定时间切片内的交易序列分布情况，例如计算每工作日一下午15：00～15：05的所有交易序列的分布情况，用3西格玛原则去除噪声，例如链路1的概率是20％～40％；链路2的分布概率为40％～50％；链路3的分布概率为20％～30％；(3)学习历史上固定时间切片内模块间的转移概率情况，例如计算每工作日一下午15：00～15：05模块A到模块D的转移概率，用3西格玛原则去除噪声，得出模块A到模块D的转移概率为在60％～80％，模块A到模块B的转移概率为20％～40％。2.根据权利要求1所述的一种金融业交易全链路日志的异常检测方法...

【专利技术属性】
技术研发人员：杨好颖，朱品燕，
申请(专利权)人：北京云集智造科技有限公司，
类型：发明
国别省市：