数据异常检测方法、系统、终端设备及存储介质技术方案

技术编号:36452068 阅读:11 留言:0更新日期:2023-01-25 22:48
本发明专利技术提供了一种数据异常检测方法、系统、终端设备及存储介质,该方法包括:根据知识图谱中的邻域上下文数据确定目标类型节点的图嵌入特征;查询目标类型节点在各知识图谱中的关联类型节点,根据各关联类型节点的局部统计特征确定目标类型节点的图规则特征;根据图嵌入特征对第一自编码器进行训练,根据图规则特征对第二自编码器进行训练;将待识别贷款数据分别输入训练后的第一自编码器和第二自编码器进行异常检测,得到第一异常概率和第二异常概率;根据第一异常概率和第二异常概率生成异常检测结果。本发明专利技术基于训练后的第一自编码器和第二自编码器能有效地对待识别贷款数据进行关联性的异常分析,提高了对借贷行为的数据异常检测的准确性。据异常检测的准确性。据异常检测的准确性。

【技术实现步骤摘要】
数据异常检测方法、系统、终端设备及存储介质


[0001]本专利技术涉及数据处理
,尤其涉及一种数据异常检测方法、系统、终端设备及存储介质。

技术介绍

[0002]随着互联网的快速发展,随着越来越多的实体经济进行“互联网+”,以及互联网原生业态的蓬勃发展,大量的资金和业务依托互联网而实现,同时保障这些资金和业务流转的技术也日渐成熟,作为常态金融需求之一的借贷行为,也就很自然地出现在网络经济之中,为控制每笔借贷行为的风险,针对借贷行为的数据异常检测问题越来越受人们所重视。
[0003]现有的借贷行为数据异常检测,主要依赖于客户贷款申请的进件信息和外部信息的结构化数据,缺乏关联性分析,降低了数据异常检测的准确性。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种数据异常检测方法、系统、终端设备及存储介质,旨在解决现有的借贷行为的数据异常检测准确性较低的问题。
[0005]本专利技术实施例是这样实现的,一种数据异常检测方法,所述方法包括:
[0006]根据样本数据构建知识图谱,获取所述知识图谱中的邻域上下文数据,并根据所述邻域上下文数据确定所述知识图谱中目标类型节点的图嵌入特征;
[0007]查询所述目标类型节点在各知识图谱中的关联类型节点,并根据各关联类型节点在所述知识图谱中的局部统计特征,确定所述知识图谱中所述目标类型节点的图规则特征;
[0008]根据所述图嵌入特征对第一自编码器进行训练,并根据所述图规则特征对第二自编码器进行训练;
[0009]将待识别贷款数据分别输入训练后的所述第一自编码器和第二自编码器进行异常检测,得到第一异常概率和第二异常概率;
[0010]根据所述第一异常概率和所述第二异常概率生成所述待识别贷款数据的异常检测结果。
[0011]更进一步的,所述获取所述知识图谱中的邻域上下文数据,并根据所述邻域上下文数据确定所述知识图谱中目标类型节点的图嵌入特征,包括:
[0012]获取所述知识图谱中各样本实体之间的实体关系,并根据所述实体关系构建关系元路径;
[0013]根据所述关系元路径在所述知识图谱中进行随机游走采样,得到所述邻域上下文数据;
[0014]将所述邻域上下文数据输入预训练后的向量转换模型进行向量转换,得到所述图嵌入特征。
[0015]更进一步的,所述查询所述目标类型节点在各知识图谱中的关联类型节点,并根
据各关联类型节点在所述知识图谱中的局部统计特征,确定所述知识图谱中所述目标类型节点的图规则特征,包括:
[0016]将所述目标类型节点与预存储的关联类型查询表进行匹配,得到所述关联类型节点,所述关联类型查询中存储有不同所述目标类型节点与对应关联类型节点之间的对应关系;
[0017]分别获取各关联类型节点在所述知识图谱中的局部统计特征,并分别对各局部统计特征进行向量转换,得到局部统计向量;
[0018]对各局部统计向量进行特征聚合,得到所述图规则特征。
[0019]更进一步的,所述根据所述图嵌入特征对第一自编码器进行训练,并根据所述图规则特征对第二自编码器进行训练,包括:
[0020]根据所述目标类型节点对所述知识图谱进行样本划分,得到正样本和负样本,并将所述正样本划分为正常样本和逾期样本;
[0021]将所述正常样本划分为训练样本、阈值优化样本和测试样本,并将所述测试样本和所述逾期样本进行合并,得到测试样本集;
[0022]将所述训练样本和所述负样本对应的图嵌入特征输入所述第一自编码器进行训练,直至所述第一自编码器对所述测试样本集的检测结果满足收敛条件;
[0023]将所述训练样本和所述负样本对应的图规则特征输入所述第二自编码器进行训练,直至所述第二自编码器对所述测试样本集的检测结果满足收敛条件。
[0024]更进一步的,所述将待识别贷款数据分别输入训练后的所述第一自编码器和第二自编码器进行异常检测,得到第一异常概率和第二异常概率之后,还包括:
[0025]将所述阈值优化样本对应的图嵌入特征输入收敛后的所述第一自编码器进行异常检测,得到第一重构误差,并根据所述第一重构误差对所述第一异常概率进行误差修正;
[0026]将所述阈值优化样本对应的图规则特征输入收敛后的所述第二自编码器进行异常检测,得到第二重构误差,并根据所述第二重构误差对所述第二异常概率进行误差修正。
[0027]更进一步的,所述根据所述第一异常概率和所述第二异常概率生成所述待识别贷款数据的异常检测结果,包括:
[0028]分别获取所述第一自编码器和所述第二自编码器的权重系数,得到第一权重系数和第二权重系数;
[0029]根据所述第一权重系数对误差修正后的所述第一异常概率进行权重计算,并根据所述第二权重系数对误差修正后的所述第二异常概率进行权重计算;
[0030]计算权重计算后所述第一异常概率和所述第二异常概率之间的和,得到数据异常概率;
[0031]若所述数据异常概率小于等于异常概率阈值,则判定所述待识别贷款数据未存在异常,若所述数据异常概率大于所述异常概率阈值,则判定所述待识别贷款数据是异常数据。
[0032]更进一步的,所述根据样本数据构建知识图谱,包括:
[0033]对所述样本数据进行实体识别,得到样本实体,并根据预存储的实体关系列表对各样本实体进行图谱构建,得到所述知识图谱。
[0034]本专利技术实施例的另一目的在于提供一种数据异常检测系统,所述系统包括:
[0035]图谱构建单元,用于根据样本数据构建知识图谱,获取所述知识图谱中的邻域上下文数据,并根据所述邻域上下文数据确定所述知识图谱中目标类型节点的图嵌入特征;
[0036]特征确定单元,用于查询所述目标类型节点在各知识图谱中的关联类型节点,并根据各关联类型节点在所述知识图谱中的局部统计特征,确定所述知识图谱中所述目标类型节点的图规则特征;
[0037]编码器训练单元,用于根据所述图嵌入特征对第一自编码器进行训练,并根据所述图规则特征对第二自编码器进行训练;
[0038]异常检测单元,用于将待识别贷款数据分别输入训练后的所述第一自编码器和第二自编码器进行异常检测,得到第一异常概率和第二异常概率,并根据所述第一异常概率和所述第二异常概率生成所述待识别贷款数据的异常检测结果。
[0039]本专利技术实施例的另一目的在于提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述方法的步骤。
[0040]本专利技术实施例的另一目的在于提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
[0041]本专利技术实施例,通过样本数据构建知识图谱,基于知识图谱能有效地表征各节点之间的关系,通过获取知识图谱中的邻域上下文数据,基于邻域上下文数据能有效地确定到知识图本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据异常检测方法,其特征在于,所述方法包括:根据样本数据构建知识图谱,获取所述知识图谱中的邻域上下文数据,并根据所述邻域上下文数据确定所述知识图谱中目标类型节点的图嵌入特征;查询所述目标类型节点在各知识图谱中的关联类型节点,并根据各关联类型节点在所述知识图谱中的局部统计特征,确定所述知识图谱中所述目标类型节点的图规则特征;根据所述图嵌入特征对第一自编码器进行训练,并根据所述图规则特征对第二自编码器进行训练;将待识别贷款数据分别输入训练后的所述第一自编码器和第二自编码器进行异常检测,得到第一异常概率和第二异常概率;根据所述第一异常概率和所述第二异常概率生成所述待识别贷款数据的异常检测结果。2.如权利要求1所述的数据异常检测方法,其特征在于,所述获取所述知识图谱中的邻域上下文数据,并根据所述邻域上下文数据确定所述知识图谱中目标类型节点的图嵌入特征,包括:获取所述知识图谱中各样本实体之间的实体关系,并根据所述实体关系构建关系元路径;根据所述关系元路径在所述知识图谱中进行随机游走采样,得到所述邻域上下文数据;将所述邻域上下文数据输入预训练后的向量转换模型进行向量转换,得到所述图嵌入特征。3.如权利要求1所述的数据异常检测方法,其特征在于,所述查询所述目标类型节点在各知识图谱中的关联类型节点,并根据各关联类型节点在所述知识图谱中的局部统计特征,确定所述知识图谱中所述目标类型节点的图规则特征,包括:将所述目标类型节点与预存储的关联类型查询表进行匹配,得到所述关联类型节点,所述关联类型查询中存储有不同所述目标类型节点与对应关联类型节点之间的对应关系;分别获取各关联类型节点在所述知识图谱中的局部统计特征,并分别对各局部统计特征进行向量转换,得到局部统计向量;对各局部统计向量进行特征聚合,得到所述图规则特征。4.如权利要求1所述的数据异常检测方法,其特征在于,所述根据所述图嵌入特征对第一自编码器进行训练,并根据所述图规则特征对第二自编码器进行训练,包括:根据所述目标类型节点对所述知识图谱进行样本划分,得到正样本和负样本,并将所述正样本划分为正常样本和逾期样本;将所述正常样本划分为训练样本、阈值优化样本和测试样本,并将所述测试样本和所述逾期样本进行合并,得到测试样本集;将所述训练样本和所述负样本对应的图嵌入特征输入所述第一自编码器进行训练,直至所述第一自编码器对所述测试样本集的检测结果满足收敛条件;将所述训练样本和所述负样本对应的图规则特征输入所述第二自编码器进行训练,直至所述第二自编码器对所述测试样本集的检测结果满足收敛条件。5.如权利要求4所述的数据异常检测方法,其特征在于,所述将待识别贷款数据...

【专利技术属性】
技术研发人员:洪镇宇张志远
申请(专利权)人:厦门国际银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1