一种基于深度学习的表格数据异常检测方法及系统技术方案

本发明专利技术公开了一种基于深度学习的表格数据异常检测方法及系统，涉及数据检测领域。本发明专利技术包括以下步骤：获取待检测数据，并输入掩码生成器中，输出多个掩码矩阵；将每个掩码矩阵与原始数据执行元素乘积，生成多个掩码；将多个掩码输入重构网络，将掩码输入映射到潜在空间的特征表示，并将特征从潜在空间重新映射到原始空间，进而输出与输入相匹配的重构数据；分别计算掩码与重构数据的重构误差，使用平均重构误差作为异常分数，将异常分数高于正常样本的待检测数据判为异常数据。本发明专利技术具备较强的泛化能力，能够成功扩展至其他形式的大数据异常检测任务。

【技术实现步骤摘要】

本专利技术涉及数据检测领域，更具体的说是涉及一种基于深度学习的表格数据异常检测方法及系统。

技术介绍

1、表格数据在异常检测(ad)领域是最为广泛应用的数据类型，对于各种科学和工业过程至关重要。举例而言，它在医疗疾病检测、金融欺诈检测、网络入侵检测等领域发挥着关键作用。在大多数实际应用中，往往难以获取或不被允许直接获取标记好的异常数据。因此，对于表格数据的异常检测通常在只包含正常样本的训练集中实施，并采用单类分类的设置。在这种情境下，异常检测的核心解决方法在于提取并学习训练数据的特征模式，以便能够检测偏离这些模式的异常情况。然而，由于表格数据具有异构性、复杂性，并且缺乏固定的结构，寻找这样的特征模式变得相当具有挑战性。

2、为了解决这一挑战，近年来的研究表明ssl(自监督学习self-supervisedlearning)方法能够通过创建先导任务来训练神经网络，从而学习训练数据中的特征模式。一些方法使用基于距离的先导任务，即利用神经网络将数据映射到潜在空间，并期望每次映射后训练样本到聚类中心的距离最小。由此，特征模式由这样的距离建模，而对于那些本文档来自技高网...

【技术保护点】

1.一种基于深度学习的表格数据异常检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于深度学习的表格数据异常检测方法，其特征在于，掩码生成器包括特征提取器和sigmoid函数。

3.根据权利要求1所述的一种基于深度学习的表格数据异常检测方法，其特征在于，掩码矩阵的每一行为一个待检测数据在不同特征上的掩码，每一列为一个特征在不同训练数据上的掩码。

4.根据权利要求1所述的一种基于深度学习的表格数据异常检测方法，其特征在于，还包括将不同掩码矩阵之间的相似性限制在预设阈值之内。

5.一种基于深度学习的表格数据异常检测系统，其特征...

【技术特征摘要】

1.一种基于深度学习的表格数据异常检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于深度学习的表格数据异常检测方法，其特征在于，掩码生成器包括特征提取器和sigmoid函数。

3.根据权利要求1所述的一种基于深度学习的表格数据异常检测方法，其特征在于，掩码矩阵的每一行为一个待检测数据在不同特征上的掩码，每一列为一个特征在不同训练...

【专利技术属性】
技术研发人员：乔媛媛，尹佳鑫，周子棠，林文辉，杨洁，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：