异常数据检测方法及系统技术方案

本发明专利技术实施例提供了一种异常数据检测方法及系统。该异常数据检测方法包括：接收外接系统发送的第一检测数据，所述第一检测数据为第一维数据；将所述第一检测数据转换为第二检测数据，所述第二检测数据为第二维数据，所述第一维数据的维度大于所述第二维数据；基于训练好的异常预测模型对所述第二检测数据进行预测得到预测数据；将所述预测数据与实际数据对比，以判断所述实际数据是否出现异常。通过对第一检测数据降维后再进行预测，达到提高异常数据预测的准确度的效果。

Abnormal data detection method and system

【技术实现步骤摘要】
异常数据检测方法及系统
本专利技术实施例涉及机器学习
，尤其涉及一种异常数据检测方法及系统。
技术介绍
异常检测是机器学习领域的一个重要研究方向。在金融、网络安全等领域，通过学习大量历史数据，异常检测算法能够区分正常数据与异常数据，从而对于异常问题进行预警。实现时间序列异常检测，通常利用历史数据建立基于时间序列的预测模型，以此比较预测数据和实际数据的差异，以判断是否出现异常。典型的算法为聚类算法，它将时间序列划分为多个状态，并建立简单的状态转化以体现历史数据之间的状态切换，从而预测高阶时间序列数据。然而，使用聚类算法对时间序列进行状态划分，会丢失大量数据信息，如不同状态之间在数值上的联系和同一状态中不同数据的差异。由于其使用的状态转换过于简单，不能对数据进行准确预测，尤其是对高维数据进行预测时，会导致预测的结果不够准确。
技术实现思路
本专利技术实施例提供一种异常数据检测方法及系统，以实现提高异常数据预测的准确度的效果。第一方面，本专利技术实施例提供了一种异常数据检测方法，包括：接收外接系统发送的第一检测数据，所述第一检测数据为第一维数据；将所述第一检测数据转换为第二检测数据，所述第二检测数据为第二维数据，所述第一维数据的维度大于所述第二维数据；基于训练好的异常预测模型对所述第二检测数据进行预测得到预测数据；将所述预测数据与实际数据对比，以判断所述实际数据是否出现异常。可选的，所述将所述预测数据与实际数据对比，以判断所述实际数据是否出现异常，包括：计算所述预测数据与实际数据的数据差值；判断所述数据差值是否大于差值阈值；如果所述数据差值大于所述差值阈值，则判定所述实际数据异常。可选的，在所述将所述第一检测数据转换为第二检测数据之前，包括：通过正常的历史数据进行训练得到自动编码器，所述自动编码器包括解码器和编码器；将所述解码器取出，保留训练好的编码器，所述训练好的编码器用于将所述第一检测数据转换为第二检测数据。可选的，所述编码器加入批规范化处理。可选的，所述基于训练好的异常预测模型对所述第二检测数据进行预测得到预测数据，包括：对所述第二检测数据进行初始计算得到第二中间结果，所述第二中间结果存放在第二中间结果缓存区；从所述第二中间结果缓存区获取所述第二中间结果进行最终预测计算，以得到所述预测数据。可选的，所述自动编码器和所述异常预测模型共享相同的乘法内核。第二方面，本专利技术实施例提供了一种异常数据检测系统，包括：数据接口，所述数据接口用于接收外接系统发送的第一检测数据，所述第一检测数据为第一维数据；降维预测模块，所述降维预测模块包括数据降维单元和预测数据计算单元，所述数据降维单元用于将所述第一检测数据转换为第二检测数据，所述第二检测数据为第二维数据，所述第一维数据的维度大于所述第二维数据，所述预测数据计算单元用于基于训练好的异常预测模型对所述第二检测数据进行预测得到预测数据；异常判断模块，所述异常判断模块用于将所述预测数据与实际数据对比，以判断所述实际数据是否出现异常。可选的，所述异常判断模块包括：数据差值计算单元，用于计算所述预测数据与实际数据的数据差值；异常判断单元，用于判断所述数据差值是否大于差值阈值，如果所述数据差值大于所述差值阈值，则判定所述实际数据异常。可选的，所述数据降维单元包括第一计算子单元和降维最终处理单元；所述第一计算子单元用于对所述第一检测数据进行初始计算得到第一中间结果；所述降维最终处理单元与所述第一计算子单元的输出端电连接，用于对所述第一中间结果进行最终降维计算，以得到所述第二检测数据。可选的，所述预测数据计算单元包括第二计算子单元和最终预测处理单元；所述第二计算子单元用于对所述第二检测数据进行初始计算得到第二中间结果；所述最终预测处理单元用于所述第二计算子单元的输出端电连接，用于对所述第二中间结果进行最终预测计算，以得到所述预测数据。可选的，所述第一计算子单元和所述第二计算子单元为相同的计算子单元。可选的，所述第二计算子单元包括第二中间结果缓存区，用于存放所述第二中间结果。可选的，降维最终处理单元包括：降维处理子单元，用于对所述第一中间结果进行降维计算得到最终降维数据；批规范化处理单元，用于对所述最终降维数据进行标准化处理，以得到所述第二检测数据。本专利技术实施例通过接收外接系统发送的第一检测数据，所述第一检测数据为第一维数据；将所述第一检测数据转换为第二检测数据，所述第二检测数据为第二维数据，所述第一维数据的维度大于所述第二维数据；基于训练好的异常预测模型对所述第二检测数据进行预测得到预测数据；将所述预测数据与实际数据对比，以判断所述实际数据是否出现异常，解决了对高维数据进行预测时，会导致预测的结果不够准确的问题，实现了提高异常数据预测的准确度的效果。附图说明图1是本专利技术实施例一提供的一种异常数据检测方法的流程示意图；图2是本专利技术实施例二提供的一种异常数据检测方法的流程示意图；图3是本专利技术实施例三提供的一种异常数据检测系统的结构示意图；图4是本专利技术实施例四提供的一种异常数据检测系统的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一检测数据为第二检测数据，且类似地，可将第二检测数据称为第一检测数据。第一检测数据和第二检测数据两者都是检测数据，但其不是同一检测数据。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。实施例一图1为本专利技术实施例一提供的一种异常数据检测方法的流程示意图，可适用于对高维的异常数据进行检测的场景，该方法可以由异常数据检测系统本文档来自技高网...

【技术保护点】
1.一种异常数据检测方法，其特征在于，包括：/n接收外接系统发送的第一检测数据，所述第一检测数据为第一维数据；/n将所述第一检测数据转换为第二检测数据，所述第二检测数据为第二维数据，所述第一维数据的维度大于所述第二维数据；/n基于训练好的异常预测模型对所述第二检测数据进行预测得到预测数据；/n将所述预测数据与实际数据对比，以判断所述实际数据是否出现异常。/n

【技术特征摘要】
1.一种异常数据检测方法，其特征在于，包括：
接收外接系统发送的第一检测数据，所述第一检测数据为第一维数据；
将所述第一检测数据转换为第二检测数据，所述第二检测数据为第二维数据，所述第一维数据的维度大于所述第二维数据；
基于训练好的异常预测模型对所述第二检测数据进行预测得到预测数据；
将所述预测数据与实际数据对比，以判断所述实际数据是否出现异常。


2.如权利要求1所述的异常数据检测方法，其特征在于，所述将所述预测数据与实际数据对比，以判断所述实际数据是否出现异常，包括：
计算所述预测数据与实际数据的数据差值；
判断所述数据差值是否大于差值阈值；
如果所述数据差值大于所述差值阈值，则判定所述实际数据异常。


3.如权利要求1所述的异常数据检测方法，其特征在于，在所述将所述第一检测数据转换为第二检测数据之前，包括：
通过正常的历史数据进行训练得到自动编码器，所述自动编码器包括解码器和编码器；
将所述解码器取出，保留训练好的编码器，所述训练好的编码器用于将所述第一检测数据转换为第二检测数据。


4.如权利要求3所述的异常数据检测方法，其特征在于，所述编码器加入批规范化处理。


5.如权利要求1所述的异常数据检测方法，其特征在于，所述基于训练好的异常预测模型对所述第二检测数据进行预测得到预测数据，包括：
对所述第二检测数据进行初始计算得到第二中间结果，所述第二中间结果存放在第二中间结果缓存区；
从所述第二中间结果缓存区获取所述第二中间结果进行最终预测计算，以得到所述预测数据。


6.如权利要求3所述的异常数据检测方法，其特征在于，所述自动编码器和所述异常预测模型共享相同的乘法内核。


7.一种异常数据检测系统，其特征在于，包括：
数据接口，所述数据接口用于接收外接系统发送的第一检测数据，所述第一检测数据为第一维数据；
降维预测模块，所述降维预测模块包括数据降维单元和预测数据计算单元，所述数据降维单...

【专利技术属性】
技术研发人员：牛昕宇，蔡权雄，
申请(专利权)人：深圳鲲云信息科技有限公司，
类型：发明
国别省市：广东;44