一种异常数据的检测方法及相关设备技术

本申请实施例公开了一种异常数据的检测方法及相关设备，涉及计算机技术领域。包括：服务器获取预设时间内业务服务对应的采样数据，得到采样数据集。服务器对采样数据集进行压缩，得到第一压缩数据。服务器获取业务服务对应的全量数据，全量数据为业务服务对应的历史正常数据集。服务器对全量数据进行压缩，得到第二压缩数据。服务器对比第一压缩数据和第二压缩数据，根据对比结果确定采样数据中的异常数据。本申请实施例可以在节约异常数据检测过程中的存算资源的同时，提高异常数据检测速度和效率。和效率。和效率。

【技术实现步骤摘要】
一种异常数据的检测方法及相关设备


[0001]本申请实施例涉及计算机
，尤其涉及一种异常数据的检测方法及相关设备。

技术介绍

[0002]随着互联网技术的快速发展，网络数据的数据量持续爆发。如何在海量数据中快速找到异常数据点，对许多业务场景具有重要意义。例如，操作日志中的异常记录、异常的监控数据点检测、数据质量评估以及备份数据的有效性检测等场景。快速且精准的查找异常数据已经成为多个业务场景下数据检测的基本要求。
[0003]海量数据一般业务维度复杂并且数据记录数量大，对存算成本要求较高。现有的检测机制需要先将待检测数据和全量数据以某种维度切分，然后将待检测数据与全量数据逐一进行比对，根据对比结果发现异常数据。在该方案中，比对过程产生的中间数据需要全量缓存，同时逐条全量比对也严重浪费浪费存算资源。因此，如何在数据检测过程中节省存算资源，并且更快速有效的检测到异常数据成为亟需解决的问题。

技术实现思路

[0004]本申请实施例提供了一种异常数据的检测方法及相关设备，对预设时间内业务服务对应的采样数据进行压缩，以及对该业本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常数据的检测方法，其特征在于，所述检测方法包括：服务器获取预设时间内业务服务对应的采样数据，得到采样数据集；所述服务器对所述采样数据集进行压缩，得到第一压缩数据；所述服务器获取所述业务服务对应的全量数据；所述全量数据为所述业务服务对应的历史正常数据集；所述服务器对所述全量数据进行压缩，得到第二压缩数据；所述服务器对比所述第一压缩数据和所述第二压缩数据，根据对比结果确定所述采样数据中的异常数据。2.根据权利要求1所述的检测方法，其特征在于，所述服务器获取预设时间内业务服务对应的采样数据，包括：所述服务器在所述预设时间内周期性的获取所述采样数据；或者所述服务器获取所述预设时间内所述业务服务对应的所有监测数据，根据所述监测数据得到所述采样数据。3.根据权利要求1至2任一项所述的检测方法，其特征在于，所述服务器对所述采样数据集进行压缩，得到第一压缩数据，包括：所述服务器对所述采样数据集进行二值化数据编码，得到第一二值化序列；所述服务器对所述全量数据进行压缩，得到第二压缩数据，包括：所述服务器对所述全量数据进行二值化数据编码，得到第二二值化序列；所述服务器对比所述第一压缩数据和所述第二压缩数据，包括：所述服务器对所述第一二值化序列和所述第二二值化序列进行差异比对。4.根据权利要求3所述的检测方法，其特征在于，所述服务器对所述第一二值化序列和所述第二二值化序列进行差异比对，包括：所述服务器对所述第一二值化序列和所述第二二值化序列按位进行异或运算；或所述服务器对所述第一二值化序列和所述第二二值化序列按位进行同或运算；所述根据所述对比结果确定所述采样数据中的异常数据，包括：所述服务器根据所述异或运算的运算结果或所述同或运算的运算结果确定所述第一二值化序列中的异常数据位。5.根据权利要求4所述的检测方法，其特征在于，所述服务器对所述采样数据集进行二值化数据编码之后，所述方法还包括：所述服务器建立所述采样数据集和所述第一二值化序列之间的数据编码映射关系；所述服务器根据所述数据编码映射关系，对所述第一二值化序列中的异常数据位进行解码，获得所述采样数据中的异常数据。6.根据权利要求1至5任一项所述的检测方法，其特征在于，所述方法还包括：所述服务器对所述异常数据进行数据聚合，获得数据视图。7.一种异常数...

【专利技术属性】
技术研发人员：肖旭，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：