数据异常检测的方法、装置、电子设备及存储介质制造方法及图纸

提供一种数据异常检测的方法、装置、设备以及存储介质。该数据异常检测的方法，包括：获取待检测的时序数据源；根据所述时序数据源的时序分布，在预先注册的至少一个检测算法中确定用于检测所述时序数据源的目标检测算法；获取所述目标检测算法的参数配置；根据所述参数配置调用所述目标检测算法对所述时序数据源进行检测，确定所述时序数据源是否存在异常数据。本申请能够实现程序化的数据异常自动检测，有利于提高数据异常检测的时效性、准确性和灵活性。和灵活性。和灵活性。

【技术实现步骤摘要】
数据异常检测的方法、装置、电子设备及存储介质


[0001]本申请涉及数据库领域，并且更具体地，涉及数据异常检测的方法、装置、电子设备以及存储介质。

技术介绍

[0002]数据中台汇集了公司各个业务线的数据，用于生产离线报表、实时计算数据特征等。对于数据中台生产出来的数据或者生产过程中产生的统计数据，都需要进行异常检测，以便把控数据质量，发现数据中的计算错误、业务经营异常或软件系统运行异常等。
[0003]目前对数据中台的数据异常还普遍采用人工二次确认的方式，或者人工不定时检查的方式来保障数据质量，甚至是在数据异常之后才执行自查逻辑，缺少程序化的自动检测方法和手段，导致数据异常检测的时效性和灵活性不足，且准确性低。

技术实现思路

[0004]本申请实施例提供了一种数据异常检测的方法、装置、设备以及存储介质，能够实现程序化的数据异常自动检测，有利于提高数据异常检测的时效性、准确性和灵活性。
[0005]第一方面，提供了一种数据异常检测的方法，包括：
[0006]获取待检测的时序数据源；
[0007]根据所述时序数据源的时序分布，在预先注册的至少一个检测算法中确定用于检测所述时序数据源的目标检测算法；
[0008]获取所述目标检测算法的参数配置；
[0009]根据所述参数配置调用所述目标检测算法对所述时序数据源进行检测，确定所述时序数据源是否存在异常数据。
[0010]第二方面，提供了一种数据异常检测的装置，包括：
[0011]第一获取单元，用于获取待检测的时序数据源；
[0012]确定单元，用于根据所述时序数据源的时序分布，在预先注册的至少一个检测算法中确定用于检测所述时序数据源的目标检测算法；
[0013]第二获取单元，用于获取所述目标检测算法的参数配置；
[0014]检测单元，用于根据所述参数配置调用所述目标检测算法对所述时序数据源进行检测，确定所述时序数据源是否存在异常数据。
[0015]第三方面，本申请提供了一种电子设备，包括：
[0016]处理器，适于实现计算机指令；以及，
[0017]存储器，存储有计算机指令，计算机指令适于由处理器加载并执行上述第一方面的方法。
[0018]第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被计算机设备的处理器读取并执行时，使得计算机设备执行上述第一方面的方法。
[0019]第五方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面的方法。
[0020]基于以上技术方案，通过根据时序数据源的时序分布，能够在预先注册的至少一个检测算法中确定用于检测该时序数据源的目标检测算法，然后进一步获取该目标检测算法的参数配置，并根据该参数配置调用该目标检测算法对时序数据源进行检测，确定时序数据源是否存在异常数据。本申请实施例能够根据时序数据源的时序分布特点，确定适配的目标检测算法以及相应的参数配置，进而调用该目标检测算法对时序数据源的数据异常检测，实现程序化的数据异常自动检测，有利于提高数据异常检测的时效性、准确性和灵活性。
附图说明
[0021]图1为本申请实施例涉及的一种应用场景示意图；
[0022]图2为根据本申请实施例的一种数据异常检测的方法的示意性流程图；
[0023]图3为根据本申请实施例的一种可选的异常检测系统的示意图；
[0024]图4为根据本申请实施例的一种可选的系统架构的示意图；
[0025]图5为本申请实施例提供的一种数据异常检测的装置的示意性框图；
[0026]图6是本申请实施例提供的电子设备的示意性框图。
具体实施方式
[0027]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0028]首先，对本申请实施例的应用场景进行描述。
[0029]图1为本申请实施例涉及的一种应用场景100示意图。
[0030]如图1所示，场景100包括数据中台110和异常检测系统120，其中数据中台汇集了公司业务产生的各种数据，异常检测系统120用于对数据中台110生成的数据，以及数据生成过程中产生的数据进行异常检测，比如发现数据中的计算错误、业务经营异常或软件系统运行异常等。
[0031]示例性的，异常检测系统120可以为集数据上报、数据处理、异常分析以及智能告警于一体的一站式数据异常检测系统。
[0032]示例性地，异常检测系统120可以部署在服务器上。服务器可以是一台或多台服务器。当服务器是多台时，存在至少两台服务器用于提供不同的服务，和/或，存在至少两台服务器用于提供相同的服务，比如以负载均衡方式提供同一种服务，本申请实施例对此不加以限定。
[0033]其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、
云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器也可以成为区块链的节点。
[0034]可选的，服务器还可以显示异常检测系统120的网页(Web)界面。示例性的，管理人员可以通过该Web页面向对数据异常检测的各个环节进行监测管理。
[0035]在一些实施例中，数据中台产出的数据可以包括如下三类：
[0036](一)离线计算的商业智能(Business Intelligence，BI)统计的报表数据，供公司经营决策之用，例如每日出入金人数、金额等；
[0037](二)实时计算的流数据，直接在生产环境(即正式环境)生成并输出的数据，可以向用户展示，例如用户画像特征、用户资产分析等；
[0038](三)各研发系统运行时产生的监测统计数据，用于日常运维发现软件故障、异常、性能瓶颈等，例如Kafka每分钟存储的数据条数、应用程序编程接口(Application Programming Interface,API)每分钟的故障率等。
[0039]对上述三类数据的异常检测具有重要的意义。例如，对于BI统计的报表数据，可能由于人为计算错误或者存储系统故障，导致生产出异常的数据值。如果未能在使用前发现该异常数据值并对其进行纠正，则可能误导决策人员作出错误的判断，产生较为严重的运营事故。又例如，实时计算出的特征数据，在系统重构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据异常检测的方法，其特征在于，包括：获取待检测的时序数据源；根据所述时序数据源的时序分布，在预先注册的至少一个检测算法中确定用于检测所述时序数据源的目标检测算法；获取所述目标检测算法的参数配置；根据所述参数配置调用所述目标检测算法对所述时序数据源进行检测，确定所述时序数据源是否存在异常数据。2.根据权利要求1所述的方法，其特征在于，所述至少一个检测算法中的每个检测算法包括基础类和参数类；所述基础类和继承所述基础类的算法类用于实现检测方法，所述检测方法的参数为所述时序数据源对应的数据列表，所述检测方法的返回值包括是否存在异常值和/或异常值序号列表；所述参数类用于定义检测算法的参数。3.根据权利要求1所述的方法，其特征在于，所述参数配置包括时序数据源的值域类型、判断异常所使用的上下界类型和容忍度中的至少一种。4.根据权利要求1所述的方法，其特征在于，所述获取待检测的时序数据源包括以下至少一种：连接所述时序数据源的数据库读取所述时序数据源；运行数据采集代理程序从所述时序数据源的数据库中读取所述时序数据源；获取用户输入的数据上报程序得到所述时序数据源；获取来自第一设备的所述时序数据源，其中，所述第一设备用于运行数据采集代理程序并从所述时序数据源的数据库中读取所述时...

【专利技术属性】
技术研发人员：陈明，王嘉楠，陈睿，
申请(专利权)人：富途网络科技深圳有限公司，
类型：发明
国别省市：