数据异常检测方法技术

本公开涉及一种数据异常检测方法，其中，方法包括：获取用于异常监控的指标和监控周期；获取多个历史监控周期内与所述指标对应的多个历史指标值；根据所述历史指标值进行预测，生成目标监控周期的预测区间；获取所述目标监控周期内与所述指标对应的监控指标值；比较所述监控指标值与所述预测区间，并在所述监控指标值处于所述预测区间外的情况下，确定所述监控指标值异常。根据本公开的技术方案将预测算法与实际预警业务结合，能够快速精准定位到数据异常，实现了对于业务核心指标的智能预警能力。警能力。警能力。

【技术实现步骤摘要】
数据异常检测方法


[0001]本公开涉及数据处理
，尤其涉及一种数据异常检测方法。

技术介绍

[0002]随着企业对精细化运营的重视程度的提高，对于核心数据的监控、异常检测具有普遍的需求。在广告行业、电商行业的各种场景中，企业是否能够快速精准定位到数据异常至关重要。
[0003]目前，预警技术采用的是自定义规则引擎的预警方式，通过对指标建立一系列规则引擎，例如设定同环比对比的阈值区间、设定特定值阈值范围等，系统根据业务人员设定的预警规则进行对比后，触发预警通知。该方案需要业务人员具备一定的业务经验，且通过固定规则定位异常易产生误报、漏报，准确度有待提高。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数据异常检测方法。
[0005]第一方面，本公开实施例提供了一种数据异常检测方法，包括：
[0006]获取用于异常监控的指标和监控周期；
[0007]获取多个历史监控周期内与所述指标对应的多个历史指标值；
[0008]根据所述历史指标值进行预测，生成目标监控周期的预测区间；
[0009]获取所述目标监控周期内与所述指标对应的监控指标值；
[0010]比较所述监控指标值与所述预测区间，并在所述监控指标值处于所述预测区间外的情况下，确定所述监控指标值异常。
[0011]第二方面，本公开实施例提供了一种数据异常检测装置，包括：
[0012]第一获取模块，用于获取用于异常监控的指标和监控周期；
[0013]第二获取模块，用于获取多个历史监控周期内与所述指标对应的多个历史指标值；
[0014]生成模块，用于根据所述历史指标值进行预测，生成目标监控周期的预测区间；
[0015]采集模块，用于获取所述目标监控周期内与所述指标对应的监控指标值；
[0016]确定模块，用于比较所述监控指标值与所述预测区间，并在所述监控指标值处于所述预测区间外的情况下，确定所述监控指标值异常。
[0017]第三方面，本公开实施例提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述第一方面所述的数据异常检测方法。
[0018]第四方面，本公开实施例提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的数据异常检测方法。
[0019]本公开实施例提供的技术方案与现有技术相比具有如下优点：将预测算法与实际预警业务结合，能够快速精准定位到数据异常，实现了对于业务核心指标的智能预警能力，帮助用户快速设置智能预警监控，简化了用户设置预警规则的操作。
附图说明
[0020]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0021]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0022]图1为本公开实施例所提供的一种数据异常检测方法的流程示意图；
[0023]图2为本公开实施例所提供的另一种数据异常检测方法的流程示意图；
[0024]图3为本公开实施例所提供的一种产品的界面示意图；
[0025]图4为本公开实施例所提供的一种数据异常检测装置的结构示意图；
[0026]图5为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
[0027]为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
[0028]在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
[0029]图1为本公开实施例所提供的一种数据异常检测方法的流程示意图，本公开实施例可以适用于数据异常监控场景下，对数据异常进行监控，以确定数据异常点。本公开实施例提供的方法可以由数据异常检测装置来执行，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如智能手机、平板电脑等用户终端。
[0030]如图1所示，本公开实施例提供的数据异常检测方法可包括：
[0031]步骤101，获取用于异常监控的指标和监控周期。
[0032]本公开实施例中，可以获取指标和监控周期，以在监控周期内针对该指标进行数据采集。
[0033]其中，监控周期用于指示采集数据的时间段，监控周期可以是一天、一周，也可以是每天的固定时段等。本实施例中提供了两种监控方式示例，示例一按天监控，可以设置每周监控的天数，如周一或者每天；示例二按小时监控，可以设置每天监控的小时时段。
[0034]指标用于指示对何种数据进行异常监控，例如指标可以是点击量、下载次数、点击率等。
[0035]每一指标可对应一个或多个维度，例如维度可以是国家、城市、地区、设备型号、屏幕高度等。
[0036]每一维度可对应一个或多个维度值，例如对于城市这一维度，对应的维度值可以
是北京、上海等。进一步的，本实施例中可以按总体/按分组维度值监控，例如，可以监控指标值，也可以对指标进行维度值划分，以预警不同维度值下指标值。
[0037]指标值是指基于指标监控得到的数据，例如，基于下载次数这一指标监控得到在北京这一维度值下的指标值为500次，在上海这一维度值下的指标值为700次。
[0038]步骤102，获取多个历史监控周期内与指标对应的多个历史指标值。
[0039]本公开实施例中，每个历史监控周期对应一个历史指标值，举例而言，监控周期为一天，指标为点击次数，可以获取前90天中每天监控得到的点击次数，即将获取的90个点击次数作为与指标对应的多个历史指标值。
[0040]进一步的，在本公开的一个实施例中，在按分组维度值监控的情况下，可以确定目标维度值，该目标维度值是从指标的所有维度值中确定的，进而，获取多个历史监控周期内与指标的目标维度值对应的多个历史指标值。例如，确定目标维度值为北京，则获取多个历史周期内在北京这一维度值下的多个历史指标值。
[0041]步骤103，根据历史指标值进行预测，生成目标监控周期的预测区间。
[0042]其中，预测区间用于判断监控指标值是否异常。
[0043]在本公开的一个实施例中，根据历史指标值进行预测，生成目标监控周期的预测区间，如图2所示，包括以下步骤：
[0044]步骤1031，构建预测模型和用于衡量预测值和真实值之间差异的目标函数。
...

【技术保护点】

【技术特征摘要】
1.一种数据异常检测方法，其特征在于，包括：获取用于异常监控的指标和监控周期；获取多个历史监控周期内与所述指标对应的多个历史指标值；根据所述历史指标值进行预测，生成目标目标监控周期的预测区间；获取所述目标目标监控周期内与所述指标对应的监控指标值；比较所述监控指标值与所述预测区间，并在所述监控指标值处于所述预测区间外的情况下，确定所述监控指标值异常。2.如权利要求1所述的方法，其特征在于，所述根据所述历史指标值进行预测，生成目标监控周期的预测区间，包括：构建预测模型和用于衡量预测值和真实值之间差异的目标函数，其中，所述预测模型包括趋势项、周期项和特殊事件项；根据所述历史指标值训练所述预测模型，以使所述预测模型输出的预测值和所述历史指标值满足所述目标函数取值最小；根据训练后的预测模型确定目标监控周期的预测值和预测区间。3.如权利要求2所述的方法，其特征在于，所述目标函数是根据真实值与预测值之间差值的平方确定的。4.如权利要求2所述的方法，其特征在于，还包括：获取包含特殊事件的训练数据；根据所述训练数据中每一特殊事件的影响值计算平均值μ和标准差σ，并生成以μ为期望、以σ为标准差的正态分布表示；根据所述正态分布表示生成每一特殊事件对应的影响分量；所述根据训练后的预测模型确定目标监控周期的预测值，包括：确定所述目标监控周期对应的特殊事件；根据所述目标监控周期对应的特殊事件的影响分量，生成所述预测模型的特殊事件项，以根据生成的特殊事件项计算预测值。5.如权利要求2所述的方法，其特征在于，所述根据训练后的预测模型确定目标监控周期的预测值和预...

【专利技术属性】
技术研发人员：桑文锋，刘耀洲，曹犟，付力力，安志远，岳帅，胡士文，肖又维，
申请(专利权)人：神策网络科技北京有限公司，
类型：发明
国别省市：