一种异常数据的检测方法、系统及设备技术方案

本发明专利技术公开了一种异常数据的检测方法、系统及设备，其中，所述方法包括：获取指定时段的访问数据，并基于所述访问数据训练得到阈值模型，以及根据所述阈值模型，判断目标时间节点的访问数据是否为异常数据；若所述目标时间节点的访问数据为异常数据，确定检测区间，并统计所述检测区间内访问数据样本的分布，并再次判断所述目标时间节点的访问数据是否为异常数据；若再次判定所述目标时间节点的访问数据为异常数据，获取所述目标时间节点的访问数据对应的收敛规则和幅度阈值，并基于所述收敛规则和所述幅度阈值，判断所述目标时间节点的访问数据是否为待处理的异常数据。本申请提供的技术方案，能够提高异常数据检测的准确度。

An abnormal data detection method, system and equipment

【技术实现步骤摘要】
一种异常数据的检测方法、系统及设备
本专利技术涉及数据处理
，特别涉及一种异常数据的检测方法、系统及设备。
技术介绍
在当前的CDN(ContentDeliveryNetwork，内容分发网络)中，为了提高用户的体验，可以配置告警模块。当出现数据访问异常时，告警模块可以及时地发出告警信息，从而使得网络管理人员能够进行异常检测和修复，避免用户长时间处于数据不可访问的状态。目前的数据告警手段，通常是预先设置多种类型的告警信息，如果实际的数据异常与其中的一种类型相匹配，就会发出对应的告警信息。但是，网络中的数据异常类型十分繁杂，并且数量相当多，其实有一部分的数据异常是在允许范围内发生的。按照现有的这种告警方式，会产生很多不必要的告警信息，一方面会耗费大量的人力物力进行异常排查，另一方面还可能使得真正严重的数据异常淹没在众多的告警信息中。因此，目前亟需一种准确的异常数据检测手段。
技术实现思路
本申请的目的在于提供一种异常数据的检测方法、系统及设备，能够提高异常数据检测的准确度。为实现上述目的，本申请一方面提供本文档来自技高网...

【技术保护点】
1.一种异常数据的检测方法，其特征在于，所述方法包括：/n获取指定时段的访问数据，并基于所述访问数据训练得到阈值模型，以及根据所述阈值模型，判断目标时间节点的访问数据是否为异常数据；/n若判定所述目标时间节点的访问数据为异常数据，确定包含所述目标时间节点的检测区间，并统计所述检测区间内访问数据样本的分布，以及根据统计的所述分布，再次判断所述目标时间节点的访问数据是否为异常数据；/n若再次判定所述目标时间节点的访问数据为异常数据，获取所述目标时间节点的访问数据对应的收敛规则和幅度阈值，并基于所述收敛规则和所述幅度阈值，判断所述目标时间节点的访问数据是否为待处理的异常数据。/n

【技术特征摘要】
1.一种异常数据的检测方法，其特征在于，所述方法包括：
获取指定时段的访问数据，并基于所述访问数据训练得到阈值模型，以及根据所述阈值模型，判断目标时间节点的访问数据是否为异常数据；
若判定所述目标时间节点的访问数据为异常数据，确定包含所述目标时间节点的检测区间，并统计所述检测区间内访问数据样本的分布，以及根据统计的所述分布，再次判断所述目标时间节点的访问数据是否为异常数据；
若再次判定所述目标时间节点的访问数据为异常数据，获取所述目标时间节点的访问数据对应的收敛规则和幅度阈值，并基于所述收敛规则和所述幅度阈值，判断所述目标时间节点的访问数据是否为待处理的异常数据。


2.根据权利要求1所述的方法，其特征在于，基于所述访问数据训练得到阈值模型包括：
识别所述访问数据所属的域名类型，并获取所述域名类型对应的筛选阈值；
统计所述访问数据中各个时间节点的访问异常比例，并确定筛选边界，所述筛选边界用于将统计的各个所述访问异常比例划分为聚合节点和孤立节点，其中，所述孤立节点的数量由所述筛选阈值确定；
将具备所述筛选边界的模型作为训练得到的阈值模型。


3.根据权利要求1或2所述的方法，其特征在于，判断目标时间节点的访问数据是否为异常数据包括：
计算所述目标时间节点的访问数据对应的访问异常比例，并将计算的所述访问异常比例输入所述阈值模型中；若所述阈值模型输出的结果为孤立节点，判定所述目标时间节点的访问数据为异常数据；若所述阈值模型输出的结果为聚合节点，判定所述目标时间节点的访问数据为非异常数据。


4.根据权利要求1所述的方法，其特征在于，确定包含所述目标时间节点的检测区间包括：
识别所述目标时间节点的访问数据所属的域名类型，并获取所述域名类型对应的检测时长；
以所述目标时间节点为中心，构建包含所述目标时间节点，并且区间时长与所述检测时长相等的检测区间；其中，构建的所述检测区间作为所述包含所述目标时间节点的检测区间。


5.根据权利要求1所述的方法，其特征在于，统计所述检测区间内访问数据样本的分布包括：
统计所述检测区间内各个访问数据样本的访问异常比例，并计算统计得到的所述访问异常比例的均值和标准差；
根据所述均值和所述标准差对统计得到的所述访问异常比例进行正态分布，并将正态分布的结果作为所述检测区间内访问数据样本的分布。


6.根据权利要求5所述的方法，其特征在于，再次判断所述目标时间节点的访问数据是否为异常数据包括：
根据所述均值和所述标准差，在正态分布的结果中确定置信区间；若所述目标时间节点的访问数据位于所述置信区间外，判定所述目标时间节点的访问数据为异常数据；若所述目标时间节点的访问数据位于所述置信区间内，判定所述目标时间节点的访问数据为非异常数据。


7.根据权利要求1所述的方法，其特征在于，获取所述目标时间节点的访问数据对应的收敛规则包括：
识别所述目标时间节点的访问数据所属的域名类型，并获取所述域名类型对应的收敛规则；其中，所述收敛规则包括：
以所述目标时间节点为起始时间节点，连续指定数量的时间节点处的访问数据均被判定为异常数据；
或者
在包含所述目标时间节点的预设时长内出现指定次数的异常数据。
<...

【专利技术属性】
技术研发人员：陈芹浩，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：上海;31