一种数据筛选方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据筛选方法、装置、电子设备及存储介质，接收用户侧发送的数据查询请求，从外部数据库获取与数据查询请求对应的原始指标数据，根据指标数据取值范围边界，从原始指标数据中剔除指标数据取值范围边界外的异常数据得到中间指标数据，然后基于异常检测策略剔除中间指标数据中的异常数据，得到最终的目标指标数据，异常检测策略能够筛选出局部离群因子。本发明专利技术通过指标数据取值范围边界和异常检测策略实现从原始指标数据中筛选出异常数据并剔除，达到了还原真实数据的目的，从而可以将对目标指标数据的多维度集中分析结果，精准的应用到后续的分析决策中。精准的应用到后续的分析决策中。精准的应用到后续的分析决策中。

【技术实现步骤摘要】
一种数据筛选方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据处理
，更具体的说，涉及一种数据筛选方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，很多场景下需要对监控服务器采集的指标数据进行多维度的集中分析。但是，在指标数据的实时采集过程中，特别是监控服务器整体数量较多时，往往会有部分监控服务器，因系统环境异常等原因，造成采集到的指标数据和真实数据存在较大差异。当这些异常数据应用到多维度的集中分析时，会使分析结果有较大误差，从而影响后续的分析决策。

技术实现思路

[0003]有鉴于此，本专利技术公开一种数据筛选方法、装置、电子设备及存储介质，以实现通过指标数据取值范围边界和异常检测策略，从原始指标数据中筛选出异常数据并剔除，达到了还原真实数据的目的，从而可以将对目标指标数据的多维度集中分析结果，精准的应用到后续的分析决策中。
[0004]一种数据筛选方法，包括：
[0005]接收用户侧发送的数据查询请求；
[0006]从外部数据库获取与所述数据查询请求对应的原始指标数据；
[0007]从所述原始指标数据中剔除指标数据取值范围边界外的异常数据，得到中间指标数据；
[0008]基于异常检测策略，从所述中间指标数据中剔除异常数据，得到目标指标数据，其中，所述异常检测策略能够筛选出局部离群因子。
[0009]可选的，所述从外部数据库获取与所述数据查询请求对应的原始指标数据，包括：
[0010]解析所述数据查询请求，得到待查询数据内容；
[0011]将所述待查询数据内容转换为相应的查询语句；
[0012]将所述查询语句发送至所述外部数据库，并获取所述外部数据库返回的所述原始指标数据。
[0013]可选的，所述基于异常检测策略，从所述中间指标数据中剔除异常数据，得到目标指标数据，包括：
[0014]对所述中间指标数据中每个指标对应的每个指标数据，按照局部离群因子计算策略，分别计算得到每个所述指标数据对应的局部离群因子；
[0015]将每个所述局部离群因子与对应指标预定义的离群因子阈值进行大小比较；
[0016]将大于所述离群因子阈值的所述局部离群因子对应的指标数据确定为异常数据进行剔除；
[0017]将不大于所述离群因子阈值的所述局部离群因子对应的指标数据确定为所述目
标指标数据。
[0018]可选的，所述对所述中间指标数据中的每个指标对应的每个指标数据，按照局部离群因子计算策略，分别计算得到每个所述指标数据对应的局部离群因子，包括：
[0019]将所述中间指标数据中的每个指标对应的每个指标数据作为一个数据点，并计算所述数据点的局部可达密度以及所述数据点的邻域点的局部可达密度；
[0020]计算所述数据点的邻域点的局部可达密度与所述数据点的局部可达密度之比的平均数，并将所述平均数确定为所述局部离群因子。
[0021]可选的，所述计算所述数据点的邻域点的局部可达密度与所述数据点的局部可达密度之比的平均数的表达式如下：
[0022][0023]式中，LOF
k
(p)为局部离群因子，表示数据点p的邻域点N
k
(p)的局部可达密度与数据点p的局部可达密度之比的平均数，数据点o为数据点p的邻域点N
k
(p)中的任意一点，lrd
k
(o)为数据点o的局部可达密度，lrd
k
(p)为数据点p的局部可达密度，|N
k
(p)|为第k距离邻域内数据点的个数。
[0024]可选的，还包括：
[0025]当所述原始指标数据基于所述指标数据取值范围边界和所述异常检测策略的双重异常筛选的结果为空时，返回空数据至所述用户侧。
[0026]一种数据筛选装置，包括：
[0027]接收单元，用于接收用户侧发送的数据查询请求；
[0028]获取单元，用于从外部数据库获取与所述数据查询请求对应的原始指标数据；
[0029]第一剔除单元，用于从所述原始指标数据中剔除指标数据取值范围边界外的异常数据，得到中间指标数据；
[0030]第二剔除单元，用于基于异常检测策略，从所述中间指标数据中剔除异常数据，得到目标指标数据，其中，所述异常检测策略能够筛选出局部离群因子。
[0031]可选的，所述第二剔除单元包括：
[0032]计算子单元，用于对所述中间指标数据中每个指标对应的每个指标数据，按照局部离群因子计算策略，分别计算得到每个所述指标数据对应的局部离群因子；
[0033]比较子单元，用于将每个所述局部离群因子与对应指标预定义的离群因子阈值进行大小比较；
[0034]剔除子单元，用于将大于所述离群因子阈值的所述局部离群因子对应的指标数据确定为异常数据进行剔除；
[0035]确定子单元，用于将不大于所述离群因子阈值的所述局部离群因子对应的指标数据确定为所述目标指标数据。
[0036]一种电子设备，所述电子设备包括存储器和处理器；
[0037]所述存储器用于存储至少一个指令；
[0038]所述处理器用于执行所述至少一个指令以实现上述所述的数据筛选方法。
[0039]一种计算机可读存储介质，所述计算机可读存储介质存储至少一个指令，所述至少一个指令被处理器执行时实现上述所述的数据筛选方法。
[0040]从上述的技术方案可知，本专利技术公开了一种数据筛选方法、装置、电子设备及存储介质，接收用户侧发送的数据查询请求，从外部数据库获取与数据查询请求对应的原始指标数据，根据指标数据取值范围边界，从原始指标数据中剔除指标数据取值范围边界外的异常数据得到中间指标数据，然后基于异常检测策略剔除中间指标数据中的异常数据，得到最终的目标指标数据，异常检测策略能够筛选出局部离群因子。本专利技术通过指标数据取值范围边界和异常检测策略实现从原始指标数据中筛选出异常数据并剔除，达到了还原真实数据的目的，从而可以将对目标指标数据的多维度集中分析结果，精准的应用到后续的分析决策中。
附图说明
[0041]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。
[0042]图1为本专利技术实施例公开的一种数据筛选方法流程图；
[0043]图2为本专利技术实施例公开的一种从数据库获取与数据查询请求对应的原始指标数据的方法流程图；
[0044]图3为本专利技术实施例公开的一种基于异常检测策略，从中间指标数据中剔除异常数据得到目标指标数据的方法流程图；
[0045]图4为本专利技术实施例公开的一种数据筛选过程示意图；
[0046]图5为本专利技术实施例公开的一种数据筛选装置的结构示意图；...

【技术保护点】

【技术特征摘要】
1.一种数据筛选方法，其特征在于，包括：接收用户侧发送的数据查询请求；从外部数据库获取与所述数据查询请求对应的原始指标数据；从所述原始指标数据中剔除指标数据取值范围边界外的异常数据，得到中间指标数据；基于异常检测策略，从所述中间指标数据中剔除异常数据，得到目标指标数据，其中，所述异常检测策略能够筛选出局部离群因子。2.根据权利要求1所述的数据筛选方法，其特征在于，所述从外部数据库获取与所述数据查询请求对应的原始指标数据，包括：解析所述数据查询请求，得到待查询数据内容；将所述待查询数据内容转换为相应的查询语句；将所述查询语句发送至所述外部数据库，并获取所述外部数据库返回的所述原始指标数据。3.根据权利要求1所述的数据筛选方法，其特征在于，所述基于异常检测策略，从所述中间指标数据中剔除异常数据，得到目标指标数据，包括：对所述中间指标数据中每个指标对应的每个指标数据，按照局部离群因子计算策略，分别计算得到每个所述指标数据对应的局部离群因子；将每个所述局部离群因子与对应指标预定义的离群因子阈值进行大小比较；将大于所述离群因子阈值的所述局部离群因子对应的指标数据确定为异常数据进行剔除；将不大于所述离群因子阈值的所述局部离群因子对应的指标数据确定为所述目标指标数据。4.根据权利要求3所述的数据筛选方法，其特征在于，所述对所述中间指标数据中的每个指标对应的每个指标数据，按照局部离群因子计算策略，分别计算得到每个所述指标数据对应的局部离群因子，包括：将所述中间指标数据中的每个指标对应的每个指标数据作为一个数据点，并计算所述数据点的局部可达密度以及所述数据点的邻域点的局部可达密度；计算所述数据点的邻域点的局部可达密度与所述数据点的局部可达密度之比的平均数，并将所述平均数确定为所述局部离群因子。5.根据权利要求4所述的数据筛选方法，其特征在于，所述计算所述数据点的邻域点的局部可达密度与所述数据点的局部可达密度之比的平均数的表达式如下：式中，LOF
k
(p)为局部离群因子，表示数据点p的邻域点N
k

【专利技术属性】
技术研发人员：李勤，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：