数据处理方法、装置、电子设备及可读存储介质制造方法及图纸

本申请实施例提供了一种数据处理方法、装置、电子设备及可读存储介质，涉及人工智能、游戏及云技术领域。该方法包括：获取目标设备的至少一个设备评估指标的第一观测值和第一观测值对应的历史观测序列；确定各设备评估指标的第一观测值相对于该设备评估指标的观测数据的偏离程度；基于各设备评估指标对应的偏离程度，确定目标设备对应的原始特征；基于目标设备对应的原始特征，通过调用训练好的特征重构模型得到目标设备对应的重构特征；确定目标设备对应的原始特征和重构特征之间的重构误差，基于该重构误差，确定目标设备是否存在异常。基于该方法，能够有效提高设备异常检测的准确性，且该方法能够很好的适用于各种不同的应用场景中。应用场景中。应用场景中。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及可读存储介质


[0001]本申请涉及人工智能、游戏以及云
，具体而言，本申请涉及一种数据处理方法、装置、电子设备及可读存储介质。

技术介绍

[0002]随着科学技术的飞速发展以及人们生活水平的提高，如何为用户提供更加高性能、高可靠的服务是服务提供商一直关注的重点问题。为了确保服务(尤其是在线服务)的高可用，对服务设备节点的异常检测是必不可少的，以准确及时地发现节点异常。
[0003]目前，相关技术中已经存在多种多样的异常检测技术，但是将这些技术直接应用于生产环境中依然存在挑战，很多相关技术的扩展性受限，很难在工业场景中广泛推广，因此，现有的异常检测技术仍需改进。

技术实现思路

[0004]本申请的目的旨在提供一种能够更好的满足实际应用需求的数据处理方法、装置、电子设备及可读存储介质。为了实现该目的，本申请实施例提供的技术方案如下：
[0005]一方面，本申请实施例提供了一种数据处理方法，该方法包括：
[0006]获取目标设备的至少一个设备评估指标中每个指标各自的观测数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取目标设备的至少一个设备评估指标中每个指标各自的观测数据，一个设备评估指标的观测数据包括第一观测值和所述第一观测值对应的历史观测序列；对于每个所述设备评估指标，确定所述目标设备的该设备评估指标的第一观测值相对于该设备评估指标的观测数据的偏离程度；基于所述目标设备的各所述设备评估指标对应的偏离程度，确定所述目标设备对应的原始特征；基于所述目标设备对应的原始特征，通过调用训练好的特征重构模型得到所述目标设备对应的重构特征；确定所述目标设备对应的原始特征和重构特征之间的重构误差，基于所述目标设备对应的重构误差确定所述目标设备是否存在异常。2.根据权利要求1所述的方法，其特征在于，对于每个所述设备评估指标，所述确定所述目标设备的该设备评估指标的第一观测值相对于该设备评估指标的观测数据的偏离程度，包括以下至少一项：基于该设备评估指标的历史观测序列，拟合该设备评估指标对应的观测值的第一概率密度分布；确定所述第一观测值对应于所述第一概率密度分布的第一累计概率；确定该设备评估指标的历史观测序列中的极值；基于所述历史观测序列中的极值，拟合该设备评估指标对应的极值的第二概率密度分布；确定所述第一观测值对应于所述第二概率密度分布的第二累计概率；其中，该设备评估指标对应的偏离程度包括所述第一累计概率或所述第二累计概率中的至少一项。3.根据权利要求1所述的方法，其特征在于，对于每个所述设备评估指标，所述确定所述目标设备的该设备评估指标的第一观测值相对于该设备评估指标的观测数据的偏离程度，包括：对该设备评估指标的观测数据进行显著性检测变换，得到所述观测数据对应的显著性数据；基于所述显著性数据，确定该设备评估指标的第一观测值相对于所述观测数据的偏离程度。4.根据权利要求3所述的方法，其特征在于，所述基于所述显著性数据，确定该设备评估指标的第一观测值相对于所述观测数据的偏离程度，包括以下至少一项：将所述显著性数据中所述第一观测值对应的第一显著性特征值，作为第一特征值；基于所述显著性数据中其他显著性特征值，拟合该设备评估指标对应的第三概率密度分布；确定所述第一显著性特征值相对于所述第三概率密度分布的第三累计概率；其中，所述其他显著性特征值是所述显著性数据中除所述第一显著性特征值之外的各特征值；确定所述显著性数据中其他显著性特征值中的极值；基于所述其他显著性特征值中的极值，拟合该设备评估指标对应的第四概率密度分布；确定所述第一显著性特征值相对于所述第四概率密度分布的第四累计概率；其中，该设备评估指标对应的偏离程度包括所述第一特征值、所述第三累计概率或所述第四累计概率中的至少一项。
5.根据权利要求1所述的方法，其特征在于，所述基于所述目标设备对应的重构误差确定所述目标设备是否存在异常，包括：若所述目标设备对应的重构误差大于或等于误差阈值，确定所述目标设备存在异常；若所述目标设备对应的重构误差小于所述误差阈值，确定所述目标设备不存在异常；其中，所述误差阈值是通过以下方式确定的：获取验证数据集，所述验证数据集中包括多个验证样本，每个所述验证样本包括一个第一设备对应于各所述设备评估指标的观测数据；基于各所述验证样本对应的观测数据，获取各所述验证样本对应的原始特征；基于各所述验证样本对应的原始特征，通过所述特征重建模型，得到各所述验证样本对应的重构特征；基于各所述验证样本对应的原始特征和重构特征，确定各所述验证样本对应的重构误差；基于各所述验证样本对应的重构误差，确定所述误差阈值。6.根据权利要求5所述的方法，其特征在于，所述目标设备对应的原始特征包括所述目标设备的各所述设备评估指标对应的原始特征，若所述目标设备存在异常，所述方法还包括：基于所述目标设备的各所述设备评估指标对应的原始特征和重构特征，确定所述目标设备的各所述设备评估指标对于所述重构误差的贡献度；基于所述目标设备的各所述设备评估指标对应的贡献度，确定所述目标设备的各所述设备评估指标中的潜在异常指标。7.根据权利要求5所述的方法，其特征在于，所述特征重构模型是通过以下方式对初始神经网络模型进行训练得到的：获取训练数据集，所述训练数据集中包括至少一个样本设备对应的多个训练样本，每个所述训练样本包括一个样本设备对应于各所述设备评估指标的样本观测数据，所述样本观测数据包括一个样本观测值和该样本观测值对应的历史观测序列；对于每个所述训练样本，确定该训练样本中每个所述设备评估指标的样本观测值相对于该样本观测值对应的历史观测序列的偏离程度；对于每个所述训练样本，基于该训...

【专利技术属性】
技术研发人员：黄涛，李瑞鹏，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：