异常数据的检测方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种异常数据的检测方法、装置、计算机设备和存储介质。方法包括：获取通过物联网中的传感设备采集得到的待检测数据；将与待检测数据对应的特征向量，输入至策略选择模型中，通过策略选择模型确定目标模型标识；从物联网的多个层级所部署的检测模型中，确定与目标模型标识对应的目标检测模型；目标检测模型所处的层级与待检测数据的特征向量所表征的层级特性相匹配；将待检测数据传输至目标检测模型所处层级中的检测设备，以使得检测设备中部署的目标检测模型对特征向量进行处理，输出与待检测数据对应的检测结果，检测结果包括表征正常的检测结果和表征异常的检测结果。采用本方法能够极大地提高异常检测的效率。

【技术实现步骤摘要】
异常数据的检测方法、装置、计算机设备和存储介质
本申请涉及物联网
，特别是涉及一种异常数据的检测方法、装置、计算机设备和存储介质。
技术介绍
在物联网中，传感器设备能够将具体的物理现象转换为抽象的信号数据，并将这些数据传输到云平台中以进行更丰富的处理和分析。但是，由于传感器设备可能发生的故障以及实际信号中存在的噪声，导致所收集到的数据经常会出现异常乃至错误，从而影响到后续的处理和分析。与此同时，这些异常通常伴随着一些重要的事件，例如设备故障、环境的突然变化和安全攻击等。因此，需要对这些传感器设备所产生的异常数据进行检测。传统方式中通常采用部署在云服务器的异常检测模型例如基于机器学习模型(比如神经网络、支持向量机等)来对物联网环境中的异常数据进行检测。然而，将所有的数据传输到云服务器的传统方法会导致网络产生较高的通信延迟，从而导致检测效率低下。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高异常数据的检测效率的异常数据的检测方法、装置、计算机设备和存储介质。一种异常数据的检测方法，所述方法包括：获取通过物联网中的传感设备采集得到的待检测数据；将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识；从所述物联网的多个层级所部署的检测模型中，确定与所述目标模型标识对应的目标检测模型；所述目标检测模型所处的层级与所述待检测数据的特征向量所表征的层级特性相匹配；将所述待检测数据传输至所述目标检测模型所处层级中的检测设备，以使得所述检测设备中部署的所述目标检测模型对所述特征向量进行处理，输出与所述待检测数据对应的检测结果，所述检测结果包括表征正常的检测结果和表征异常的检测结果。在其中一个实施例中，所述获取通过物联网中的传感设备采集得到的待检测数据，包括：确定与所述待检测数据对应的原始特征；对所述原始特征进行降维处理，得到所述待检测数据对应的特征向量；其中，所述降维处理的方式包括如下至少一种：计算所述待检测数据的原始特征的平均值、中位数、方差、标准差、总和、最大值、以及最小值。在其中一个实施例中，所述将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识，包括：将所述特征向量输入至策略选择模型中，通过所述策略选择模型依据所述特征向量计算选择各检测模型的概率值，得到概率分布向量；从所述概率分布向量中选择最大概率值作为目标概率值，并将目标概率值所对应的模型标识作为目标模型标识。在其中一个实施例中，所述策略选择模型的训练步骤包括：获取样本数据，并将所述样本数据输入至待训练的策略选择模型中，通过所述待训练的策略选择模型输出对应的预测模型标识；在当次训练过程中，基于预先设置的效益函数，计算与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值；所述预期效益值用于表征通过预测检测模型进行预测时相应的准确率和时间成本；基于前次训练所对应的预期效益值与当次训练所对应的预期效益值间的差异，朝最大化预期效益值的方向，对所述策略选择模型的模型参数进行迭代更新，并进入下一次的训练过程进行迭代训练，直至达到训练停止条件时停止，得到训练好的策略选择模型。在其中一个实施例中，所述在当次训练过程中，基于预先设置的效益函数，计算与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值，包括：将当次训练所对应的样本数据，加载至当次训练输出的预测模型标识对应的预测检测模型，并获取对应的时间成本；基于当次训练输出的预测模型标识对应的预测检测模型，对当次训练所对应的样本数据进行处理，得到预测检测结果；根据所述预测检测结果，与当次训练所对应的样本数据的正负类别间的差异，确定当次训练所对应的检测准确率；基于所述时间成本和所述检测准确率，确定与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值。在其中一个实施例中，所述检测设备中部署的目标检测模型对所述特征向量进行处理，输出与所述待检测数据对应的检测结果，包括：将所述待检测数据的特征向量输入至所述目标检测模型中，由所述目标检测模型计算所述特征向量与所述待检测数据经自编码后的拟合值之间的当前误差；依据训练期间得到的误差分布情况，计算所述当前误差在服从所述误差分布情况下的对数概率值；依据所述对数概率值与预先设置的阈值的大小关系，输出与所述待检测数据对应的检测结果。在其中一个实施例中，所述检测模型为具有不同编码层次结构的自编码模型，且依据各检测模型的编码层次结构的不同，各检测模型至少分别部署在所述物联网中的物联网设备层、边缘服务器层、以及云服务器层。一种异常数据的检测装置，所述装置包括：获取模块，用于获取通过物联网中的传感设备采集得到的待检测数据；确定模块，用于将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识；所述确定模块，还用于从所述物联网的多个层级所部署的检测模型中，确定与所述目标模型标识对应的目标检测模型；所述目标检测模型所处的层级与所述待检测数据的特征向量所表征的层级特性相匹配；检测模块，用于将所述待检测数据传输至所述目标检测模型所处层级中的检测设备，以使得所述检测设备中部署的所述目标检测模型对所述特征向量进行处理，输出与所述待检测数据对应的检测结果，所述检测结果包括表征正常的检测结果和表征异常的检测结果。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取通过物联网中的传感设备采集得到的待检测数据；将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识；从所述物联网的多个层级所部署的检测模型中，确定与所述目标模型标识对应的目标检测模型；所述目标检测模型所处的层级与所述待检测数据的特征向量所表征的层级特性相匹配；将所述待检测数据传输至所述目标检测模型所处层级中的检测设备，以使得所述检测设备中部署的所述目标检测模型对所述特征向量进行处理，输出与所述待检测数据对应的检测结果，所述检测结果包括表征正常的检测结果和表征异常的检测结果。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取通过物联网中的传感设备采集得到的待检测数据；将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识；从所述物联网的多个层级所部署的检测模型中，确定与所述目标模型标识对应的目标检测模型；所述目标检测模型所处的层级与所述待检测数据的特征向量所表征的层级特性相匹配；将所述待检测数据传输至所述目标检测模型所处层级中的检测设备，以使得所述检测设备中部署的所述目标检测模型对所述特征向量进行处理，输出与所述待检测数据对应的本文档来自技高网...

【技术保护点】
1.一种异常数据的检测方法，其特征在于，所述方法包括：/n获取通过物联网中的传感设备采集得到的待检测数据；/n将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识；/n从所述物联网的多个层级所部署的检测模型中，确定与所述目标模型标识对应的目标检测模型；所述目标检测模型所处的层级与所述待检测数据的特征向量所表征的层级特性相匹配；/n将所述待检测数据传输至所述目标检测模型所处层级中的检测设备，以使得所述检测设备中部署的所述目标检测模型对所述特征向量进行处理，输出与所述待检测数据对应的检测结果，所述检测结果包括表征正常的检测结果和表征异常的检测结果。/n

【技术特征摘要】
1.一种异常数据的检测方法，其特征在于，所述方法包括：
获取通过物联网中的传感设备采集得到的待检测数据；
将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识；
从所述物联网的多个层级所部署的检测模型中，确定与所述目标模型标识对应的目标检测模型；所述目标检测模型所处的层级与所述待检测数据的特征向量所表征的层级特性相匹配；
将所述待检测数据传输至所述目标检测模型所处层级中的检测设备，以使得所述检测设备中部署的所述目标检测模型对所述特征向量进行处理，输出与所述待检测数据对应的检测结果，所述检测结果包括表征正常的检测结果和表征异常的检测结果。


2.根据权利要求1所述的方法，其特征在于，所述获取通过物联网中的传感设备采集得到的待检测数据，包括：
确定与所述待检测数据对应的原始特征；
对所述原始特征进行降维处理，得到所述待检测数据对应的特征向量；
其中，所述降维处理的方式包括如下至少一种：计算所述待检测数据的原始特征的平均值、中位数、方差、标准差、总和、最大值、以及最小值。


3.根据权利要求1所述的方法，其特征在于，所述将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识，包括：
将所述特征向量输入至策略选择模型中，通过所述策略选择模型依据所述特征向量计算选择各检测模型的概率值，得到概率分布向量；
从所述概率分布向量中选择最大概率值作为目标概率值，并将目标概率值所对应的模型标识作为目标模型标识。


4.根据权利要求1所述的方法，其特征在于，所述策略选择模型的训练步骤包括：
获取样本数据，并将所述样本数据输入至待训练的策略选择模型中，通过所述待训练的策略选择模型输出对应的预测模型标识；
在当次训练过程中，基于预先设置的效益函数，计算与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值；所述预期效益值用于表征通过预测检测模型进行预测时相应的准确率和时间成本；
基于前次训练所对应的预期效益值与当次训练所对应的预期效益值间的差异，朝最大化预期效益值的方向，对所述策略选择模型的模型参数进行迭代更新，并进入下一次的训练过程进行迭代训练，直至达到训练停止条件时停止，得到训练好的策略选择模型。


5.根据权利要求4所述的方法，其特征在于，所述在当次训练过程中，基于预先设置的效益函数，计算与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值，包括...

【专利技术属性】
技术研发人员：王历晔，熊文，张少凡，孙磊，高强，姜臻，张斌，
申请(专利权)人：广东电网有限责任公司广州供电局，
类型：发明
国别省市：广东;44