基于云边端协同的物联网感知数据诊断方法技术

本发明专利技术实施例公开了一种基于云边端协同的物联网感知数据诊断方法。方法包括：由底层电路板基于筛选面对物联网感知数据进行筛选；由中间层边缘主机使用SVM模型对筛选结果进行诊断，以判断物联网感知数据对应的检测对象状态是否正常；由上层服务器使用数学原理异于SVM模型的XGBoost算法判断诊断质量是否符合要求；若诊断质量不符合要求，则由上层服务器重新训练SVM模型，重新确定底层筛选面，以保持诊断体系能及时适配最新的检测对象状态。本发明专利技术具有自动诊断、自我监督、自我评价、自动调整的优点，在保证数据诊断质量的前提下，大幅度降低物联网系统的误触发误报警等现象，避免密集而庞大的采集数据对任何层级造成巨大压力。集而庞大的采集数据对任何层级造成巨大压力。集而庞大的采集数据对任何层级造成巨大压力。

【技术实现步骤摘要】
基于云边端协同的物联网感知数据诊断方法


[0001]本专利技术涉及数据诊断方法，更具体地说是基于云边端协同的物联网感知数据诊断方法。

技术介绍

[0002]使用物联网系统对机器、设备、过程等进行在线监测，并通过4G/5G等网络实现数据上云，进而实现运行状态诊断、预测性维护、故障快速定位等功能，在各领域各行业得到了越来越广泛的应用，例如钢带自动化轧制系统、电气安全监测系统、水处理系统、空气净化系统、电气火灾预警系统等等，因为这些系统基本都处于连续运行状态，一旦因为故障停机，通常都将引起较大程度的经济损失。
[0003]在线监测过程中，物联网系统将产生大量的实时感知数据，且这些数据往往呈现出下列特点：首先，数据往往绝大部分都是代表运行状态正常的数据，异常数据往往淹没在大量正常数据中；其次，物联网感知数据往往有大量的背景噪声与干扰信号，其中背景噪声往往是工业背景引起的高斯白噪声，干扰信号往往是传感器自身引发的尖峰类信号。因此，物联网感知数据往往容易引起各类误触发和误报警，例如电气火灾预警系统，在实际并没有火灾隐患的情况下，有可能因为传感器干扰信号而向消控室发出报警信号，导致保安不得不紧急查看现场实际情况，在实际应用过程中，因为受误触发、误报警的影响，很多保安选择将报警阀值提高以降低报警次数，然而这种行为其实已经违反了电气火灾标准规范，属于存在安全隐患事故的行为。
[0004]对于这些物联网感知数据的诊断通常都是使用AI算法例如多层神经网络来诊断物联网感知数据是正常还是异常，采集大量的实际数据，人工标记每一条数据的状态即标记该条数据为正常还是异常，再将标记好的数据集用来训练多层神经网络等算法模型，最后将该算法运行在包括现场服务器和云服务器两类的服务器上，以实现数据诊断，这种方法虽然已起到一定的成效，然而还是存在缺点，因为实际应用时所有数据都将输送到服务器，且所有AI算法都在服务器上执行，为保持数据诊断的效率，服务器的硬件资源要求会很高，另外，如果使用云服务器进行数据诊断，还要求网络通讯带宽足够大。
[0005]因此，有必要设计一种新的方法，实现在保证数据诊断质量的前提下，大幅度降低电气火灾等物联网系统的误触发误报警等现象，避免密集而庞大的采集数据对任何层级造成巨大压力，能保持诊断体系能及时适配最新的检测对象状态，以保证诊断质量。

技术实现思路

[0006]本专利技术的目的在于克服现有技术的缺陷，提供物联网感知数据诊断方法、装置、计算机设备及存储介质。
[0007]为实现上述目的，本专利技术采用以下技术方案：基于云边端协同的物联网感知数据诊断方法，包括底层数据预处理与数据筛选，中间层数据诊断，上层诊断质量监督和上层模型重新训练；
[0008]其中，底层数据预处理与数据筛选由以嵌入式单片机为核心的电路板执行，中间层数据诊断由以ARM架构或X86架构芯片为核心的中间层边缘主机执行，上层诊断质量监督和上层模型重新训练由以单一或集群形式的上层服务器执行。
[0009]其进一步技术方案为：所述的底层数据预处理与数据筛选，过程包括：
[0010]首先由底层电路板采集物联网感知数据，并对单个采集周期内的物联网感知数据进行缺失项处理；删除有缺失项的数据；
[0011]其次对剩余的物联网感知数据进行奇异点剔除；将数据按从大到小进行冒泡排序，然后去掉若干最大值和若干最小值；
[0012]再次对剩余的物联网感知数据进行噪声滤波处理；将数据进行卡尔曼滤波计算或中值滤波计算；噪声滤波处理之后的数据，在底层电路板内存储模块内存储；
[0013]最后对剩余的物联网感知数据进行筛选；根据上层服务器下发的参数维度比中间层边缘主机SVM模型超平面筛选线或筛选面，将正常状态的数据加以剔除，将疑似异常的数据上传至边缘主机；其中，筛选线或筛选面的参数维度，比中间层边缘主机SVM模型超平面的参数维度低一级。
[0014]其进一步技术方案为：所述的中间层数据诊断，过程包括：
[0015]首先由中间层边缘主机执行SVM模型对所述筛选结果进行诊断；将被诊断的物联网数据分类正常、异常两类，以判断对应的检测对象状态是否正常；中间层边缘主机执行SVM模型的过程中，只按照既定的SVM模型数学公式进行运算，不承担SVM模型的训练过程；不承担SVM模型数学公式的推导和优化过程。
[0016]其次由中间层边缘主机按照上层服务器规定的动态抽样比例值，将其所诊断的数据及其诊断结果，随机抽取部分上传至上层服务器。
[0017]其进一步技术方案为：所述的上层诊断质量监督，具体过程为：
[0018]首先，利用数学原理与SVM模型完全相异的XGBoost分类算法，中间层边沿主机上传的数据进行正常、异常分类计算；
[0019]其次，将XGBoost计算结果与SVM模型诊断结果进行比对；将XGBoost计算结果作为标准值，确定中间层边缘主机SVM模型诊断结果与标准值不同的诊断结果数量；
[0020]再次，根据所述数量计算错误率，以得到诊断质量；
[0021]诊断质量按错误率从小到大分为下调、保持、上调、召回四个区间，错误率处于下调区间内则将中间层边缘主机动态抽样比例下调一定数值，错误率处于保持区间则维持动态抽样比例，错误率处于上调区间则将动态抽样比例上调一定数值，错误率处于召回区间则进入到上层模型重新训练步骤；
[0022]最后，若错误率处于下调、保持、上调三个区间，则命令中间层边缘主机输出诊断结果。其进一步技术方案为：所述的上层模型重新训练，包括SVM模型重新训练和筛选线/筛选面重新确定两部分，具体过程为：
[0023]首先，配置原始数据，即向底层电路板下发命令，令其存储的经过缺失项处理、奇异点剔除、噪声滤波处理之后的数据，全部通过通讯方式上传至云平台；
[0024]其次，将所召回的原始数据，采用K
‑
Means聚类算法，将所有数据聚成两类，其中数量较多的一类打上正常标签，数量稀少的一类打上异常标签，从而将上述两类数据作为重新训练SVM模型的样本集；
[0025]再次，利用所述训练样本集对所述SVM模型进行训练，即重新寻找所述SVM模型的超平面，以得到SVM模型的核心参数。
[0026]然后，根据最新的SVM模型超平面，通过遍历方式寻找其在每个参数维度上的极限值，并根据极限值做出参数维度低于超平面一度的筛选线/筛选面。
[0027]最后，将SVM模型的核心参数下发至中间层边缘主机，以更新其内部的SVM模型；将筛选线/筛选面的核心参数下发至底层电路板，以更新其内部的筛选线/筛选面。
[0028]本专利技术与现有技术相比的有益效果是：本专利技术通过对物联网感知数据进行筛选，并利用SVM模型对筛选结果进行诊断，利用XGBoost分类算法对诊断结果进行诊断质量计算，以结合诊断质量确定是否需要对SVM模型的再训练，实现在保证数据诊断质量的前提下，大幅度降低电气火灾等物联网系统的误触发误报警等现象，避免密集而庞大的采集数据对任何层级造成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于云边端协同的物联网感知数据诊断方法，其特征在于，包括底层数据预处理与数据筛选，中间层数据诊断，上层诊断质量监督和上层模型重新训练；其中，底层数据预处理与数据筛选由以嵌入式单片机为核心的电路板执行，中间层数据诊断由以ARM架构或X86架构芯片为核心的中间层边缘主机执行，上层诊断质量监督和上层模型重新训练由以单一或集群形式的上层服务器执行。2.根据权利要求1所述的基于云边端协同的物联网感知数据诊断方法，其特征在于，所述的底层数据预处理与数据筛选，过程包括：首先由底层电路板采集物联网感知数据，并对单个采集周期内的物联网感知数据进行缺失项处理，删除有缺失项的数据；其次对剩余的物联网感知数据进行奇异点剔除，将数据按从大到小进行冒泡排序，然后去掉若干最大值和若干最小值；再次对剩余的物联网感知数据进行噪声滤波处理，将数据进行卡尔曼滤波计算或中值滤波计算；噪声滤波处理之后的数据，在底层电路板内存储模块内存储；最后对剩余的物联网感知数据进行筛选，根据上层服务器下发的筛选线或筛选面，将正常状态的数据加以剔除，将疑似异常的数据上传至边缘主机；其中，筛选线或筛选面的参数维度，比中间层边缘主机SVM模型超平面的参数维度低一级。3.根据权利要求1所述的基于云边端协同的物联网感知数据诊断方法，其特征在于，所述的中间层数据诊断，过程包括：首先由中间层边缘主机执行SVM模型对所述筛选结果进行诊断，将被诊断的物联网数据分类正常、异常两类，以判断对应的检测对象状态是否正常；中间层边缘主机执行SVM模型的过程中，只按照既定的SVM模型数学公式进行运算，不承担SVM模型的训练过程，不承担SVM模型数学公式的推导和优化过程。其次由中间层边缘主机按照上层服务器规定的动态抽样比例值，将其所诊断的数据及其诊断结果，随机抽取部分上传至上层服务器。4.根据权利要求1所述的基于云边端协同的物联网感知数据诊断方法，其特征在于，所述的上层诊...

【专利技术属性】
技术研发人员：朱锦奇，王利军，孙金平，王群生，
申请(专利权)人：浙江亿视电子技术有限公司，
类型：发明
国别省市：