一种基于机器学习的工业数据质量评测方法及评测系统技术方案

本发明专利技术公开了一种基于机器学习的工业数据质量评测方法及评测系统，其中，评测方法包括以下步骤：S1:对检测数据进行预处理以排除单个检测数据点的异常数据；S2:构建关联模型，并对预处理后符合要求的检测数据进行判断以确定不符合相互关联的异常检测数据。本发明专利技术通过预处理过程对明显不符合要求的异常数据进行识别，然后通过关联模型对在相关组内不相互关联的异常数据进行识别，能够方便的实现对工业生产过程中的多个区域的数据进行检测，并且能准确的确定异常监测数据。能准确的确定异常监测数据。能准确的确定异常监测数据。

【技术实现步骤摘要】
一种基于机器学习的工业数据质量评测方法及评测系统


[0001]本专利技术涉及工业信息
，特别是一种基于机器学习的工业数据质量评测方法。

技术介绍

[0002]工业生产过程中需要对多个区域的数据进行检测，并根据检测结果确定相关的生产过程中设备的稳定性，但是随着检测传感器的数量的不断增加，如何有效的判断出获得的检测数据的准确性，对检测数据进行评估以找出异常数据至关重要。
[0003]现有技术中多采用直接比对方式获取，在数据量少的时候能够很好的对数据进行判断但是随着数据量的不断增多，采用传统的方式进行工业数据质量评测则很难进行。
[0004]此外，现有技术中常规方式是针对不同的工业作业具体需求和数据类型，建立不同的数据监控和质量评估模型，缺乏一种统一的无需区分作业环境、传感器数据类型的数据质量测评方法。
[0005]因此，有必要提出一种具有通用意义的基于机器学习的工业数据质量评测方法。

技术实现思路

[0006]本专利技术的目的是提供一种基于机器学习的工业数据质量评测方法，以解决现有技术中的不足，它能够方便的实现对工业生产过程中的多个区域的数据进行检测，并且能准确的确定异常监测数据。
[0007]本专利技术提供了一种基于机器学习的工业数据质量评测方法，包括以下步骤：
[0008]S1:对检测数据进行预处理以排除单个检测数据点的异常数据；
[0009]S2:构建关联模型，并对预处理后符合要求的检测数据进行判断以确定不符合相互关联的异常检测数据。
[0010]如上所述的一种基于机器学习的工业数据质量评测方法，其中，可选的是，步骤S1可以包括：
[0011]S11：构建历史单元评估模型；
[0012]S12：通过历史单元数据评估模型构建标准测点属性数据库，并确立标准值区间和标准数值变化幅度区间；
[0013]S13：获取当前检测数据属性，并与标准测点属性数据库比对，在当前检测数据超出标准区间时判断为超出值域检测数据；在当前检测数据超出变化幅度区间时判断为幅度波动异常检测数据。
[0014]如上所述的一种基于机器学习的工业数据质量评测方法，其中，可选的是，步骤S11可以包括：
[0015]S111:获取一定时间内的历史检测数据X1、X2、X3......Xi........Xn；
[0016]S112:计算所有历史检测数据的中位数median(X)；
[0017]S113:计算每个历史观测数据与中位数的绝对偏差值|Xi
‑
median(X)|；
[0018]S114:计算绝对偏差值的中位数MAD＝median(|Xi
‑
median(X)|)；
[0019]S115:将每个历史观测数据的绝对偏差值除以MAD以得到基于MAD的所有观测数据的离中心的距离值Xm。
[0020]如上所述的一种基于机器学习的工业数据质量评测方法，其中，可选的是，步骤S12可以包括：
[0021]根据Three
‑
Sigma Rule公式Pr(μ
‑
3σ≤Xm≤μ+3σ)≈0.9973确立Xm符合要求的标准值区间和标准数值变化幅度区间；其中，σ代表标准差，μ代表均值；不符合要求的异常数据的Xm取值大于μ+3σ或小于μ
‑
3σ。
[0022]如上所述的一种基于机器学习的工业数据质量评测方法，其中，可选的是，步骤S2可以包括：
[0023]S21：根据历史检测数据建立关联模型，并根据关联模型对历史检测数据聚类分组以形成多个分组；
[0024]S22：对聚类分组后的结果评估；
[0025]S23：根据关联模型对预处理后符合要求的检测数据分配至相应的分组内；
[0026]S24：确定分配至相应分组内的预处理后符合要求的检测数据在相应分组内与分组内其它数据之间的相关性，并找出相关性差的异常数据。
[0027]如上所述的一种基于机器学习的工业数据质量评测方法，其中，可选的是，步骤S21可以包括：
[0028]S211：获取历史检测数据，并从N个历史检测数据中随机选取K个对象作为初始聚类中心。
[0029]S212：分别计算每个检测数据到各个聚类中心的距离，将每一检测数据分配到距离最近的聚类中。
[0030]S213：所有检测数据分配完成后，重新计算K个聚类中心。
[0031]S214：与前一次计算得到的K个聚类中心比较，如果聚类中心发生变化，转过程S212，否则转过程S215。
[0032]S215：当质心不发生变换时停止并输出聚类结果。
[0033]如上所述的一种基于机器学习的工业数据质量评测方法，其中，可选的是，步骤S22可以包括：
[0034]S221：采用如下公式确定purity(X,Y)
[0035][0036]其中，x＝(x1,x2
……
xk)是聚类的集合。x
k
表示第k个聚类的集合。y＝(y1,y2,
…
yi)表示需要被聚类的集合，y
i
表示第i个聚类对象。N表示被聚类集合对象的总数；
[0037]S222：根据purity(X,Y)数值范围对聚类分组后的结果评估。
[0038]如上所述的一种基于机器学习的工业数据质量评测方法，其中，可选的是，步骤S24可以包括：
[0039]根据Pearson相关系数公式确定相关系数r
[0040][0041]其中，相关系数r的取值范围：
‑
1≤r≤1
[0042][0043]0<|r|<1表示存在不同程度线性相关：
[0044][0045]对低度线性相关和不存在线性相关的数据判断为异常数据。
[0046]本专利技术还提供一种采用上述的基于机器学习的工业数据质量评测方法的评估系统，包括：
[0047]数据预处理单元，用于对检测数据进行预处理以排除单个检测数据点的异常数据；
[0048]数据再处理单元，用于构建关联模型，并对预处理后符合要求的检测数据进行判断以确定不符合相互关联的异常检测数据。
[0049]如上所述的一种基于机器学习的工业数据质量评测方法的评估系统，其中，可选的是，所述预处理单元包括：
[0050]构建模块，用于构建历史单元评估模型并通过历史单元数据评估模型构建标准测点属性数据库，并确立标准值区间和标准数值变化幅度区间；
[0051]初判断模块，用于获取当前检测数据属性，并与标准测点属性数据库比对，在当前检测数据超出标准区间时判断为超出值域检测数据；在当前检测数据超出变化幅度区间时判断为幅度波动异常检测数据。
[0052]与现有技术相比，本申请通过建立统一的质量评估模型，形成了无需区分作业环境、传感器数据类型的数据质量测评方法。
[0053]本专利技术通过预处理过程对明显本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的工业数据质量评测方法，其特征在于，包括以下步骤：S1:对检测数据进行预处理以排除单个检测数据点的异常数据；S2:构建关联模型，并对预处理后符合要求的检测数据进行判断以确定不符合相互关联的异常检测数据。2.根据权利要求1所述的基于机器学习的工业数据质量评测方法，其特征在于，步骤S1包括：S11：构建历史单元评估模型；S12：通过历史单元数据评估模型构建标准测点属性数据库，并确立标准值区间和标准数值变化幅度区间；S13：获取当前检测数据属性，并与标准测点属性数据库比对，在当前检测数据超出标准区间时判断为超出值域检测数据；在当前检测数据超出变化幅度区间时判断为幅度波动异常检测数据。3.根据权利要求2所述的基于机器学习的工业数据质量评测方法，其特征在于，步骤S11包括：S111:获取一定时间内的历史检测数据X1、X2、X3......Xi........Xn；S112:计算所有历史检测数据的中位数median(X)；S113:计算每个历史观测数据与中位数的绝对偏差值|Xi
‑
median(X)|；S114:计算绝对偏差值的中位数MAD＝median(|Xi
‑
median(X)|)；S115:将每个历史观测数据的绝对偏差值除以MAD以得到基于MAD的所有观测数据的离中心的距离值Xm。4.根据权利要求3所述的基于机器学习的工业数据质量评测方法，其特征在于，步骤S12包括：根据Three
‑
Sigma Rule公式Pr(μ
‑
3σ≤Xm≤μ+3σ)≈0.9973确立Xm符合要求的标准值区间和标准数值变化幅度区间；其中，σ代表标准差，μ代表均值；不符合要求的异常数据的Xm取值大于μ+3σ或小于μ
‑
3σ。5.根据权利要求1所述的基于机器学习的工业数据质量评测方法，其特征在于，步骤S2包括：S21：根据历史检测数据建立关联模型，并根据关联模型对历史检测数据聚类分组以形成多个分组；S22：对聚类分组后的结果评估；S23：根据关联模型对预处理后符合要求的检测数据分配至相应的分组内；S24：确定分配至相应分组内的预处理后符合要求的检测数据在相应分组内与分组内其它数据之间的相关性，并找出相关性差的异常数据。6.根据权利要求5所述的基于机器学习的工业...

【专利技术属性】
技术研发人员：樊树盛，贺本彪，苗维杰，
申请(专利权)人：杭州立思辰安科科技有限公司，
类型：发明
国别省市：