一种基于时序数据的在线监控数据质量方法技术

本发明专利技术公开了一种基于时序数据的在线监控数据质量方法，输入包括数据质量状态、数据质量不合格率、数据产生时间的时序数据，对时序数据进行数值化预处理；分别采用SESOP、SESOP‑MFI、STSSO和STSSO‑MFIR方法计算统计量，训练监控模型；通过计算得到统计量序列，利用对统计量序列的监控，并根据情况设定平均运行步长获得控制极限；监控质量风险，根据被监控数据的输入，实现输入一条数据及监控一条数据的实时监控。本发明专利技术能够更为快速稳定的对不同阶段的数据质量情况进行监控，并对发生的质量恶化做出预警。

【技术实现步骤摘要】
一种基于时序数据的在线监控数据质量方法
本专利技术属于数据预测
，具体涉及一种基于时序数据的在线监控数据质量方法。
技术介绍
在过去的几十年中，统计过程控制(英文名称：StatisticalProcessControl，英文缩写：SPC)方法被广泛应用于质量结果的监控。通过评估一系列质量案例，控制图(英文名称：ControlChart)可以检测质量的变化并对数据质量的恶化或改善发出警报，能够帮助确定问题的根源并提供有关解决问题的思路[1]。控制图方法用于测量、记录和评估过程质量特性，以监控过程是否处于受控(英文名称：incontrol，英文缩写：IC)状态，代表方法有指数加权移动平均(英文名称：ExponentiallyWeightedMovingAverage，英文缩写：EWMA)，累积总和(英文名称：CumulativeSum，英文缩写：CUSUM)，可变寿命调整显示(英文名称：VariableLife-AdjustedDisplay，英文缩写：VLAD)和休哈特(英文名称：Shewhart)。现有方法均旨在监控数据质量平均水本文档来自技高网...

【技术保护点】
1.一种基于时序数据的在线监控数据质量方法，其特征在于，包括以下步骤：/nS1、输入包括数据质量状态、数据质量不合格率、数据产生时间的时序数据，对时序数据进行数值化预处理；/nS2、分别采用SESOP、SESOP-MFI、STSSO和STSSO-MFIR方法计算统计量Z

【技术特征摘要】
1.一种基于时序数据的在线监控数据质量方法，其特征在于，包括以下步骤：
S1、输入包括数据质量状态、数据质量不合格率、数据产生时间的时序数据，对时序数据进行数值化预处理；
S2、分别采用SESOP、SESOP-MFI、STSSO和STSSO-MFIR方法计算统计量Zn，训练监控模型；
S3、通过步骤S2计算得到统计量Zn序列，利用对统计量Zn序列的监控，并根据情况设定平均运行步长获得控制极限；
S4、监控质量风险，根据被监控数据的输入，实现输入一条数据及监控一条数据的实时监控。


2.根据权利要求1所述的基于时序数据的在线监控数据质量方法，其特征在于，步骤S2中，采用SESOP和SESOP-MFIR计算统计量Zn具体为：
S20101、利用训练数据，计算Z1并储存；
S20102、利用训练数据，计算统计量Zn并储存，通过建立风险调控模型得出数据质量不合格率pn。


3.根据权利要求2所述的基于时序数据的在线监控数据质量方法，其特征在于，步骤S20101中，Z1计算如下：
Z1＝λY1



其中，λ为平滑参数，Y1为初始标准化后score统计量；y1为数据质量状态，当质量不合格时，y1＝1，否则，y1＝0；p1为数据质量不合格率。


4.根据权利要求2所述的基于时序数据的在线监控数据质量方法，其特征在于，步骤S20102中，统计量Zn计算如下：
Zn＝(1-λ)Zn-1+λYn
其中，n为当前时间点，λ为平滑参数，Yn为截止到第n个时序数据时得到的标准化后score统计量。


5.根据权利要求1所述的基于时序数据的在线监控数据质量方法，其特征在于，步骤S2中，采用STSSO和STSSO-MFIR计算统计量Zn具体为：
S20201、利用训练数据，计算Z1并储存；
S20202、利用训练数据，计算统计量Zn并储存，通过建...

【专利技术属性】
技术研发人员：赖欣，刘佳琦，王嘉寅，张选平，朱晓燕，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61