一种基于低秩矩阵完备化的空气质量数据恢复方法技术

本发明专利技术公开了一种基于低秩矩阵完备化的空气质量数据恢复方法，所述步骤如下：(1)大气污染物时间序列数据清洗；(2)建立低秩矩阵恢复的数学最优化模型；(3)求解数学模型，恢复数据。本发明专利技术提供的空气质量数据恢复方法，充分利用监测站节点之间数据的高相关性与局部差异性，可一次性高效恢复全部数据，尤其在连续缺失较多数据的条件下，恢复精度十分可观。

An Air Quality Data Recovery Method Based on Completion of Low Rank Matrix

The invention discloses an air quality data recovery method based on the completeness of low rank matrix, which comprises the following steps: (1) cleaning time series data of air pollutants; (2) establishing mathematical optimization model of low rank matrix recovery; (3) solving mathematical model and restoring data. The air quality data recovery method provided by the invention makes full use of the high correlation and local difference of data between monitoring stations nodes, and can efficiently recover all data at one time, especially under the condition of continuous missing more data, the recovery accuracy is considerable.

【技术实现步骤摘要】
一种基于低秩矩阵完备化的空气质量数据恢复方法
本专利技术涉及一种基于低秩矩阵完备化的空气质量数据恢复方法，属于城市大气污染监测与防治

技术介绍
空气质量数据恢复是将大气污染物监测站采集过程中出现的缺失记录、无效记录的时间序列数据进行高精度填补，在大气污染实时监测预测、重污染防治等环境工程中具有重要铺垫作用。城市大气污染物时间序列数据的变化涉及到时空复杂的物理化学过程，针对由于监测设备的不可抗力因素而导致的部分数据丢失的问题，常用的填补恢复方法包括插值与填补，例如K近邻、样条插值、EM、谱方法等。插值方法难以应对数据的不平稳性，尤其缺失数据较多的情况表现较差；已有填补方法，大多具有计算复杂的特征，往往不被选取使用。
技术实现思路
专利技术目的：为了克服现有方法的不足，本专利技术利用城市间各个监测站具有很高的相关性，同时考虑到监测站之间具有一定的局部差异性，提供了一种基于低秩矩阵完备化的空气质量数据填补恢复方法。通过建立矩阵分解的数学模型，将数据恢复转化为带约束的最小优化问题，使用交替方向梯度下降法迭代求解出需要恢复的数据。技术方案：为实现上述目的，本专利技术采用的技术方案为：一种基于低秩矩阵完备化的空气质量数据恢复方法，所述步骤如下：(1)、大气污染物时间序列数据清洗；(2)、建立低秩矩阵恢复的数学最优化模型；(3)、利用交替方向乘子法求解数学模型，恢复数据。上述步骤(1)中的数据清洗包括如下步骤：(a1)、对于每个监测节点的某污染物时间序列数据，将无效记录与空记录替换为None，作为缺失标记；(a2)、将步骤(a1)中清洗完成的时间序列数据按行组成原始不完备二维矩阵D；(a3)、构造一个标记数据缺失与否的矩阵M，缺失位置的值设为0，有效位置的值设为1，矩阵M的维度与矩阵D相同；上述步骤(3)中建立低秩矩阵恢复的数学最优化模型包括如下步骤：(b1)、将矩阵D中每个None值替换为所在行的非None值的算术均值μ，完成矩阵D的初始完备化。(b2)、定义矩阵A、E、Y，维度均与矩阵D相同；A为低秩矩阵，E为稀疏矩阵，Y为拉格朗日矩阵乘子；(b3)、建立如下数学模型:argminA,EL(A,E,Y)＝||A||*+λ·||MoE||1+Yo(D-A-E)+ρ/2·||Mo(D-A-E)||p2。其中，λ为稀疏惩罚因子，ρ为增广拉格朗日乘子，o表示内积，||||*表示矩阵核范数，||||1表示矩阵1范数，||||p表示矩阵p范数。上述步骤(3)中求解数学模型包括如下步骤：(c1)、设定参数λ，ρ，初始化矩阵A，E，Y；(c2)、保持E，Y变量不变，求解argminAL(A|E,Y),更新矩阵A；(c3)、保持A，Y变量不变，求解argminEL(E|A,Y),更新矩阵E；(c4)、保持A，E变量不变，求解argminYL(E|A,E),更新矩阵Y；(c5)、转到步骤(c2),直至满足结束条件后，转到步骤(c6)；(c6)、恢复缺失位置数据(1-M)oD＝(1-M)oA。本专利技术所达到的有益效果：本专利技术提供的低秩矩阵完备化的空气质量数据恢复方法，通过建立和求解数学模型，可一次性高效恢复全部数据，尤其在连续缺失较多数据的条件下，恢复精度十分可观。附图说明图1是求解数学模型的流程图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。如图1所示，一种基于低秩矩阵完备化的空气质量数据恢复方法，所述步骤如下：(1)、大气污染物时间序列数据清洗；(2)、建立低秩矩阵恢复的数学最优化模型；(4)、利用交替方向乘子法求解数学模型，恢复数据。上述步骤(1)中的数据清洗包括如下步骤：(a1)、将每个监测节点某污染物时间序列数据中无效记录、无记录的数据赋值为None用于缺失标记，得到s(i),i＝1,2,3,…,N,其中N为监测节点总数；(a2)、将步骤(a1)中清洗完成的时间序列数据按行组成原始不完备二维矩阵D＝[s(1)；s(2)；…；s(n)]；(a3)、构造一个标记数据缺失与否的矩阵M，缺失位置的值设为0，有效位置的值设为1，矩阵M的维度与矩阵D相同；上述步骤(3)中建立低秩矩阵恢复的数学最优化模型包括如下步骤：(b1)、将矩阵D中每个None值替换为所在行的非None值的算术均值μ，完成矩阵D的初始完备化。(b2)、定义矩阵A、E、Y，维度均与矩阵D相同；A为低秩矩阵，E为稀疏矩阵，Y为拉格朗日矩阵乘子；(b3)、建立如下数学模型：argminA,EL(A,E,Y)＝||A||*+λ·||MoE||1+Yo(D-A-E)+ρ/2·||Mo(D-A-E)||p2。其中，λ为稀疏惩罚因子，ρ为增广拉格朗日乘子，<,>表示内积，||||*表示矩阵核范数，||||1表示矩阵1范数，||||p表示矩阵p范数。上述步骤(3)中求解数学模型包括如下步骤：(c1)、设定参数λ＝1/sqrt(m·n)，ρ＝5λ，当前迭代轮数为k＝0，初始化矩阵A＝0，E＝0，Y＝0，其中m,n为矩阵D的两个维度；(c2)、计算[U,S,V]＝svd[D-E-(1/ρ)·Y)]；U，S，V为奇异值分解矩阵。(c3)、更新矩阵A＝U·sgn[S]omax[abs(S)-(1/ρ),0]·V'；(c4)、更新矩阵E＝sgn[D-A-(1/ρ)·Y)]omax[abs(D-A-(1/ρ)·Y))-(λ/ρ),0]；(c5)、更新矩阵Y＝Y+ρ·M·(D-A-E)；(c6)、k＝k+1，如果k<1000,转到步骤(c2),否则，转到步骤(c6)；(c7)、恢复缺失位置数据(1-M)oD＝(1-M)oA。以上所述仅是本专利技术的优选实施方式，应当指出，对于本
的普通技术人员来说，在不脱离本专利技术技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本专利技术的保护。本文档来自技高网...

【技术保护点】
1.一种基于低秩矩阵完备化的空气质量数据恢复方法，其特征在于所述步骤如下：(1)、大气污染物时间序列数据清洗；(2)、建立低秩矩阵恢复的数学最优化模型；(3)、利用交替方向乘子法求解数学模型，恢复数据。

【技术特征摘要】
1.一种基于低秩矩阵完备化的空气质量数据恢复方法，其特征在于所述步骤如下：(1)、大气污染物时间序列数据清洗；(2)、建立低秩矩阵恢复的数学最优化模型；(3)、利用交替方向乘子法求解数学模型，恢复数据。2.根据权利要求1所述的基于低秩矩阵完备化的空气质量数据恢复方法，其特征在于所述步骤(1)中的数据清洗包括如下步骤：(a1)、对于每个监测节点的某污染物时间序列数据，将无效记录与空记录替换为None，作为缺失标记；(a2)、将步骤(a1)中清洗完成的时间序列数据按行组成原始不完备二维矩阵D；(a3)、构造一个标记数据缺失与否的矩阵M，缺失位置的值设为0，有效位置的值设为1，矩阵M的维度与矩阵D相同。3.根据权利要求2所述的基于低秩矩阵完备化的空气质量数据恢复方法，其特征在于所述步骤(2)中建立低秩矩阵恢复的数学最优化模型包括如下步骤：(b1)、将矩阵D中每个None值替换为所在行的非None值的算术均值μ，完成矩阵D的初始完备化；(b2)、定义矩阵A、E、Y，维度...

【专利技术属性】
技术研发人员：刘小峰，邹朗，蒋爱民，
申请(专利权)人：河海大学常州校区，
类型：发明
国别省市：江苏,32