本发明专利技术公开了一种空气数据处理方法、装置、计算机设备及存储介质，所述方法包括：获取目标站点和相邻站点的原始数据；去除原始数据中的异常值，并对去除异常值之后的原始数据进行标准化处理；基于标准化处理之后的目标站点的数据计算得到每一个数据对应的掩码矩阵m；对标准化处理之后的数据进行填补处理得到填补之后的数据；基于填补之后的数据和掩码矩阵m，利用训练完成之后的空气数据补全模型对目标站点的原始数据进行补全，所述空气数据补全模型包含所述目标站点的原始数据之间的时序关系和所述目标站点与所述目标站点连接的相邻站点的空间关系。采用本发明专利技术可以提高对异常数据或缺失数据的补全精度。数据或缺失数据的补全精度。数据或缺失数据的补全精度。
【技术实现步骤摘要】
空气数据处理方法、装置及相关设备
[0001]本专利技术涉及数据处理
，尤其涉及一种空气数据处理方法、装置、计算机设备及存储介质。
技术介绍
[0002]在常规的空气质量监测过程中，监测站点的监测仪器进行监测仪器校零、校标等日常维护行为，当出现仪器故障、通信故障、停电等情况时，可能会导致一些监测站点出现监测数据异常或缺失等现象，空气质量监测数据存在的异常与缺失会影响公众对所需区域内的空气质量数据的获取，以及用这些数据做一些后续处理操作。
[0003]目前为了满足公众对于及时、准确的空气质量监测数据的需求，不影响后续对该数据的进一步处理，一般都是基于统计学方法对异常值进行删除且对缺失值用均值填充或上一值填充等方式进行处理，但是该方法损害了数据中所蕴含的信息，导致所得到的空气质量数据不够准确，同时也对后续数据处理分析带来了不良影响。
[0004]因此，如何在空气质量数据出现异常或缺失的情况下提高缺失数据的补全精度是目前亟待解决的技术问题。
技术实现思路
[0005]本专利技术实施例提供一种空气数据处理方法、装置、计算机设备和存储介质，以提高异常数据或缺失数据的补全精度，满足公众及后续数据处理对空气质量数据的准确性要求。
[0006]为了解决上述技术问题，本申请实施例提供一种空气数据处理方法，包括以下步骤：获取目标站点和与所述目标站点连接的相邻站点的原始数据，所述原始数据包括正常值和异常值；去除所述原始数据中的异常值，并对去除异常值之后的原始数据进行标准化处理；基于所述标准化处理后的目标站点的数据，计算得到所述目标站点的每一个数据对应的掩码矩阵m；对所述目标站点标准化处理之后的数据和所述相邻站点标准化处理之后的数据进行填补处理，得到填补之后的数据；基于所述填补之后的数据和所述掩码矩阵m，利用训练完成之后的空气数据补全模型对目标站点的原始数据进行补全，得到补全之后的空气数据，其中，所述空气数据补全模型包含所述目标站点的原始数据之间的时序关系和所述目标站点与所述目标站点连接的相邻站点的空间关系。
[0007]在一种可能的实现方式中，所述空气数据补全模型包括时间特征提取模型和空间特征提取模型，所述时间特征提取模型用于获取蕴含所述目标站点原始数据时序关系的第
一历史记忆向量，所述空间特征提取模型用于获取蕴含所述目标站点与所述目标站点连接的相邻站点空间关系的第二历史记忆向量。
[0008]在另一种可能的实现方式中，在利用训练完成之后对的空气数据补全模型对目标站点的原始数据进行补全之前，建立所述目标站点和与所述目标站点连接的相邻站点的完全图，所述相邻站点包括以所述目标站点为圆心，半径为第一预设值内的所有站点；根据所述完全图，得到邻接矩阵A、度矩阵D和距离特征矩阵B，其中，所述邻接矩阵A、所述度矩阵D和所述距离特征矩阵B包含所述目标站点与所述相邻站点的空间信息。
[0009]在另一种可能的实现方式中，所述空气数据补全模型的训练过程具体包括：从所述标准化处理之后的目标站点的数据中选取n条时序数据，并输入至所述时间特征提取模型得到所述第一历史记忆向量；将所述n条时序数据、与所述n条时序数据对应同时间的相邻站点的时序数据、所述邻接矩阵A、所述度矩阵D和距离特征矩阵B输入至空间特征提取模型中，得到所述第二历史记忆向量；将所述第一历史记忆向量和所述第二历史记忆向量输入至编码器，得到低维特征表达向量z，并将所述低维特征表达向量z输入解码器得到重构的所述目标站点的时序数据；基于所述掩码矩阵m、所述目标站点的时序数据、所述标准化处理之后的目标站点的数据更新所述空气数据补全模型，得到更新后的空气数据补全模型，其中，所述更新后的空气数据补全模型具有数据填补功能。
[0010]在另一种可能的实现方式中，所述对去除异常值之后的原始数据进行标准化处理包括：计算所述原始数据中正常值的均值和标准差；利用正常值与所述均值的差值除以所述标准差，得到所述标准化处理之后的目标站点的数据和所述相邻站点的数据。
[0011]在另一种可能的实现方式中，所述基于所述填补之后的数据和所述掩码矩阵m，利用训练完成之后的空气数据补全模型对目标站点的原始数据进行补全，得到补全之后的空气数据，包括：将所述标准化处理之后的目标站点的数据和所述相邻站点的数据、重构的所述目标站点的时序数据和所述掩码矩阵m输入更新后的空气数据补全模型，得到补全后的所述目标站点的时序数据x
imputed
，将所述补全后的所述目标站点的时序数据x
imputed
进行逆标准化得到补全后的空气数据。
[0012]为了解决上述技术问题，本申请实施例还提供一种空气数据补全装置，包括：数据采集模块，用于采集目标站点和与所述目标站点连接的相邻站点的原始数据，所述原始数据包括正常值和异常值；数据标准化模块，用于去除所述原始数据中的异常值，并对去除异常值之后的原始数据进行标准化处理；数据处理模块，用于计算得到所述目标站点的每一个数据对应的掩码矩阵m；对所述目标站点标准化处理之后的数据和所述相邻站点标准化处理之后的数据进行填补处理，得到填补之后的数据；数据补全模块，用于基于所述填补之后的数据和所述掩码矩阵m，利用训练完成之后的空气数据补全模型对目标站点的原始数据进行补全，得到补全之后的空气数据，其中，所述空气数据补全模型包含所述目标站点的原始数据之间的时序关系和所述目标站点与所述目标站点连接的相邻站点的空间关系。
[0013]为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理
器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0014]为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
[0015]本专利技术实施例提供的空气数据处理方法、装置、计算机设备及存储介质，在获取到目标站点和与目标站点连接的相邻站点的原始数据之后，通过改进后的空气数据补全模型充分提取目标站点原始数据中蕴含的时序因素以及目标站点与相邻站点关联的空间关系，该空气数据补全模型针对目标站点原始数据中删除异常值所带来的缺失与数据本身存在的缺失，能够有效的捕捉时序数据的时序因子并强化了对缺失时刻点数据的前一时刻和后一时刻的信息提取，另外考虑了各个相邻站点与目标站点之间的距离因素，从而完成对有异常值或缺失值的空气数据进行补全。通过此方法能够实现空气质量数据的高精度补全，可以满足公众对于及时、准确的空气质量数据的需求及研究者对这些数据进行后续处理。
附图说明
[0016]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本申请可以应用于本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种空气数据处理方法，其特征在于，所述方法包括：获取目标站点和与所述目标站点连接的相邻站点的原始数据，所述原始数据包括正常值和异常值；去除所述原始数据中的异常值，并对去除异常值之后的原始数据进行标准化处理；基于所述标准化处理后的目标站点的数据，计算得到所述目标站点的每一个数据对应的掩码矩阵m；对所述目标站点标准化处理之后的数据和所述相邻站点标准化处理之后的数据进行填补处理，得到填补之后的数据；基于所述填补之后的数据和所述掩码矩阵m，利用训练完成之后的空气数据补全模型对目标站点的原始数据进行补全，得到补全之后的空气数据，其中，所述空气数据补全模型包含所述目标站点的原始数据之间的时序关系和所述目标站点与所述目标站点连接的相邻站点的空间关系。2.如权利要求1所述的方法，其特征在于，所述空气数据补全模型包括时间特征提取模型和空间特征提取模型，所述时间特征提取模型用于获取蕴含所述目标站点原始数据时序关系的第一历史记忆向量，所述空间特征提取模型用于获取蕴含所述目标站点与所述目标站点连接的相邻站点空间关系的第二历史记忆向量。3.如权利要求1或2所述的方法，其特征在于，在利用训练完成之后对的空气数据补全模型对目标站点的原始数据进行补全之前，所述方法还包括：建立所述目标站点和与所述目标站点连接的相邻站点的完全图，所述相邻站点包括以所述目标站点为圆心，半径为第一预设值内的所有站点；根据所述完全图，得到邻接矩阵A、度矩阵D和距离特征矩阵B，其中，所述邻接矩阵A、所述度矩阵D和所述距离特征矩阵B包含所述目标站点与所述相邻站点的空间信息。4.如权利要求3所述的方法，其特征在于，所述空气数据补全模型的训练过程具体包括：从所述标准化处理之后的目标站点的数据中选取n条时序数据，并输入至所述时间特征提取模型得到所述第一历史记忆向量；将所述n条时序数据、与所述n条时序数据对应同时间的相邻站点的时序数据、所述邻接矩阵A、所述度矩阵D和距离特征矩阵B输入至空间特征提取模型中，得到所述第二历史记忆向量；将所述第一历史记忆向量和所述第二历史记忆向量输入至编码器，得到低维特征表达向量z，并将所述低维特征表达向量z输入解码器得到重构的所述目标站点的时序数据；基于所述掩码矩阵m、所述目标站点的时序数据、所述标准化处理之后的目标站点的数据更新所述空气数据补全模型，得到更新后的空气数据补全模型，其中，所述更新后的空气数据补全模型具有数据填补功能。5.如权利要求1所述的方法，其特征在于，所述对去除异常值之后的原始数据进行标准化处理包括：计算所述原始数据中正常值的均值和标准差；利用正常值与所述均值的差值除以所述标准差，得到所述标准化处理之后的目标站点
...
【专利技术属性】
技术研发人员：陈晓红，胡慧超，陈杰，徐雪松，胡东滨，刘利枚，
申请(专利权)人：湖南红普创新科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。