一种持久化数据模型建模方法技术

本发明专利技术涉及数据质量增强技术领域，具体涉及一种持久化数据模型建模方法，该方法首先获取每种天气预测数据的天气预测时序数据序列，借助

【技术实现步骤摘要】
一种持久化数据模型建模方法


[0001]本专利技术涉及数据质量增强
，具体涉及一种持久化数据模型建模方法
。

技术介绍

[0002]为了确保天气预测的准确性，通常需要使用多种天气预测数据，如温度
、
湿度
、
气压等
。
这些数据量往往非常大，因此它们被存储在数据库中以形成持久化数据，进一步地以这些天气预测数据为基础进行建模，进一步地根据构建的模型进行天气预测
。
但是由于外界干扰和采集环境的影响，这些数据中可能存在许多异常值或噪声，这些异常数据可能对后续的建模和预测过程造成干扰
。
[0003]因此需要将噪声数据去除或减少噪声的影响，现有技术通常采用异常值检测方法对每种天气预测数据进行预处理，去除那些明显的异常值，同时保留那些有规律的
、
对建模有用的数据
。
但是有些数据对应的异常可能并不明显，或者异常程度较小，难以准确识别
。
这些难以识别的小幅异常数据可能会在后续的建模过程中产生较大的误差，从而影响天气预测的准确性；也即现有技术通过异常值检测的方法对天气预测数据的去噪效果较差，使得所构建的用于天气预测的模型的精度和准确性较低
。

技术实现思路

[0004]为了解决现有技术通过异常值检测的方法对天气预测数据的去噪效果较差，使得所构建的用于天气预测的模型的精度和准确性较低的技术问题，本专利技术的目的在于提供一种持久化数据模型建模方法，所采用的技术方案具体如下：本专利技术提出了一种持久化数据模型建模方法，所述方法包括：获取每种天气预测数据的天气预测时序数据序列；在每种天气预测数据中，对所述天气预测时序数据序列进行
EMD
分解，得到至少两个天气数据
IMF
分量；根据每个天气数据
IMF
分量的频域信息分布情况，得到每个天气数据
IMF
分量对应的周期分量数据矩阵；对所述周期分量数据矩阵进行
SVD
分解，得到至少两个参考奇异向量及其对应的参考奇异值；根据所有参考奇异向量对应的参考奇异值的数值分布情况，筛选出保留奇异向量；根据每个保留奇异向量对所述周期分量数据矩阵进行数据降维，得到每个保留奇异向量对应的天气数据投影
IMF
分量；根据所述天气数据投影
IMF
分量与对应的天气数据
IMF
分量之间的频域信息分布差异情况，得到每个天气数据
IMF
分量的噪声参考权重值；根据所有的天气数据
IMF
分量结合对应的噪声参考权重值进行数据重构，得到每种天气预测数据对应的天气预测时序数据去噪序列；根据所述天气预测时序数据去噪序列构建用于天气预测的深度学习模型
。
[0005]进一步地，所述周期分量数据矩阵的获取方法包括：将每个天气数据
IMF
分量进行傅里叶变换后的最大幅值对应的频率的倒数，作为每个天气数据
IMF
分量对应的参考周期；
以时间顺序，将每个天气数据
IMF
分量划分为至少两个周期分量数据段，所述周期分量数据段的长度与参考周期相同；以天气数据
IMF
分量中的顺序将各个周期分量数据段作为矩阵的每行，构建周期分量数据矩阵
。
[0006]进一步地，所述对所述周期分量数据矩阵进行
SVD
分解，得到至少两个参考奇异向量及其对应的参考奇异值的方法包括：将所述周期分量数据矩阵通过
SVD
分解得到的右奇异矩阵的每列，作为参考奇异向量；将所述参考奇异向量对应的奇异值，作为参考奇异值
。
[0007]进一步地，所述保留奇异向量的获取方法包括：将所有参考奇异值的累加和，作为参考累加和；将每个参考奇异向量的参考奇异值与所述参考累加和的比值，作为每个参考奇异向量的保留判定值；将大于预设判定阈值的保留判定值对应的参考奇异向量，作为保留奇异向量
。
[0008]进一步地，所述天气数据投影
IMF
分量的获取方法包括：依次将每个保留奇异向量作为目标保留奇异向量；将所述周期分量数据矩阵中每个元素与所述保留奇异向量的点积，作为每个元素的投影元素；将所述周期分量数据矩阵中每个元素采用对应的投影元素进行替代，得到目标保留奇异向量对应的投影分量矩阵；以从上到下的顺序，将所述投影分量矩阵按照每行的最后一个元素与下一行的第一个元素相连的方式转化为序列，得到目标保留奇异向量对应的天气数据投影
IMF
分量
。
[0009]进一步地，所述噪声参考权重值的获取方法包括：对于任意一个天气数据
IMF
分量：将每个保留奇异向量对应的天气数据投影
IMF
分量进行傅里叶变换后的最大幅值对应的频率的倒数，作为每个保留奇异向量对应的投影周期；将天气数据
IMF
分量对应的参考周期与所述投影周期之间的差异分布状况，构建噪声参考权重值计算模型；通过所述噪声参考权重值计算模型，得到天气数据
IMF
分量对应的噪声参考权重值
。
[0010]进一步地，所述噪声参考权重值计算模型包括：其中，为第个天气数据
IMF
分量的噪声参考权重值，为第个天气数据
IMF
分量对应的保留奇异向量数量；为第个天气数据
IMF
分量对应的参考周期；为第个天气数据
IMF
分量对应的第个保留奇异向量的投影周期；为第个天气数据
IMF
分量对应的第个保留奇异向量的参考奇异值；为绝对值符号，为以自然常数为底的指数函数，为归一化函数
。
[0011]进一步地，所述天气预测时序数据去噪序列的获取方法包括：将每个天气数据
IMF
分量以对应的噪声参考权重值作为权重进行加权求和重构，得到天气预测时序数据去噪序列
。
[0012]进一步地，所述根据所述天气预测时序数据去噪序列构建用于天气预测的深度学习模型的方法包括：根据每种天气预测数据的天气预测时序数据去噪序列训练深度学习模型，所述深度学习模型采用
VGG
‑
NET
网络，损失函数采用交叉熵损失函数
。
[0013]进一步地，所述预设判定阈值设置为
0.1。
[0014]本专利技术具有如下有益效果：由于
EMD
分解能够将原始数据分解为多个观测尺度下的数据，从而对每个观测尺度进行噪声分析，进一步地提高对异常噪声数据检测的准确性，因此本专利技术首先对天气预测时序数据序列进行
EMD
分解，得到不同观测尺度对应的天气数据
IMF
分量
。
对于每个观测尺度的数据即天气数据
IMF
分量而言，正常的数据通常都符合一定的规律，而其中的异本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种持久化数据模型建模方法，其特征在于，所述方法包括：获取每种天气预测数据的天气预测时序数据序列；在每种天气预测数据中，对所述天气预测时序数据序列进行
EMD
分解，得到至少两个天气数据
IMF
分量；根据每个天气数据
IMF
分量的频域信息分布情况，得到每个天气数据
IMF
分量对应的周期分量数据矩阵；对所述周期分量数据矩阵进行
SVD
分解，得到至少两个参考奇异向量及其对应的参考奇异值；根据所有参考奇异向量对应的参考奇异值的数值分布情况，筛选出保留奇异向量；根据每个保留奇异向量对所述周期分量数据矩阵进行数据降维，得到每个保留奇异向量对应的天气数据投影
IMF
分量；根据所述天气数据投影
IMF
分量与对应的天气数据
IMF
分量之间的频域信息分布差异情况，得到每个天气数据
IMF
分量的噪声参考权重值；根据所有的天气数据
IMF
分量结合对应的噪声参考权重值进行数据重构，得到每种天气预测数据对应的天气预测时序数据去噪序列；根据所述天气预测时序数据去噪序列构建用于天气预测的深度学习模型
。2.
根据权利要求1所述的一种持久化数据模型建模方法，其特征在于，所述周期分量数据矩阵的获取方法包括：将每个天气数据
IMF
分量进行傅里叶变换后的最大幅值对应的频率的倒数，作为每个天气数据
IMF
分量对应的参考周期；以时间顺序，将每个天气数据
IMF
分量划分为至少两个周期分量数据段，所述周期分量数据段的长度与参考周期相同；以天气数据
IMF
分量中的顺序将各个周期分量数据段作为矩阵的每行，构建周期分量数据矩阵
。3.
根据权利要求2所述的一种持久化数据模型建模方法，其特征在于，所述对所述周期分量数据矩阵进行
SVD
分解，得到至少两个参考奇异向量及其对应的参考奇异值的方法包括：将所述周期分量数据矩阵通过
SVD
分解得到的右奇异矩阵的每列，作为参考奇异向量；将所述参考奇异向量对应的奇异值，作为参考奇异值
。4.
根据权利要求1所述的一种持久化数据模型建模方法，其特征在于，所述保留奇异向量的获取方法包括：将所有参考奇异值的累加和，作为参考累加和；将每个参考奇异向量的参考奇异值与所述参考累加和的比值，作为每个参考奇异向量的保留判定值；将大于预设判定阈值的保留判定值对应的参考奇异向量，作为保留奇异向量
。5.
根据权利要求1所述的一种持久化数...

【专利技术属性】
技术研发人员：贾庆佳，李瑞敏，江玉倩，李琛琛，武娟，
申请(专利权)人：万链指数青岛信息科技有限公司，
类型：发明
国别省市：