一种浮标时间序列数据缺失值的插补方法及系统技术方案

本发明专利技术公开了一种浮标时间序列数据缺失值的插补方法及系统，方法包括：获取样本数据；利用Mann

【技术实现步骤摘要】
一种浮标时间序列数据缺失值的插补方法及系统


[0001]本专利技术涉及数据插补
，特别涉及一种浮标时间序列数据缺失值的插补方法及系统。

技术介绍

[0002]在使用浮标数据进行区域环境变量的研究时，会因为仪器更新或者损坏导致存在一段时间内的数据缺失，导致时间的不连续。有时候可能恰巧这段时间就处于想要研究的时间范围内，若是想要使用数据就需要插值。但是，常用的几种插值方法，往往不能很好反映数据的变化规律，仅仅只是以某种数学关系进行拟合。而随着计算机软件技术和人工智能的迅猛发展，使其拥有识别数据内部联系，学习数据的变化规律的能力，对于解决非线性、机理不清的问题有着独特的优势。而对于时间序列，长短期记忆网络的提出，可以用于解决神经网络中存在的长期依赖问题，使用长短期记忆网络可以有效传递长时间序列中的有效信息，可以将过去的信息传递到未来，同时小波分析方法能够很好解决傅里叶变化在突变信号上的不足，将两者结合能够更近一步学习原始时间序列中细节信号。

技术实现思路

[0003]针对现有技术的问题，本专利技术的目的在于提供一种浮标时间序列数据缺失值的插补方法及系统，可以对浮标时间序列数据的缺失进行有效插补，使得恢复出的数据接近原始数据。
[0004]本专利技术采用如下技术方案：
[0005]一方面，一种浮标时间序列数据缺失值的插补方法，包括：
[0006]S1，获取浮标采集的带有缺失值的海洋观测时间序列数据；所述带有缺失值的海洋观测时间序列数据为以一定采样频率得到等时间间隔的数据，数据中存在缺失时间段；
[0007]S2，将所述海洋观测时间序列数据取对数获得处理后的海洋观测时间序列数据；
[0008]S3，利用Mann
‑
Kendall 检验，根据缺失的时间段确定参与插补的数据或预先选择参与插补的数据；所述参与插补的数据包括缺失值的前段数据和后段数据，且所述参与插补的数据为对数处理后的海洋观测时间序列数据；
[0009]S4，将所述前段数据和后段数据利用母小波进行小波分解得到分量；
[0010]S5，根据预设的时间步长，将得到的分量各自以顺时间方向和反时间方向处理得到正向数据组和反向数据组；
[0011]S6，利用长短期记忆网络模型，将每个分量的正向数据组和反向数据组都按照预设比例分成训练集和验证集，并按照设定的训练参数训练得到正向模型和反向模型；
[0012]S7，利用正向模型和反向模型分别对缺失时间段进行一一插值，插值得到的数据会加入下一时刻插补时的时间向量，直到整个缺失时间段插补完整；
[0013]S8，将正向模型得到的结果相加并进行指数运算得到正向插值结果，将反向模型结果相加并进行指数运算得到反向插值结果，将正向插值结果和反向插值结果分别乘以对
应的权值得到插值结果。
[0014]优选的，所述S3，具体包括：
[0015]对缺失时间段的前f天进行MK检验获得曲线图，对缺失时间段的后b天进行MK检验获得曲线图，f和b为提前选定天数，和为根据时间序列计算得到统计量序列；
[0016]对于包括n个样本的海洋观测时间序列X=(，构造秩序列，其中 ，秩序列为第i个时刻数值大于j个时刻时，数值个数的累加；
[0017]在时间序列为随机的假设下，定义统计量 , 其中，，和分别是的均值和方差，且相互独立时，它们具有相同连续分布，可以由下式推算出： , ；
[0018]再按海洋观测时间序列X的逆序（），重复上述过程，令，得到， ；
[0019]当和超过显著性水平后，两者若出现交点且交点在根据显著性水平得到的临界线内，则交点为海洋观测数据趋势突变点，交点对应时刻便是突变开始时间；
[0020]从距离缺失时间段最近时刻开始寻找突变点，确认为突变点后继续寻找突变后趋势明显的时刻，接着判断所找时刻与缺失时间段是否相距预设天数m以上，若是，则确定为所需海洋观测时间序列的突变时刻；若不是，则继续寻找；
[0021]如果在前f天内找到满足要求的时刻，则选择距离缺失时间段前f天至缺失值开始时刻之间的数据作为前段数据，如果在前f天内找不到满足要求的时刻，则选择距离缺失时间段前m天的至缺失值开始时刻之间的数据作为前段数据；
[0022]如果在后b天内找到满足要求的时刻，则选择缺失值结束时刻至缺失时间段后b天之间的数据作为后段数据，如果在后b天内找不到满足要求的时刻，则选择缺失值结束时刻至缺失时间段后m天之间的数据作为后段数据。
[0023]优选的，所述S4之后还包括：
[0024]分别对所有分量分别进行归一化处理，归一化公式为
[0025]其中，表示归一化后的海洋观测时间序列数据；X为获得的海洋观测时间序列数据小波分解后得到的分量；表示海洋观测时间序列数据的最小值；表示海洋观测时间序列数据的最大值。
[0026]优选的，所述S6，具体包括：
[0027]将得到每个分量的正向数据组和反向数据组都按照预设比例分成训练集和验证集，并将前段数据和后段数据中为相同分量的两个正向数据组进行整合，按照设定的训练参数经过长短期记忆网络模型，不断地权重更新直到网络收敛，得到多个正向模型；将前段数据和后段数据中为相同分量的两个反向数据组进行整合，按照设定的训练参数经过长短期记忆网络模型，不断地权重更新直到网络收敛，得到多个反向模型；所述正向模型和反向模型的个数与小波分解的级数相关。
[0028]优选的，所述S8之前，还包括：
[0029]对正向模型结果和反向模型结果进行反归一化，反归一化公式为；其中，为模型结果，为反归一化后结果，表示海洋观测时间序列数据的最小值；表示海洋观测时间序列数据的最大值。
[0030]优选的，所述S8，具体包括：
[0031]将正向插值结果乘以正向插值权重加上反向插值结果乘以反向插值权重得到；其中，表示所有缺失时刻插补值组成的向量，s表示缺失个数，表示第s个插补值； 表示缺失的第t个时间点，利用将正向插值结果和反向插值结果经过加权后得到的插值结果；为时间点t的正向插值权重，为时间点t的反向插值权重；表示将反归一化后的所有正向模型结果相加得到的正向插值结果；表示将反归一化后的所有反向模型结果相加得到的反向插值结果；
[0032]进行指数操作得到插值数据。
[0033]优选的，正向插值权重如下：
[0034][0035]反向插值权重如下：
[0036][0037]其中，t表示插值时间点，L表示海洋观测缺失时间长度，，。
[0038]另一方面，一种浮标时间序列数据缺失值的插补系统，包括：
[0039]海洋观测时间序列数据获取模块，用于获取浮标采集的带有缺失值的海洋观测时间序列数据；所述带有缺失值的海洋观测时间序列数据为以一定采样频率得到等时间间隔的数据，数据中存在缺失时间段；
[0040]对数处理模块，用于将所述海洋观测时间序列数据取对数获得处理后的海洋观测时间序列数据；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种浮标时间序列数据缺失值的插补方法，其特征在于，包括：S1，获取浮标采集的带有缺失值的海洋观测时间序列数据；所述带有缺失值的海洋观测时间序列数据为以一定采样频率得到等时间间隔的数据，数据中存在缺失时间段；S2，将所述海洋观测时间序列数据取对数获得处理后的海洋观测时间序列数据；S3，利用Mann
‑
Kendall 检验，根据缺失的时间段确定参与插补的数据或预先选择参与插补的数据；所述参与插补的数据包括缺失值的前段数据和后段数据，且所述参与插补的数据为对数处理后的海洋观测时间序列数据；S4，将所述前段数据和后段数据利用母小波进行小波分解得到分量；S5，根据预设的时间步长，将得到的分量各自以顺时间方向和反时间方向处理得到正向数据组和反向数据组；S6，利用长短期记忆网络模型，将每个分量的正向数据组和反向数据组都按照预设比例分成训练集和验证集，并按照设定的训练参数训练得到正向模型和反向模型；S7，利用正向模型和反向模型分别对缺失时间段进行一一插值，插值得到的数据会加入下一时刻插补时的时间向量，直到整个缺失时间段插补完整；S8，将正向模型得到的结果相加并进行指数运算得到正向插值结果，将反向模型结果相加并进行指数运算得到反向插值结果，将正向插值结果和反向插值结果分别乘以对应的权值得到插值结果。2.根据权利要求1所述的浮标时间序列数据缺失值的插补方法，其特征在于，所述S3，具体包括：对缺失时间段的前f天进行MK检验获得曲线图，对缺失时间段的后b天进行MK检验获得曲线图，f和b为提前选定天数，和为根据时间序列计算得到统计量序列；对于包括n个样本的海洋观测时间序列X=(，构造秩序列，其中 ，秩序列为第i个时刻数值大于j个时刻时，数值个数的累加；在时间序列为随机的假设下，定义统计量在时间序列为随机的假设下，定义统计量, 其中，，和分别是的均值和方差，且相互独立时，它们具有相同连续分布，可以由下式推算出： , ；再按海洋观测时间序列X的逆序（），重复上述过程，令，得到， ；当和超过显著性水平后，两者若出现交点且交点在根据显著性水平得到的临界线内，则交点为海洋观测数据趋势突变点，交点对应时刻便是突变开始时间；从距离缺失时间段最近时刻开始寻找突变点，确认为突变点后继续寻找突变后趋势明显的时刻，接着判断所找时刻与缺失时间段是否相距预设天数m以上，若是，则确定为所需海洋观测时间序列的突变时刻；若不是，则继续寻找；如果在前f天内找到满足要求的时刻，则选择距离缺失时间段前f天至缺失值开始时刻之间的数据作为前段数据，如果在前f天内找不到满足要求的时刻，则选择距离缺失时间段
前m天的至缺失值开始时刻之间的数据作为前段数据；如果在后b天内找到满足要求的时刻，则选择缺失值结束时刻至缺失时间段后b天之间的数据作为后段数据，如果在后b天内找不到满足要求的时刻，则选择缺失值结束时刻至缺失时间段后m天之间的数据作为后段数据。3.根据权利要求1所述的浮标时间序列数据缺失值的插补方法，其特征在于，所述S4之后还包括：分别对所有分量分别进行归一化处理，归一化公式为；其中，表示归一化后的海洋观测时间序列数据；X为获得的海洋观测时间序列数据小波分解后得到的分量；表示海洋观测时间序列数...

【专利技术属性】
技术研发人员：张彩云，林晨旭，
申请(专利权)人：厦门大学，
类型：发明
国别省市：