【技术实现步骤摘要】
本专利技术涉及数据处理，具体而言，尤其涉及一种海上气象预报系统中的缺失数据填补方法及系统。
技术介绍
1、随着硬件设备的不断升级以及物联网的快速发展，近些年来各地成立很多大数据局，相关研究也日益兴起。对于海上气象数据的研究逐渐以数据为主，面对实时大量无线传感器传递而来的海上气象信息数据流，是现阶段研究的主要手段。海上气象预测可以分为天气预报和气候预测。天气预报通常预测较短一段时间内大气状态的变化，而气候预测则展望未来某一时期内气候发展的可能趋势。海上气象预测的基础是海上气象观测和分析。通过利用海上气象观测设备如气象站、雷达、卫星等，收集并记录温度、湿度、气压、风向风速、降水等海上气象要素的数值。然后，通过对观测记录的分析，可以了解和掌握大气系统的演变和变化规律。这些数据可以用来分析海上气象现象的变化规律，从而预测未来的天气情况。此外，海上气象预测还需要利用海上气象学知识，包括海上气象观测技术、海上气象数据分析方法等，以更准确地预测未来的天气状况。
2、区别于传统的静态数据，海上气象数据流具有如下四个特点：1)时空性：海上气象数据具有时间和空间性，数据随时间和空间而变化。这使得海上气象数据的可视化展示具有其独特的挑战性；2)数据分布即数据间相关关系均随时间动态变化；3)数据量大：海上气象数据涉及大量数据，无法预知最大值；4)数据一经处理，除非特意保存，否则不能被再次取出处理。
3、目前，现有的缺失值填补算法在处理数据流时具有如下限制：1)许多缺失值填补算法需要一定的时间来分析和填补数据。在处理实时数据流时，
技术实现思路
1、针对现有技术存在的问题，而提供一种海上气象预报系统中的缺失数据填补方法及系统，由于海上气象数据丰富多样，考虑到数据的稀疏性、异构性和流特性，提出了一种高效的填补模型增量更新方法，解决了已有数据填补方法无法适应实时海上气象数据流的问题，实现对海上气象数据流缺失值的填补，并为上层数据分析提供良好的数据基础。
2、本专利技术采用的技术手段如下：
3、一种海上气象预报系统中的缺失数据填补方法，包括如下步骤：
4、步骤1：数据实时获取，给定传感器网络检测区域内的n个数据源根据选中的数据源，将通过传感器获取到的数据传送的服务器端，获取到实时数据集；
5、步骤2：元学习训练初始化参数，将元学习算法中的网络设置成与oselm模型的神经网络相同设置，查询相似回归任务中完整的数据元组，选取现有与实时数据集相同种类的数据集作为元学习过程的训练数据，得到初始化参数w1,b1；
6、步骤3：利用实时数据集建立oselm模型，oselm模型利用缺失数据集中完整的属性值计算缺失值；用每一时刻的实时数据集中的完整数据对oselm模型进行增量更新，对每个时刻实时数据集中的缺失数组进行填补，得到训练后的a模型和a模型生成的初始数据流；
7、步骤4：概念漂移检测，基于a模型使用漂移检测窗口d内的数据块建立b模型，得到b模型后，通过a,b模型的输出权重差异进行漂移值计算并与规定的阈值比较，判断是否发生概念漂移，若发生概念漂移则重新进入初始化阶段，重新执行步骤3，并使用概念漂移后的第一个t时刻数据对a模型进行初始化，检测过后在规定条件时，对规定的阈值更新，更新后的阈值用于步骤3的检测，输出最终数据流；
8、步骤5：查询完整数据流，基于步骤4填补完成的最终数据流，得到的完整数据流。
9、进一步地，步骤1具体包括如下步骤：
10、步骤1-1：t时刻，对来自n个数据源的历史数据进行数据整合，并将其作为当前时刻的数据集；
11、步骤1-2：基于步骤1-1获取到的数据集st，进行属性划分，属性am为缺失属性，其余属性f＝{a1,a2,...,am-1}为完整属性；
12、步骤1-3：将数据集st分类为缺失数据集和完整数据集两部分，缺失数据集由t时刻到达的缺失数据元组组成，完整数据集由t时刻到达的完整数据元组组成。
13、进一步地，步骤2具体包括如下步骤：
14、步骤2-1：现有与实时数据流相同种类的数据集为s，从数据集s中随机抽取400万个数据块，每个数据块包含100个数据项，组成训练集strain＝{s1,s2,....sn}(0<n≤4×106)，每个数据项代表某个时刻观测值，代表一个任务，组成任务p(τ)；
15、步骤2-2：随机初始化元学习算法的参数θ；
16、步骤2-3：从p(τ)中取出任务τ1，作为元学习算法内层优化的支持集，进入内层优化，根据当前初始化的θ值，评估梯度变化，然后进行一步更新，得到更新后的θ'值；
17、步骤2-4：从p(τ)中取出其他任务τ2，作为元学习外层优化的查询集，然后根据更新后的θ'，在查询集中计算loss值，最后根据所有任务的loss值之和来进行更新θ值情况；
18、步骤2-5：将步骤2-4更新后的训练参数θ保存，得到训练参数θ的输入参数，即初始化参数w1,b1。
19、进一步地，步骤3具体包括如下步骤：
20、步骤3-1：对缺失数据集和完整数据集进行归一化处理操作，将数据缩小到(0,1)范围内；
21、步骤3-2：建立oselm模型，使用最初t时刻读入的数据块进行对oselm模型初始化；
22、步骤3-3：增量更新oselm模型，每个t时刻，在t-1时刻模型上使用该t时刻新数据对oselm模型进行增量更新。
23、进一步地，所述oselm模型包括输入层、隐藏层和输出层；步骤3-2具体包括如下步骤：
24、步骤3-2-1：计算隐藏层输出矩阵h0，公式如下：
25、
26、其中，n0为数据块中的数据项个数；
27、步骤3-2-2：计算输出权重β(0)，公式如下：
28、
29、β(0)＝(k0)-1h0tt0 (3)
30、其中，输入层矩阵为xi，输入权重为wi，偏置为bi，隐藏层节点数为l，激活函数为g，正则化系数为c，目标矩阵为ti；
31、步骤3-2-3：初始化阶段参数：
32、xi为输入数据，大小为n×d的矩阵，n代表是样本数，d代表是特征数，h隐藏层输出矩阵，大小为n×l的矩阵，输入权重为w1，大小为d×l的矩阵，输入偏置bi，大小为l的一维数组。
33、进一步地，步骤3-3具体包括如下步骤：
34、对ti时刻样本计算隐含层输出矩阵hi；<本文档来自技高网...
【技术保护点】
1.一种海上气象预报系统中的缺失数据填补方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的海上气象预报系统中的缺失数据填补方法，其特征在于，步骤1具体包括如下步骤：
3.根据权利要求1所述的海上气象预报系统中的缺失数据填补方法，其特征在于，步骤2具体包括如下步骤：
4.根据权利要求1所述的海上气象预报系统中的缺失数据填补方法，其特征在于，步骤3具体包括如下步骤：
5.根据权利要求4所述的海上气象预报系统中的缺失数据填补方法，其特征在于，所述OSELM模型包括输入层、隐藏层和输出层；步骤3-2具体包括如下步骤：
6.根据权利要求4所述的海上气象预报系统中的缺失数据填补方法，其特征在于，步骤3-3具体包括如下步骤：
7.根据权利要求1所述的海上气象预报系统中的缺失数据填补方法，其特征在于，步骤4具体包括如下步骤：
8.根据权利要求7所述的海上气象预报系统中的缺失数据填补方法，其特征在于，步骤4-5中，当发生概念漂移后，采用冷却期机制，防止阈值更新频繁，包括如下步骤：
9.一种海上气
...【技术特征摘要】
1.一种海上气象预报系统中的缺失数据填补方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的海上气象预报系统中的缺失数据填补方法，其特征在于，步骤1具体包括如下步骤：
3.根据权利要求1所述的海上气象预报系统中的缺失数据填补方法，其特征在于，步骤2具体包括如下步骤：
4.根据权利要求1所述的海上气象预报系统中的缺失数据填补方法，其特征在于，步骤3具体包括如下步骤：
5.根据权利要求4所述的海上气象预报系统中的缺失数据填补方法，其特征在于，所述oselm模型包括输入层、隐藏层和输出层；步骤3-2具体包括如...
【专利技术属性】
技术研发人员：马茜，梁钰钊，白梅，王习特，宁博，李冠宇，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。