【技术实现步骤摘要】
本专利技术涉及气象数据处理技术，特别涉及基于spark-cassandra框架的de-doa改进rrdbnet降水数据降尺度方法。
技术介绍
1、对气象数据进行降尺度是为了将大尺度的数据转换为更小尺度的数据，即低分辨率转换为高分辨率，以提供更精细的时空分布信息，这有助于满足各种应用需求，提高预测和模拟的准确性，以及适应不同尺度的气象和气候分析。
2、传统的气象降尺度方法主要包括以下三种：动力降尺度、统计降尺度以及动力和统计相结合的降尺度方法，其中动力降尺度是建立在系统的大气热力动力学方程基础之上，基于全球气候模式提供的初始和侧边界条件，通过动力学方程之间的关系，推导得到的具有更高分辨率的气候变化情景。统计降尺度方法通过建立历史阶段气候模式的网格输出变量与站点或区域观测变量之间的统计模型，并将该统计关系应用到未来的气候模拟输出中，从而得到站点或区域尺度的未来气候要素系列，主要是转换函数法、天气分型法和天气发生器法等。动力和统计降尺度相结合的方法，是先基于全球气候模式生成侧边界条件，通过一套热力动力学方程生成区域尺度的气候变量，再使用统计降尺度技术产生站点或区域的气候变化情景，该方法在一定程度上兼顾了动力降尺度和统计降尺度的优点，但实质上只是两种方法的拼接，在气候变化评估的实际应用中存在局限。
3、传统的气象降尺度方法难以有效地捕捉气象数据包含的复杂的时空关系和非线性模式，从而限制了其预测性能，并且伴有计算效率低、过于依赖物理模型、泛化能力有限、特征工程复杂等缺点。越来越多的深度学习方法被应用于气象数据的降尺
技术实现思路
1、专利技术目的：针对以上问题，本专利技术目的是提供一种基于spark-cassandra框架的de-doa改进rrdbnet降水数据降尺度方法。
2、技术方案：本专利技术的基于spark-cassandra框架的de-doa改进rrdbnet降水数据降尺度方法，包括以下步骤：
3、步骤1，获取气象数据，并对气象数据进行预处理；
4、步骤2，利用oda算法检测预处理之后气象数据的异常值，并对异常值进行map插补，将插补后的气象数据划分为训练集和测试集；
5、步骤3，构建rrdbnet模型，使用de-doa算法并利用训练集优化rrdbnet模型中的超参数；
6、步骤4，利用优化后的rrdbnet模型对降水数据进行时间和空间上的降尺度。
7、进一步，步骤1具体包括：
8、在网站上下载气象数据，包括在不同压力水平、不同时间下水平和垂直风分量、位势高度、比湿度和空气温度以及降水数据；
9、利用python中的netcdf库解析下载的气象数据，将气象数据进行标准化，使用spark-cassandra connector工具将标准化后的气象数据存入cassandra数据库。
10、进一步，步骤2中利用oda算法检测预处理之后气象数据的异常值包括以下步骤：
11、步骤201，初始化计数参数 i、 j和迭代次数 r，取值分别为 i=j=1， r=0；
12、步骤202，令 r= r+1，从cassandra数据库中提取气象数据，生成离散化数据流，从离散化数据流中随机选取 n个气象数据构成一个子集其中是包含多个气象特征的数据样本，每个数据样本包括个维度，；
13、步骤203，利用弗里德曼-迪亚康尼斯规则估计区间宽度，统计落入每个区间的数据点数量，利用数据点数量构成对应区间的直方图；其中 l表示直方图的索引， k表示直方图的个数；
14、步骤204，从全零向量开始，随机选择个特征，根据随机生成非零项构建投影向量；
15、步骤205，令 i=1，判断 j和 n的相对大小，若，跳转至步骤206；若 j＞ n，判断迭代次数 r是否达到最大值，若未达到则跳转至步骤202，若达到则跳转至步骤207；
16、步骤206，令 i= i+1，计算投影值，并用投影值更新直方图，判断 i和 k的相对大小，若，则 j= j+1，跳转至步骤205；若，重复执行步骤206；
17、步骤207，计算异常得分，将得分大于最高分95%的值标记为异常值，并结束迭代；其中异常得分的计算公式如下：
18、,
19、其中，表示投影的联合概率，假设（ a）是投影向量和上概率分布是独立的，；公式的含义是在假设（ a）成立的情况下，。
20、进一步，步骤2中对异常值进行map插补，用插补估计值替换异常值；插补估计值的计算表达式为：
21、，
22、其中，是map插补估计值， m是在查询实例中异常缺失特征值的集合，表示由 m索引的特征，是由互补集合索引的特征，是对特征进行索引的集合。
23、进一步，步骤3中构建rrdbnet模型包括：构建个空间特征提取网络和1个时间帧插值网络，其中时间帧插值网络包括个结构相同的门控网络；
24、将个不同时间帧的气象数据点分别输入至空间特征提取网络，将空间特征提取网络的所有输出特征，记为集合；其中，；将个不同时间帧的气象数据点进行通道叠加，作为输入项输入至个门控网络；
25、将门控网络的输出项乘上空间特征提取网络的输出特征，得到中间帧的输出特征，记为集合；其中；
26、将集合和集合经通道顺序叠加后的输入至卷积层、亚像素卷积、卷积层和卷积层后，输出高分辨率降水数据。
27、进一步，构建空间特征提取网络，包括：构建浅层特征提取网络，将训练集气象数据裁剪后堆叠在一起记为输入矩阵，输入至浅层特征提取网络；其中浅层特征提取网络包括依次设置的卷积层和激活函数层，激活函数层的激活函数为：
<本文档来自技高网...【技术保护点】
1.基于Spark-Cassandra框架的DE-DOA改进RRDBNet降水数据降尺度方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于Spark-Cassandra框架的DE-DOA改进RRDBNet降水数据降尺度方法，其特征在于，步骤1具体包括：
3.根据权利要求2所述的基于Spark-Cassandra框架的DE-DOA改进RRDBNet降水数据降尺度方法，其特征在于，步骤2中利用ODA算法检测预处理之后气象数据的异常值包括以下步骤：
4.根据权利要求3所述的基于Spark-Cassandra框架的DE-DOA改进RRDBNet降水数据降尺度方法，其特征在于，步骤2中对异常值进行MAP插补，用插补估计值替换异常值；插补估计值的计算表达式为：
5.根据权利要求4所述的基于Spark-Cassandra框架的DE-DOA改进RRDBNet降水数据降尺度方法，其特征在于，步骤3中构建RRDBNet模型包括：构建个空间特征提取网络和1个时间帧插值网络，其中时间帧插值网络包括个结构相同的门控网络；
6.根据权利
7.根据权利要求6所述的基于Spark-Cassandra框架的DE-DOA改进RRDBNet降水数据降尺度方法，其特征在于，RRDBNet模型的损失函数为：
8.根据权利要求7所述的基于Spark-Cassandra框架的DE-DOA改进RRDBNet降水数据降尺度方法，其特征在于，步骤3中使用DE-DOA算法并利用训练集优化RRDBNet模型中的超参数包括：
9.根据权利要求8所述的基于Spark-Cassandra框架的DE-DOA改进RRDBNet降水数据降尺度方法，其特征在于，步骤3中使用DE-DOA算法并利用训练集优化RRDBNet模型中的超参数包括如下步骤：
...【技术特征摘要】
1.基于spark-cassandra框架的de-doa改进rrdbnet降水数据降尺度方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于spark-cassandra框架的de-doa改进rrdbnet降水数据降尺度方法，其特征在于，步骤1具体包括：
3.根据权利要求2所述的基于spark-cassandra框架的de-doa改进rrdbnet降水数据降尺度方法，其特征在于，步骤2中利用oda算法检测预处理之后气象数据的异常值包括以下步骤：
4.根据权利要求3所述的基于spark-cassandra框架的de-doa改进rrdbnet降水数据降尺度方法，其特征在于，步骤2中对异常值进行map插补，用插补估计值替换异常值；插补估计值的计算表达式为：
5.根据权利要求4所述的基于spark-cassandra框架的de-doa改进rrdbnet降水数据降尺度方法，其特征在于，步骤3中构建rrdbnet模型包括：构建个空间特征提取网络和1个时间帧插值网络，其中时间帧插值网络包括个结构相同的门控...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。