一种基于制造技术

本发明专利技术公开了一种基于

【技术实现步骤摘要】
一种基于Diffusion和ViT的降尺度方法


[0001]本专利技术涉及气象预报
，具体涉及一种基于
Diffusion
和
ViT
的降尺度方法
。

技术介绍

[0002]传统统计降尺度方法多数是基于线性框架的模型，难以处理复杂且高维的气象场数据和表征大气非线性动力过程
。
深度学习的兴起为表征学习如气象要素场之类的
、
高维且强非线性的复杂数据提供了新的方向
。
通过利用高效的空间特征提取模块，提取高维空间数据的关键信息，建立低分辨率输入到高分辨率输出的统计模型，深度学习模型能够有效地应用于图片去噪
、
提高图片分辨率等场景，而此类方法一般被称为“超分辨率”模型
。
但如何将其高效地迁移到气象学的降尺度问题，同时进一步提高模型的计算效率与预报准确率，仍需要进一步的研究与探索
。

技术实现思路

[0003]专利技术目的：本专利技术的目的是提供一种基于
Diffusion
和
ViT
的降尺度方法以解决数值模式降水预报空间分辨率不足
、
预报误差大的问题
。
[0004]技术方案：本专利技术所述的一种基于
Diffusion
和
ViT
的降尺度方法，包括以下步骤：
S1
：建立低分辨率数值模式降水预报与高分辨率降水观测样本，并进行预处理；
S2r/>：构建
Diffusion
‑
Vision
‑
Transformer
降水预报模型；包括以下步骤：
S21
：在
Diffusion
模型中对高分辨率降水观测样本进行前向加噪；
S22
：利用
Vision
‑
Transformer
模型提取低分辨率数值模式降水预报的高阶空间特征；
S23
：在
Diffusion
模型中对步骤
S21
得到的结果进行去噪，并引入步骤
S22
得到的高阶空间特征作为条件信息，得到降尺度后的高分辨率降水预报；
S3
：训练模型，直至
Diffusion
‑
Vision
‑
Transformer
的误差收敛，保存模型并进行预测
。
[0005]进一步的，所述步骤
S1
中，预处理包括：对数据集进行对数化
、
归一化的操作
。
[0006]进一步的，所述步骤
S21
具体过程如下：设某一时刻预处理后的高分辨率降水观测样本，分
T
次逐步对原始观测添加高斯噪声
,
得到
;
则第
t
时刻的数据分布前一时刻公式如下：；其中，是预设的常数超参数，范围在0和1之间；
最后第
t
时刻的数据分布可以由第0时刻的数据分布得到，公式如下：；其中，，且对于，则
。
[0007]进一步的，所述
S22
具体如下：输入配对的高分辨率降水观测样本和低分辨率数值模式降水预报，并确定前向加噪的步数
T,
以及所加随机高斯噪声的方差超参数
。
[0008]进一步的，所述步骤
S23
包括以下步骤：
S231
：将低分辨率数值模式降水预报分割为若干个图块，然后对分割的图块进行进行线性映射；
S232
：利用位置编码表示不同图块的位置信息，将处理后的编码信息作为
N
组自注意力模块的输入；
S233
：利用空间自注意力模块代替卷积操作
。
[0009]进一步的，所述步骤
S231
公式如下：
;
其中，为一组分割后的图块，为待训练的权重系数，为待训练的截断系数，为经过线性映射后的一组向量
。
[0010]进一步的，所述步骤
S232
位置编码为二维位置嵌入方法
。
[0011]进一步的，所述步骤
S233
具体如下：设一组分割后的图块为，利用三组权重，即查询权重
、
键值权重
、
和数值权重，将原始数据分为三个特征：查询矩阵
、
键值矩阵
、
数值矩阵；则对应的自注意力公式如下：；其中，为维度的平方根
。
[0012]进一步的，所述步骤
S3
具体如下：设经过步骤
S21
‑
S22
得到的结果为：，其中，为为步骤
S21
‑
S22
得到的模型，为低分辨率数值模式降水预报，为配对的高分辨率降水观测样本，为步骤
S21
中预设的超参数，
T
为步骤
S21
中前向加噪的步数；则步骤
S3
中
Diffusion
‑
Vision
‑
Transforme
模型的预报误差公式如下：
；其中，为随机高斯分布，则；当
Diffusion
‑
Vision
‑
Transforme
模型的预报误差收敛时，逆向推断
T
步直到得到模型预测；其中，前一步的由后一步的得到，公式如下：；其中，为为步骤
S21
‑
S22
得到的模型，为低分辨率数值模式降水预报，为步骤
S21
中预设的超参数，为随机高斯分布，则
。
[0013]本专利技术所述的一种设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现任一项所述的一种基于
Diffusion
和
ViT
的降尺度方法中的步骤
。
[0014]有益效果：与现有技术相比，本专利技术具有如下显著优点：（1）通过利用
Diffusion
模型提高降尺度预报的精细化程度，尤其在针对降尺度倍数超过4的任务中更具优势；（2）通过利用
Vision Transformer
模型代替原始
Diffusion
模型中的
U
‑
Net
结构，大幅提高模型的训练效率，减低模型用于预测的时间
。
附图说明
[0015]图1为本专利技术总流程图；图2为
Diffusion
‑
ViT
模型训练流程示意图；图3为
Diffusio本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
Diffusion
和
ViT
的降尺度方法，其特征在于，包括以下步骤：
S1
：建立低分辨率数值模式降水预报与高分辨率降水观测样本，并进行预处理；
S2
：构建
Diffusion
‑
Vision
‑
Transformer
降水预报模型；包括以下步骤：
S21
：在
Diffusion
模型中对高分辨率降水观测样本进行前向加噪；
S22
：利用
Vision
‑
Transformer
模型提取低分辨率数值模式降水预报的高阶空间特征；
S23
：在
Diffusion
模型中对步骤
S21
得到的结果进行去噪，并引入步骤
S22
得到的高阶空间特征作为条件信息，得到降尺度后的高分辨率降水预报；
S3
：训练模型，直至
Diffusion
‑
Vision
‑
Transformer
的误差收敛，保存模型并进行预测
。2.
根据权利要求1所述的一种基于
Diffusion
和
ViT
的降尺度方法，其特征在于，所述步骤
S1
中，预处理包括：对数据集进行对数化
、
归一化的操作
。3.
根据权利要求1所述的一种基于
Diffusion
和
ViT
的降尺度方法，其特征在于，所述步骤
S21
具体过程如下：设某一时刻预处理后的高分辨率降水观测样本，分
T
次逐步对原始观测添加高斯噪声
,
得到
;
则第
t
时刻的数据分布前一时刻公式如下：；其中，是预设的常数超参数，范围在0和1之间；最后第
t
时刻的数据分布可以由第0时刻的数据分布得到，公式如下：；其中，，且对于，则
。4.
根据权利要求1所述的一种基于
Diffusion
和
ViT
的降尺度方法，其特征在于，所述
S22
具体如下：输入配对的高分辨率降水观测样本和低分辨率数值模式降水预报，并确定前向加噪的步数
T,
以及所加随机高斯噪声的方差超参数
。5.
根据权利要求1所述的一种基于
Diffusion
和
ViT
的降尺度方法，其特征在于，所述步骤
S23
包括以下步骤：
S231
：将低分辨率数值模式降水预报分割为若干个图块，然后对分割的图块进行进行线性映射；
S232
：利用位置编码表示不同图...

【专利技术属性】
技术研发人员：季焱，智协飞，张永宏，卢楚翰，彭婷，张玲，王靖宇，陈超辉，吉璐莹，吕阳，朱寿鹏，
申请(专利权)人：无锡学院南京气象科技创新研究院中国人民解放军国防科技大学，
类型：发明
国别省市：