一种面向连续帧的双流云图预测方法、存储介质及设备技术

本发明专利技术涉及云图预测领域，特别是涉及一种面向连续帧的双流云图预测方法、存储介质及设备。包括对多个3D特征图进行三维特征融合处理，生成初始三维融合特征F1。对多个2D特征图进行二维特征融合处理，生成初始二维融合特征F2。将F1及F2进行域间特征融合处理，生成目标融合预测特征。并进行解码处理，生成云图的预测图像。本发明专利技术可以将目标3D云图及目标2D云图中的低层级中的特征与高层级中的特征进行融合，以得到具有更加丰富信息的F1及F2。然后再通过域间特征融合由此，可以将2D支路与3D支路中获得的信息进行进一步的挖掘与融合，以保证目标融合预测特征具有更加丰富的特征信息，以提高对云预测的精度。提高对云预测的精度。提高对云预测的精度。

【技术实现步骤摘要】
一种面向连续帧的双流云图预测方法、存储介质及设备


[0001]本专利技术涉及云图预测领域，特别是涉及一种面向连续帧的双流云图预测方法、存储介质及设备。

技术介绍

[0002]预测云的形成和发展是现代天气预报系统的核心要素。由于云团在地球气候系统中的内在作用，错误的云预报可能导致天气预报的总体准确性存在重大的不确定性。
[0003]现有的基于深度学习的方法，因为卷积核感受野的限制，需要通过连续多次的降采样处理来扩大感受野并获取高层语义信息。但同样由于降采样倍数过多，会导致一些较为细致的弱小信息被丢失，对需要高分辨率信息的云预测任务来说不友好，会导致最终的预测精度降低。
[0004]同时云图的预测属于对时序图像预测，现有的预测方法中，对图像帧内(静态)和不同时序图像帧间(动态)的信息的挖掘使用不够充分，由此导致对云预测的精度较低。

技术实现思路

[0005]针对上述技术问题，本专利技术采用的技术方案为：
[0006]根据本专利技术的一个方面，提供了一种面向连续帧的双流云图预测方法，方法包括如下步骤：
[0007]获取目标3D云图。目标3D云图为目标云团变化的多帧连续图像。
[0008]获取目标2D云图。目标2D云图为目标3D云图中的最后一帧图像。
[0009]使用三维卷积对目标3D云图进行三维特征提取处理，生成多个3D特征图A1，A2，
…
，Ai，
…
，Az。三维特征提取处理包括z个串行连接的特征提取层。每一特征提取层生成一个对应的3D特征图。其中，Ai为第i个特征提取层对应生成的3D特征图。i＝1,2,3，
…
，z。
[0010]其中，三维特征提取处理中的第一个特征提取层用于采用(1,1,5)、(1,5,1)和(3,1,1)尺寸的一维卷积核依次对目标3D云图进行多次重复卷积操作。其中，一维卷积核中的数值依次表示卷积核的时序深度、卷积核长度及卷积核宽度。A1的数据维度与目标3D云图的相同。从A2到Az的特征图尺寸依次缩小2倍。
[0011]使用二维卷积对目标2D云图进行二维特征提取处理，生成多个2D特征图B1，B2，
…
，Bn，
…
，By。二维特征提取处理包括y个串行连接的特征提取层。每一特征提取层生成一个对应的2D特征图。其中，Bn为第n个特征提取层对应生成的2D特征图。n＝1,2,3，
…
，y。
[0012]其中，B1的数据维度与目标2D云图的数据维度相同。从B2到By的特征图尺寸依次缩小2倍。
[0013]对多个3D特征图进行三维特征融合处理，生成初始三维融合特征F1。三维特征融合处理用于将多个特征提取层的3D特征图进行融合。
[0014]对多个2D特征图进行二维特征融合处理，生成初始二维融合特征F2。二维特征融合处理用于将多个特征提取层的2D特征图进行融合。初始三维融合特征与初始二维融合特
征具有相同的数据维度。
[0015]将F1及F2进行域间特征融合处理，生成目标融合预测特征。
[0016]对目标融合预测特征进行解码处理，生成云图的预测图像。
[0017]根据本专利技术的第二个方面，提供了一种非瞬时性计算机可读存储介质，非瞬时性计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的一种面向连续帧的双流云图预测方法。
[0018]根据本专利技术的第三个方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种面向连续帧的双流云图预测方法。
[0019]本专利技术至少具有以下有益效果：
[0020]本专利技术中，对目标3D云图及目标2D云图进行特征提取。然后，再对提取到的多个3D特征图进行三维特征融合处理。以将具有不同层级得到的3D特征图进行融合，由此，使得该3D支路可以充分捕获连续帧之间的时序依赖信息。同理，对提取到的多个2D特征图进行二维特征融合处理。以将具有不同层级得到的2D特征图进行融合，由此，使得该2D支路可以充分学习帧内的静态云特征信息。由上述3D支路帧与2D支路分别进行的域内特征融合，可以实现云图帧内和帧间的多层级多阶段自适应特征融合。然后再通过将F1及F2进行域间特征融合处理，来生成目标融合预测特征。
[0021]通过上述融合处理，可以将目标3D云图及目标2D云图中对应的低层级中存在的弱小目标的细节信息的特征，与高层级中存在的高级语义信息特征进行融合，以得到具有更加丰富信息的F1及F2。然后再通过域间特征融合由此，可以将2D支路与3D支路中获得的信息进行进一步的挖掘与融合，以保证得到的目标融合预测特征具有更加丰富的特征信息，进而可以满足云预测任务对高分辨率特征信息的要求，以提高对云预测的精度。
[0022]同时，在对目标3D云图及目标2D云图进行特征提取时，均在第一个特征提取阶段不进行降采样，由此减少了降采样的次数，可以进一步避免弱小信息丢失，进而提高了获得的特征信息的分辨率。
[0023]另外，由于目标3D云图在进行特征提取时，现有的三维卷积方法使用的卷积核在进行计算时，计算量较大，对计算资源要求较高，本专利技术在三维特征提取处理中的第一个特征提取层用于采用(1,1,5)、(1,5,1)和(3,1,1)尺寸的一维卷积核依次对目标3D云图进行多次重复卷积操作。通过将卷积核的形式调整为一维卷积核，可以大大降低在进行特征提取时的计算量，进而降低了对计算资源的要求。
附图说明
[0024]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1为本专利技术实施例提供的......流程图。
具体实施方式
[0026]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0027]根据本专利技术的一个方面，如图1所示，提供了一种面向连续帧的双流云图预测方法，该方法包括如下步骤：
[0028]S100：获取目标3D云图。目标3D云图为目标云团变化的多帧连续图像。
[0029]S200：获取目标2D云图。目标2D云图为目标3D云图中的最后一帧图像。
[0030]目标3D云图可以为某一云团的变化视频中的连续多帧图像。例如可以取在时间维度上连续的3帧图像作为目标3D云图。同时获取目标3D云图中的最后一帧图像作为目标2D云图。
[0031]本专利技术中，通过2D支路中获得的特征，可以更好的感受表示当前帧内的空间特征。然后通过3D支路获得的特征，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向连续帧的双流云图预测方法，其特征在于，所述方法包括如下步骤：获取目标3D云图；所述目标3D云图为目标云团变化的多帧连续图像；获取目标2D云图；所述目标2D云图为所述目标3D云图中的最后一帧图像；使用三维卷积对所述目标3D云图进行三维特征提取处理，生成多个3D特征图A1，A2，
…
，Ai，
…
，Az；所述三维特征提取处理包括z个串行连接的特征提取层；每一特征提取层生成一个对应的3D特征图；其中，Ai为第i个特征提取层对应生成的3D特征图；i＝1,2,3，
…
，z；其中，三维特征提取处理中的第一个特征提取层用于采用(1,1,5)、(1,5,1)和(3,1,1)尺寸的一维卷积核依次对所述目标3D云图进行多次重复卷积操作；其中，所述一维卷积核中的数值依次表示卷积核的时序深度、卷积核长度及卷积核宽度；A1的数据维度与所述目标3D云图的相同；从A2到Az的特征图尺寸依次缩小2倍；使用二维卷积对所述目标2D云图进行二维特征提取处理，生成多个2D特征图B1，B2，
…
，Bn，
…
，By；所述二维特征提取处理包括y个串行连接的特征提取层；每一特征提取层生成一个对应的2D特征图；其中，Bn为第n个特征提取层对应生成的2D特征图；n＝1,2,3，
…
，y；其中，B1的数据维度与所述目标2D云图的数据维度相同；从B2到By的特征图尺寸依次缩小2倍；对多个3D特征图进行三维特征融合处理，生成初始三维融合特征F1；所述三维特征融合处理用于将多个所述特征提取层的3D特征图进行融合；对多个2D特征图进行二维特征融合处理，生成初始二维融合特征F2；所述二维特征融合处理用于将多个所述特征提取层的2D特征图进行融合；所述初始三维融合特征与所述初始二维融合特征具有相同的数据维度；将F1及F2进行域间特征融合处理，生成目标融合预测特征；对所述目标融合预测特征进行解码处理，生成云图的预测图像。2.根据权利要求1所述的方法，其特征在于，z＝y＝4。3.根据权利要求2所述的方法，其特征在于，对多个3D特征图进行三维特征融合处理，生成初始三维融合特征F1，包括：对A1及A2进行层间特征融合处理，生成第一子融合特征C1；对A3及A4进行层间特征融合处理，生成第二子融合特征C2；对C1及C2进行层间特征融合处理，生成F1；所述层间特征融合处理用于将相邻层的两个特征进行融合。4.根据权利要求2所述的方法，其特征在于，对多个2D特征图进行二维特征融合处理，生成初始二维融合特征F2，包括：对B1及B2进行层间特征融合处理，生成第三子融合特征C3；对B3及B4进行层间特征融合处理，生成第四子融合特征C4；对C3及C4进行层间特征融合处理，生成F2；所述层间特征融合处...

【专利技术属性】
技术研发人员：于泓峰，刘成龙，刘小煜，杨阿华，邓楚博，郝凌翔，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：