基于多模态数据的云图分类方法技术

本申请实施例公开了一种基于多模态数据的云图分类方法，包括：获取多模态数据，所述多模态数据包括图像数据和数值数据；对所述图像数据进行预处理，以去除所述图像数据中的噪声并进行数据增强；用注意力引导的胶囊网络对预处理后的所、述图像数据进行特征提取；将所述胶囊网络提取的特征与所述数值数据进行融合；对融合后的数据进行处理，得到分类结果。本申请实施例的方法能够提高分类的准确性。请实施例的方法能够提高分类的准确性。请实施例的方法能够提高分类的准确性。

【技术实现步骤摘要】
基于多模态数据的云图分类方法


[0001]本申请涉及计算机
，具体涉及一种基于多模态数据的云图分类方法。

技术介绍

[0002]卫星云图的观测在气象领域十分重要，密切关系到人类生活和农业生产。而对卫星云图的分类一直都是研究热点，但由于光谱、空间、时间和辐射分辨率以及人类活动等影响，限制了复杂环境中的预测精度。把温度、湿度、气压、风速等因素纳入建模之中，形成更加详细完备的信息，结合云的视觉信息和其他环境信息共同形成了多模态数据，利用多模态数据将有利于增强云图分类的准确性，但多模态数据的神经网络缺乏训练样本，泛化性能低，易于出现过拟合，进而导致云分类准确率不高。

技术实现思路

[0003]本申请实施例提供了一种基于多模态数据的云图分类方法，能够提高云图分类的准确性。
[0004]第一方面，本申请实施例提供了一种基于多模态数据的云图分类方法，包括：
[0005]获取多模态数据，所述多模态数据包括图像数据和数值数据；
[0006]对所述图像数据进行预处理，以去除所述图像数据中的噪声并进行数据增强；
[0007]用注意力引导的胶囊网络对预处理后的所述图像数据进行特征提取；
[0008]将所述胶囊网络提取的特征与所述数值数据进行融合；
[0009]用支持向量机对融合后的数据进行处理，得到分类结果。
[0010]可选实施例中，对所述图像数据进行预处理包括：采用中值滤波(Median filtering，MF)法对所述图像数据进行降噪和增强。
[0011]可选实施例中，采用中值滤波法对所述图像数据进行降噪和增强，包括：
[0012]用二维滑动模板遍历所述图像数据，将所述二维滑动模板内的像素按照像素值的大小进行排序，生成单调上升或下降的二维数据序列，将所述二维数据序列的中值作为所述二维滑动模板内原始图像数据的中间位置的像素。
[0013]可选实施例中，所述注意力引导，包括：
[0014]计算特征间的相似性；
[0015]用Softmax归一化处理；
[0016]分权求和。
[0017]可选实施例中，胶囊神经网络的输出胶囊由非线性压扁函数计算:
[0018][0019]式中，v
j
表示胶囊j的向量输出，s
j
表示胶囊j的总体输入。
[0020]可选实施例中，胶囊j的总体输入s
j
是通过使用权重矩阵w
ij
乘以其上层胶囊i的输
出u
i
来获得，公式如下：
[0021]s
j
＝∑c
ij
w
ij
u
i
[0022]w
ij
表示下层中胶囊的每个预测向量的加权量，c
ij
表示胶囊j与其上一层胶囊i的耦合系数。
[0023]可选实施例中，耦合系数通过如下公式得到：
[0024][0025]其中b
ij
为胶囊i应该耦合到胶囊j的对应先验概率，b
ik
表示胶囊i应该耦合到胶囊k的对应先验概率，输出向量的长度代表预测的可能性。
[0026]可选实施例中，每胶囊的单个边际损失L
k
,k表示第k类是否存在，如下
[0027]L
k
＝T
k
max(0,m
+
‑
‖v
k
‖2)+λ(1
‑
T
k
)max(0,‖v
k
‖
‑
m
‑
)2[0028]其中T
k
，m
+
，m
‑
默认为三个自由变量，λ为能够降低损失的权重。
[0029]可选实施例中，使用全连接层和Softmax分类器，得到分类结果；或者，用支持向量机对融合后的数据进行处理，得到分类结果。
[0030]可选实施例中，用支持向量机对融合后的数据进行处理，得到分类结果，包括：计算空间上间隔最大化的超平面，公式如下：
[0031][0032]其中，x
i
代表支持向量，a
i
代表支持向量的权重，y代表未分类的向量，b为偏值常量，K(x
i
,y)是核函数。
[0033]第二方面，本申请实施例提供了一种基云图分类装置，包括：
[0034]获取模块，其用于获取多模态数据，所述多模态数据包括图像数据和数值数据；
[0035]预处理模块，其用于对所述图像数据进行预处理，以去除所述图像数据中的噪声并进行数据增强；
[0036]提取模块，其用注意力引导的胶囊网络对预处理后的所述图像数据进行特征提取；
[0037]融合模块，其用于将所述胶囊网络提取的特征与所述数值数据进行融合；
[0038]分类模块，其用于对融合后的数据进行处理，得到分类结果。
[0039]第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的方法。
[0040]第四方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。
[0041]本申请实施例的基于多模态生成式对抗网络的基于多模态数据的云图分类方法中，用注意力机制对胶囊神经网络进行引导，最后将提取的特征与其他模态特征融合，解决了特征聚合过程中的确定性传播所导致的节点相似性破坏和节点对邻域依赖性高的问题,提高了云分类准确率。
附图说明
[0042]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]图1示出本申请实施例的基于多模态数据的云图分类方法的流程示意图；
[0044]图2示出本申请实施例的云图分类装置的结构示意图；
[0045]图3示出本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0046]为了使本
的人员更好地理解本申请方案，下面将对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0047]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据的云图分类方法，其特征在于，包括：获取多模态数据，所述多模态数据包括图像数据和数值数据；对所述图像数据进行预处理，以去除所述图像数据中的噪声并进行数据增强；用注意力引导的胶囊网络对预处理后的所述图像数据进行特征提取；将所述胶囊网络提取的特征与所述数值数据进行融合；对融合后的数据进行处理，得到分类结果。2.根据权利要求1所述的方法，其特征在于，对所述图像数据进行预处理包括：采用中值滤波法对所述图像数据进行降噪和增强。3.根据权利要求2所述的方法，其特征在于，采用中值滤波法对所述图像数据进行降噪和增强，包括：用二维滑动模板遍历所述图像数据，将所述二维滑动模板内的像素按照像素值的大小进行排序，生成单调上升或下降的二维数据序列，将所述二维数据序列的中值作为所述二维滑动模板内原始图像数据的中间位置的像素。4.根据权利要求1所述的方法，其特征在于，所述注意力引导，包括：计算特征间的相似性；用Softmax归一化处理；分权求和。5.根据权利要求1所述的方法，其特征在于，所述胶囊网络的输出胶囊由非线性压扁函数计算:式中，v
j
表示胶囊j的向量输出，s
j
表示表示胶囊j的总体输入。6.根据权利要求5所述的方法，其特征在于，胶囊j的总体输入s
j
是通过使用权重矩阵w
ij
乘以上层胶囊i的输出u
i
来获得，公式如下：w
ij
表示下层中胶囊的每个预测向量的加权量，c
...

【专利技术属性】
技术研发人员：李宇航，曹如意，刘雨微，曹玲娟，
申请(专利权)人：北京恒智数科科技有限公司，
类型：发明
国别省市：