一种基于任务图卷积网络的地基云分类方法技术

本发明专利技术实施例公开了一种基于任务图卷积网络的地基云分类方法，该方法包括：对输入地基云图像进行预处理，得到预处理地基云图像，将其输入至任务图卷积网络训练模型中，训练得到任务图卷积网络；基于任务图卷积网络提取得到每幅输入地基云图像的基于卷积神经网络的特征、基于图卷积的特征和融合特征表示；根据融合特征表示训练支持向量机分类器，得到地基云分类模型；获取测试输入地基云图像的融合特征表示，将其输入至地基云分类模型中，得到分类结果。本发明专利技术具充分利用基于卷积神经网络的特征和基于图卷积网络的互补信息，有效挖掘两者的相关性，提取出更高辨别性的融合特征，进而提高地基云分类的正确率。

A method of ground-based cloud classification based on task graph convolution network

【技术实现步骤摘要】
一种基于任务图卷积网络的地基云分类方法
本专利技术属于模式识别、气象科学、人工智能
，具体涉及一种基于任务图卷积网络的地基云分类方法。
技术介绍
云是大气中的水蒸气遇冷液化成的小水滴或凝华成的小冰晶所混合组成的漂浮在空中的可见聚合物，60％以上的地球表面都覆盖有云。云在水循环、地表辐射平衡和气候建模中具有重要作用。因此，了解云具有重要意义。云高、云量和云类别是云观测的三个主要方面且近年来得到学术界的广泛关注。但是，由于云状变幻莫测，云状分类始终是一个难题。用来采集云观测数据的设备已被研发出来，这些设备包括基于卫星的设备和基于地表的设备。基于卫星的设备可以采集大范围的云信息，但空间分辨率有限，不足以描述局部地区的云状特征。与之相比，全天空成像仪、总天空成像仪等基于地面的设备能够采集到具有高分辨率的地基云图像，这为监测和了解局部天空提供了可靠的数据。得益于大量地基云图像，许多研究者提出用纹理、颜色、结构等手工设计的特征实施云状分类。近年来，深度学习在许多领域都取得了显著成果。受此启发，研究者们也开始利用卷积神经网络(CNN)对地基云进行自动分类。Shi等人将平均池化或最大池化作用于每个卷积激活图，然后提取基于卷积激活的特征并对地基云进行分类。Ye等人从卷积神经网络的多个卷积层提取特征并选择出具有代表性的局部描述子，然后用Fisher向量对选择的局部描述子进行编码，并作为地基云图的特征表示。Zhang等人提出显著二重激活聚集算法，该算法从浅层卷积层中提取显著向量特征，并从高层卷层中提取相应的权重。Li等人提出二重监督损失函数将不同网络的知识结合在一起，通过对难分类样本赋予较大的权重来提高地基云分类的准确率。然而，现存方法忽略了云图的本质数据结构，从而无法充分的学习到云图的特征表示。现有方法直接将地基云图像和相对应的标签直接输入到深度模型中，由于没有考虑到地基云图像之间的相关性，因此不能学习到云图的本质数据结构。云是一种自然纹理，内类差距大，类间差距小。因此，很有必要建立地基云图像之间的相关性，使来自同一类的云图具有较大的相关性，来自不同类的云图具有较小的相关性，进而挖掘出云图潜在的结构信息，最终学习到具有判别性的地基云特征。近年来，研究者提出用图卷积网络(GCN)学习不规则数据结构的相关性，并且已将图卷积网络成功运用于行为识别、文本分类和图像识别等领域。一般来说，图卷积网络的构建遵循基于谱的原则和基于空间的原则。基于谱的图卷积根据图傅里叶变换实施图卷积，而基于空间的图卷积网络人为设计图卷积作用于图结点和邻域上。因此，可以从空间的角度出发，利用图卷积网络将地基云图像的相关信息融入到深度学习网络中。
技术实现思路
本专利技术的目的是要解决地基云分类困难的问题，为此，本专利技术提供一种基于任务图卷积网络的地基云分类方法。所述方法包括以下步骤：步骤S1，获取输入地基云图像，对所述输入地基云图像进行预处理，得到预处理地基云图像，作为任务图卷积网络的输入；步骤S2，将所述预处理地基云图像输入至任务图卷积网络训练模型中，训练得到任务图卷积网络；步骤S3，基于所述任务图卷积网络提取得到每幅输入地基云图像的基于卷积神经网络的特征和基于图卷积的特征，以及每幅输入地基云图像的融合特征表示；步骤S4，根据所述输入地基云图像的融合特征表示训练支持向量机分类器，得到地基云分类模型；步骤S5，获取测试输入地基云图像的融合特征表示，并将其输入至所述地基云分类模型中，得到测试输入地基云图像对应的分类结果。可选地，所述步骤S1中对所述输入地基云图像进行预处理的步骤包括以下步骤：步骤S11，将所述输入地基云图像进行归一化，得到归一化图像；步骤S12，对所述归一化图像进行水平翻转，得到水平翻转图像；步骤S13，对所述水平翻转图像进行随机裁剪；步骤S14，将经随机裁剪后得到的地基云图像中的每个RGB像素值减去相应的预设RGB像素均值，得到预处理地基云图像。可选地，所述步骤S2包括以下步骤：步骤S21，构建任务图卷积网络，其中，所述任务图卷积网络包括图特征矩阵和邻接矩阵构建模块、图表示学习模块、特征融合层和分类模块；步骤S22，初始化所述任务图卷积网络中的图特征矩阵和邻接矩阵构建模块、图表示学习模块和分类模块的参数，得到所述任务图卷积网络训练模型；步骤S23，将所述预处理地基云图像批量输入至所述任务图卷积网络训练模型的图特征矩阵和邻接矩阵构建模块的子网络I和子网络II中进行训练，得到所述任务图卷积网络。可选地，所述步骤S21包括以下步骤：步骤211，构建所述图特征矩阵和邻接矩阵构建模块中的子网络I和子网络II，将所述预处理地基云图像输入至所述子网络I和子网络II中，学习得到所述预处理地基云图像的深度特征，其中，所述子网络I学习得到的深度特征为所述预处理地基云图像基于卷积神经网络的特征，其作为所述特征融合层的一个输入，同时还用于构建图特征矩阵X，所述图特征矩阵为所述图表示学习模块图的一个输入；所述子网络II学习得到的深度特征用于构建邻接矩阵A，所述邻接矩阵为所述图表示学习模块图的另一个输入；步骤212，基于所述图特征矩阵X和邻接矩阵A构建图表示学习模块中的图与图卷积层，并基于所述图表示学习模块学习得到所述预处理地基云图像的基于图卷积的特征；步骤213，将得到的所述预处理地基云图像的基于卷积神经网络的特征和基于图卷积的特征输入至所述特征融合层中，得到所述预处理地基云图像的融合特征；步骤214，构建分类模块，其中，所述分类模块包括两个全连接层和损失函数。可选地，所述子网络I是一个残差网络，其包括五层卷积层，其中，第一个卷积层后连接一个最大池化层，最后一个卷积层后连接一个平均池化层；所述子网络II也是一个残差网络，其在子网络I结构的基础上附加设置有两个全连接层，第一个全连接层的后面还设置有一个泄露修正线性单元。可选地，构建的图表示学习模块中的图G＝(V,E)是无向全连接图，其中，V是由N个结点组成的结点集合，E是结点之间连接边的集合；构建的图表示学习模块中的图卷积层有Z层。可选地，所述特征融合层采用串联的融合方式融合所述预处理地基云图像的基于卷积神经网络的特征和基于图卷积的特征。可选地，所述步骤S23中，还利用随机梯度下降法对所述任务图卷积网络进行优化。可选地，所述步骤S3包括以下步骤：步骤S31，将所述输入地基云图像批量输入至训练得到的任务图卷积网络中；步骤S32，提取所述任务图卷积网络中特征融合层的输出作为所述输入地基云图像的融合特征表示。可选地，所述步骤S4具体为：将根据步骤S3得到的每幅输入地基云图像的融合特征表示与该输入地基云图像所对应的标签分别输入到支持向量机分类器中，训练得到所述地基云分类模型。本专利技术的有益效果为：本专利技术通过任务图卷积网络将图卷积算法融入到深度学习网络中，根据地基云图像之间的相似性学习他们之间的本文档来自技高网...

【技术保护点】
1.一种基于任务图卷积网络的地基云分类方法，其特征在于，所述方法包括以下步骤：/n步骤S1，获取输入地基云图像，对所述输入地基云图像进行预处理，得到预处理地基云图像，作为任务图卷积网络的输入；/n步骤S2，将所述预处理地基云图像输入至任务图卷积网络训练模型中，训练得到任务图卷积网络；/n步骤S3，基于所述任务图卷积网络提取得到每幅输入地基云图像的基于卷积神经网络的特征和基于图卷积的特征，以及每幅输入地基云图像的融合特征表示；/n步骤S4，根据所述输入地基云图像的融合特征表示训练支持向量机分类器，得到地基云分类模型；/n步骤S5，获取测试输入地基云图像的融合特征表示，并将其输入至所述地基云分类模型中，得到测试输入地基云图像对应的分类结果。/n

【技术特征摘要】
1.一种基于任务图卷积网络的地基云分类方法，其特征在于，所述方法包括以下步骤：
步骤S1，获取输入地基云图像，对所述输入地基云图像进行预处理，得到预处理地基云图像，作为任务图卷积网络的输入；
步骤S2，将所述预处理地基云图像输入至任务图卷积网络训练模型中，训练得到任务图卷积网络；
步骤S3，基于所述任务图卷积网络提取得到每幅输入地基云图像的基于卷积神经网络的特征和基于图卷积的特征，以及每幅输入地基云图像的融合特征表示；
步骤S4，根据所述输入地基云图像的融合特征表示训练支持向量机分类器，得到地基云分类模型；
步骤S5，获取测试输入地基云图像的融合特征表示，并将其输入至所述地基云分类模型中，得到测试输入地基云图像对应的分类结果。


2.根据权利要求1所述的方法，其特征在于，所述步骤S1中对所述输入地基云图像进行预处理的步骤包括以下步骤：
步骤S11，将所述输入地基云图像进行归一化，得到归一化图像；
步骤S12，对所述归一化图像进行水平翻转，得到水平翻转图像；
步骤S13，对所述水平翻转图像进行随机裁剪；
步骤S14，将经随机裁剪后得到的地基云图像中的每个RGB像素值减去相应的预设RGB像素均值，得到预处理地基云图像。


3.根据权利要求1或2所述的方法，其特征在于，所述步骤S2包括以下步骤：
步骤S21，构建任务图卷积网络，其中，所述任务图卷积网络包括图特征矩阵和邻接矩阵构建模块、图表示学习模块、特征融合层和分类模块；
步骤S22，初始化所述任务图卷积网络中的图特征矩阵和邻接矩阵构建模块、图表示学习模块和分类模块的参数，得到所述任务图卷积网络训练模型；
步骤S23，将所述预处理地基云图像批量输入至所述任务图卷积网络训练模型的图特征矩阵和邻接矩阵构建模块的子网络I和子网络II中进行训练，得到所述任务图卷积网络。


4.根据权利要求3所述的方法，其特征在于，所述步骤S21包括以下步骤：
步骤211，构建所述图特征矩阵和邻接矩阵构建模块中的子网络I和子网络II，将所述预处理地基云图像输入至所述子网络I和子网络II中，学习得到所述预处理地基云图像的深度特征，其中，所述子网络I学习得到的深度特征为所述预处理地基云...

【专利技术属性】
技术研发人员：刘爽，李梅，张重，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：天津;12