一种基于显著对偶激活编码的地基云图识别方法技术

本发明专利技术实施例公开了一种基于显著对偶激活编码的地基云图识别方法，包括：将训练地基云图输入卷积神经网络，得到卷积激活图；利用浅层卷积激活图得到显著性图像局部区域，对其特征提取得到显著特征向量；获取深层卷积激活图对应的图像区域，学习对应的权重；基于显著特征向量和权重，得到训练地基云图权重显著特征向量集合，对其进行显著对偶激活编码，得到权重显著特征向量；获取测试地基云图的权重显著特征向量，对其进行分类得到识别结果。本发明专利技术利用卷积神经网络浅层和深层卷积激活图进行特征提取，挖掘显著结构和纹理信息和包含高语义信息的特征，进一步通过显著对偶激活编码，得到最具代表性的特征表示地基云图，提高了地基云图分类正确率。

【技术实现步骤摘要】
一种基于显著对偶激活编码的地基云图识别方法
本专利技术属于模式识别、人工智能
，具体涉及一种基于显著对偶激活编码的地基云图识别方法。
技术介绍
在大气科学领域，云的生成、外形特征、云量的多少等反映着大气的运动，预示着未来天气变化的重要征兆之一，在天气预报预警中起着至关重要的作用。云观测的一种重要方式就是地基云观测，地基云图自动分类对气候气象研究等具有重要的意义。目前，国内外的专家已经开展了相关领域的研究工作。Isosalo等人采用局部纹理信息，比如局部二值模式(LocalBinaryPattern，LBP)和局部边缘模式(LocalEdgePatterns，LEP)进行高积云、卷云、层云、积云和晴空等5种天空类型的判断。Calbo等人抽取傅里叶变换图像信息和图像的统计信息来描述地基云图，进行高积云、卷云、层云、积云和晴空等5种天空类型的分类。Heinle等人同时采用光谱、纹理和颜色信息描述地基云图，进行地基云图分类。Xiao等人进一步以稠密采样的方式提取纹理、结构和颜色信息进行不同天空类型的分类。Wang等人基于旋转不变的LBP(RotationInvariantLBP)，提出稳定的LBPs(TheStableLBPs)分类不同的云类型。随着卷积神经网络(ConvolutionalNeuralNetworks，CNNs)在模式识别、图像处理等领域取得的巨大成果，CNNs也开始应用于地基云图分类，并且CNNs的分类效果优于基于手工特征(hand-craftfeatures)的传统地基云图分类方法。Ye等人首次利用卷积神经网络(ConvolutionalNeuralNetworks，CNNs)进行地基云图分类，分类准确率明显提高。Zhang等人通过对卷积激活图上的局部特征进行编码，改善了交叉域地基云分类的性能。此外，Shi等人认为在地基云图的表示方面，深层卷积激活图上的特征优于传统的手工特征(hand-craftfeatures)。以上基于CNNs的地基云图分类方法都是在单卷积层进行特征提取，不能获得较完备的地基云图信息。在地基云图的特征表示方面，这些方法通常使用最大池化(maxpooling)、平均池化(averagepooling)等对提取到的特征聚合成一个特征向量来表示地基云图，此种特征向量通常会缺少判别性。因此，在地基云图的特征表示方面，需要更进一步的创新方法来提高地基云图分类的准确率。
技术实现思路
本专利技术的目的是要解决地基云图分类问题，为此，本专利技术提供一种基于显著对偶激活编码的地基云图识别方法。为了实现所述目的，本专利技术提出一种基于显著对偶激活编码的地基云图识别方法，所述方法包括以下步骤：步骤S1，对多幅输入地基云图进行预处理，得到训练地基云图；步骤S2，将所述训练地基云图输入到卷积神经网络中，得到卷积激活图；步骤S3，利用浅层卷积激活图，得到训练地基云图的显著性图像局部区域；步骤S4，对于每个显著性图像局部区域进行特征提取，得到相应的显著特征向量；步骤S5，利用浅层的显著性图像局部区域，获取深层卷积激活图相对应的图像区域，并学习所述图像区域相对应的权重；步骤S6，基于所述显著特征向量和权重，得到所述训练地基云图对应的权重显著特征向量集合；步骤S7，对于所述权重显著特征向量集合进行显著对偶激活编码，得到训练地基云图对应的权重显著特征向量；步骤S8，获取测试地基云图的权重显著特征向量，基于所述权重显著特征向量对测试地基云图进行分类，得到地基云图识别结果。可选地，所述步骤S1包括以下步骤：步骤S11，将所述输入地基云图的大小归一化为H×W，得到训练地基云图，其中，H和W分别表示训练地基云图的高度和宽度；步骤S12，获取每幅训练地基云图的类别标签。可选地，所述步骤S2包括以下步骤：步骤S21，确定卷积神经网络，并对其进行初始化，将所述卷积神经网络末端的输出个数修改为地基云图的类别数目D；步骤S22，将所述训练地基云图输入至初始化后的卷积神经网络中，得到卷积激活图。可选地，所述步骤S3包括以下步骤：步骤S31，获取一预设浅层卷积层对应的一组浅层卷积激活图，该组浅层卷积激活图可以表示成一个张量，大小为Hs×Ws×Ns，其中，下标s表示浅层所在的层数，Hs和Ws分别表示该层卷积激活图的高度和宽度，Ns表示该层卷积激活图的数目；步骤S32，将所述浅层卷积层对应的所有卷积激活图上每个相同位置处的激活响应依次连接，得到一个Ns维的局部特征向量；步骤S33，对所述浅层卷积层对应的所有卷积激活图利用滑动窗口进行稠密采样，基于所述局部特征向量获取每个滑动窗口的激活响应显著值Sk，其中，下标k表示第k个滑动窗口；步骤S34，将所述激活响应显著值Sk进行降序排序，选择前K个激活响应显著值对应的滑动窗口作为显著性图像局部区域，得到K个所述训练地基云图的显著性图像局部区域。可选地，所述滑动窗口的大小为a×a，稠密采样的步长为a/2。可选地，浅层卷积激活图上第k个滑动窗口的激活响应显著值Sk表示为：其中，PgP2表示向量的二范数，表示第i个位置处的局部特征向量，a2＝a×a表示第k个滑动窗口内的局部特征向量数目，表示第k个滑动窗口的均值特征向量，即滑动窗口内所有局部特征向量的平均值，表示为：可选地，所述步骤S4中，每个所述显著性图像局部区域表示为显著特征向量mk。可选地，所述步骤S5包括以下步骤：步骤S51，获取一预设深层卷积层对应的一组深层卷积激活图，该组深层卷积激活图可以表示成一个张量，大小为Hd×Wd×Nd，其中，下标d表示深层所在的层数，Hd和Wd分别表示该层卷积激活图的高度和宽度，Nd表示该层卷积激活图的数目；其中，所述深层卷积层可从所述卷积神经网络后半部分的卷积层中选择。步骤S52，将所述深层卷积层对应的所有卷积激活图上每个相同位置处的激活响应依次连接，得到Nd维的局部特征向量；步骤S53，根据所述浅层卷积层对应的显著性图像局部区域，获取深层卷积激活图中相对应的K个大小为b×b的图像区域；步骤S54，计算所述图像区域对应的权重，表示为：其中，表示第k个图像区域的权重，表示第j个位置处的局部特征向量，b2＝b×b表示第k个图像区域的局部特征向量数目。可选地，所述步骤S6中，根据浅层卷积激活图的K个显著性图像局部区域的显著特征向量mk，和深层卷积激活图的K个图像区域的权重wk，得到每幅训练地基云图的权重显著特征向量集合χ：χ＝{w1m1,w2m2,...,wKmK}。可选地，所述步骤S7中，所述权重显著特征向量表示为：h＝(uem)((uem)T(uem))-1C其中，e表示矩阵元素对应相乘，是一个元素均为c的常数向量。本专利技术的有益效果为：本专利技术利用卷积神经网络的浅层和深层卷积激活图进行特征提取，能够挖掘具有显著的结构和纹理信息和包含高语义信息的特征，进一步通过显著对偶激活编码，得到最具代表性的特征表示地基云图，从而提高地基云图分类的正确率。需要说明的是，本专利技术得到了国家自然科学基金项目No.61501327、No.61711530240，天津市自然科学基金重点项目No.17JCZDJC30600，天津市应用基础与前沿技术研究计划青年基金项目No.15JCQNJC01700，天津师范大学“青年科研拔尖人才培育本文档来自技高网...

【技术保护点】
1.一种基于显著对偶激活编码的地基云图识别方法，其特征在于，该方法包括以下步骤：步骤S1，对多幅输入地基云图进行预处理，得到训练地基云图；步骤S2，将所述训练地基云图输入到卷积神经网络中，得到卷积激活图；步骤S3，利用浅层卷积激活图，得到训练地基云图的显著性图像局部区域；步骤S4，对于每个显著性图像局部区域进行特征提取，得到相应的显著特征向量；步骤S5，利用浅层的显著性图像局部区域，获取深层卷积激活图相对应的图像区域，并学习所述图像区域相对应的权重；步骤S6，基于所述显著特征向量和权重，得到所述训练地基云图对应的权重显著特征向量集合；步骤S7，对于所述权重显著特征向量集合进行显著对偶激活编码，得到训练地基云图对应的权重显著特征向量；步骤S8，获取测试地基云图的权重显著特征向量，基于所述权重显著特征向量对测试地基云图进行分类，得到地基云图识别结果。

【技术特征摘要】
1.一种基于显著对偶激活编码的地基云图识别方法，其特征在于，该方法包括以下步骤：步骤S1，对多幅输入地基云图进行预处理，得到训练地基云图；步骤S2，将所述训练地基云图输入到卷积神经网络中，得到卷积激活图；步骤S3，利用浅层卷积激活图，得到训练地基云图的显著性图像局部区域；步骤S4，对于每个显著性图像局部区域进行特征提取，得到相应的显著特征向量；步骤S5，利用浅层的显著性图像局部区域，获取深层卷积激活图相对应的图像区域，并学习所述图像区域相对应的权重；步骤S6，基于所述显著特征向量和权重，得到所述训练地基云图对应的权重显著特征向量集合；步骤S7，对于所述权重显著特征向量集合进行显著对偶激活编码，得到训练地基云图对应的权重显著特征向量；步骤S8，获取测试地基云图的权重显著特征向量，基于所述权重显著特征向量对测试地基云图进行分类，得到地基云图识别结果。2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：步骤S11，将所述输入地基云图的大小归一化为H×W，得到训练地基云图，其中，H和W分别表示训练地基云图的高度和宽度；步骤S12，获取每幅训练地基云图的类别标签。3.根据权利要求1所述的方法，其特征在于，所述步骤S2包括以下步骤：步骤S21，确定卷积神经网络，并对其进行初始化，将所述卷积神经网络末端的输出个数修改为地基云图的类别数目D；步骤S22，将所述训练地基云图输入至初始化后的卷积神经网络中，得到卷积激活图。4.根据权利要求1所述的方法，其特征在于，所述步骤S3包括以下步骤：步骤S31，获取一预设浅层卷积层对应的一组浅层卷积激活图，该组浅层卷积激活图可以表示成一个张量，大小为Hs×Ws×Ns，其中，下标s表示浅层所在的层数，Hs和Ws分别表示该层卷积激活图的高度和宽度，Ns表示该层卷积激活图的数目；步骤S32，将所述浅层卷积层对应的所有卷积激活图上每个相同位置处的激活响应依次连接，得到一个Ns维的局部特征向量；步骤S33，对所述浅层卷积层对应的所有卷积激活图利用滑动窗口进行稠密采样，基于所述局部特征向量获取每个滑动窗口的激活响应显著值Sk，其中，下标k表示第k个滑动窗口；步骤S34，将...

【专利技术属性】
技术研发人员：张重，李东红，刘爽，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：天津,12