基于多结构卷积神经网络特征融合的场景分类方法及系统技术方案

本发明专利技术提供了基于多结构卷积神经网络特征融合的场景分类方法及系统，包括：选择CaffeNet、VGG‑s和VGG‑f模型，在ImageNet数据集上对CaffeNet、VGG‑s和VGG‑f模型进行预训练；选定已经进行场景分类的原始场景图像集；利用原始场景图像集对在预训练后的CaffeNet、VGG‑s和VGG‑f模型进行微调，得到网络CaffeNet‑t、VGG‑s‑t和VGG‑f‑t；分别利用CaffeNet‑t、VGG‑s‑t和VGG‑f‑t作为特征提取器，分别处理原始场景图像集，以提取原始场景图像集中的每一张图像的特征，从卷积神经网络的倒数第二个全连接层得到特征集F

Scene classification method and system based on multi structure convolution neural network feature fusion

The invention provides a scene classification method and system based on multi structure convolution neural network feature fusion, which includes: selecting caffenet, VGg \u2011 s and VGg \u2011 F models, pre training caffenet, VGg \u2011 s and VGg \u2011 F models on the Imagenet data set, selecting the original scene image set that has been scene classification, and using the original scene image set to pre training caffenet, VGg \u2011 s And VGg \u2011 f model are fine tuned to get the network caffenet \u2011 T, VGg \u2011 s \u2011 T and VGg \u2011 f \u2011 T; caffenet \u2011 T, VGg \u2011 s \u2011 T and VGg \u2011 f \u2011 T are used as feature extractors respectively to process the original scene image set, so as to extract the characteristics of each image in the original scene image set, and get the feature set f from the penultimate full connection layer of convolutional neural network

【技术实现步骤摘要】
基于多结构卷积神经网络特征融合的场景分类方法及系统
本专利技术涉及数字图像处理
，特别涉及到遥感图像处理，具体涉及基于多结构卷积神经网络特征融合的场景分类方法及系统。
技术介绍
随着卫星遥感技术的发展，遥感图像场景分类成为了一个活跃的研究课题，其目的是将提取出的覆盖多种地面类型或地面对象的遥感图像子区域划分为不同的语义类别，它已经广泛用于各种实际遥感应用，如土地资源管理，城市规划等。学习高效的图像表示是遥感图像场景分类任务的核心。由于实际场景图像之间的高类内差异性和高类间相似性，基于具有低级别手工设计特征的特征编码方法或无监督特征学习的场景分类任务的方法仅能够生成具有有限表示能力的中级图像特征，这从根本上限制了场景分类任务的性能。最近，随着深度学习尤其是卷积神经网络的发展，卷积神经网络在对象识别和检测方面表现出惊人的性能。不少研究者也将其用于遥感图像场景分类中，且取得了非常好的分类性能。虽然目前的方法可以进一步提高分类性能，但这些方法的局限性之一是只使用一种卷积神经网络结构提取场景图像的特征，而忽略了不同卷积神经网络结构提取特征的互补性。这在一定程度上制约了它的实际应用，所以如何将卷积神经网络更好的应用到遥感图像分类的算法模型中，提高分类精度，是卷积神经网络研究中需要研究解决的主要问题。
技术实现思路
本专利技术要解决的技术问题在于，针对上述目前遥感图像处理过程中分类精度不高的技术问题，提供基于多结构卷积神经网络特征融合的场景分类方法及系统解决上述技术缺陷。基于多结构卷积神经网络特征融合的场景分类方法，包括：S1、选择CaffeNet、VGG-s和VGG-f模型，在ImageNet数据集上对CaffeNet、VGG-s和VGG-f模型进行预训练；S2、选定已经进行场景分类的原始场景图像集；S3、利用原始场景图像集对在预训练后的CaffeNet、VGG-s和VGG-f模型进行微调，得到网络CaffeNet-t、VGG-s-t和VGG-f-t；S4、分别利用CaffeNet-t、VGG-s-t和VGG-f-t作为特征提取器，分别处理原始场景图像集，以提取原始场景图像集中的每一张图像的特征，从卷积神经网络的倒数第二个全连接层得到特征集FCaffe-t、FVGG-s-t和FVGG-f-t；S5、通过串行特征融合策略融合三个特征集FCaffe-t、FVGG-s-t和FVGG-f-t，得到融和特征集；S6、使用融合特征集对极限学习机分类器进行训练，训练完成后得到最终分类器；S7、将待测场景图像输入到最终分类器中进行场景分类。进一步的，所述步骤S3中对CaffeNet、VGG-s和VGG-f模型进行微调具体包括：S31、设定微调迭代次数N、学习率α和批尺寸mini_batch；S32、正向传播训练：计算在当前的系数下，该网络结构具有的真实分类效果，迭代过程如下：xi+1＝fi(ui)，ui＝Wixi+bi，其中，xi为第i层的输入；Wi是第i层的权值向量，它作用在其输入的数据中；bi为第i层的附加偏置向量；fi(·)表示第i层的激活函数，ui为对输入进行卷积操作后的结果；S33、反向传播训练：通过网络输出与真实标签的比较，不断地迭代更新系数，使得输出结果接近期望值，迭代过程如下：其中，学习率α为反向传播强度的控制因子，L(W,b)为损失函数；S34、根据S31设定的迭代次数N，重复步骤S32和S33N次。进一步的，所述步骤S4中，从CaffeNet-t的倒数第二个完全连接层中提取特征为FCaffe-t，从VGG-s-t的倒数第二个完全连接层中提取特征为FVGG-s-t，从VGG-f-t的倒数第二个完全连接层中提取特征为FVGG-f-t，特征维度都为4096。进一步的，所述步骤S5中串行特征融合策略具体包括：S51、使用KPCA降维方法分别对每一个4096维的特征FCaffe-t、FVGG-s-t和FVGG-f-t进行降维，降维后的特征维度均为2048；S52、使用串行特征融合的方法将降维后的特征进行融合，融合后的特征的维度为6144；S53、使用KPCA降维方法对融合后的特征向量再进行一次降维处理，最终得到的融合特征作为图像的最终表示，维度为4096。基于多结构卷积神经网络特征融合的场景分类系统，包括：处理器及存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现任意一种基于多结构卷积神经网络特征融合的场景分类方法。与现有技术相比，本专利技术的有益效果在于：1、针对卷积神经网络和极限学习机两者的优点和缺点，提出了使用卷积神经网络作为特征提取器，极限学习机作为分类器的遥感场景分类框架，可以充分发挥两者的优点，提高分类精度。2、采用先降维再融合再降维的特征融合方法，可以在加快训练分类器速度和提高分类精度的前提下，最大程度的去除冗余信息和噪声以降低最终的特征向量的维度。3、融合多结构卷积神经网络特征，融合后的特征能够充分利用不同卷积神经网络结构提取特征的互补性，能够有效的提高特征向量的区分性，可以显著提高卷积神经网络的分类性能，对遥感图像场景具有更好的特征表达能力和分类精度。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1为本专利技术基于多结构卷积神经网络特征融合的场景分类方法流程图；图2为AID数据集示例图像；图3为对AID数据集进行分类的混淆矩阵。具体实施方式为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。基于多结构卷积神经网络特征融合的场景分类方法，如图1所示，包括：S1、选择CaffeNet、VGG-s和VGG-f模型，在ImageNet数据集上对CaffeNet、VGG-s和VGG-f模型进行预训练；S2、选定已经进行场景分类的原始场景图像集；S3、利用原始场景图像集对在预训练后的CaffeNet、VGG-s和VGG-f模型进行微调，得到网络CaffeNet-t、VGG-s-t和VGG-f-t；S4、分别利用CaffeNet-t、VGG-s-t和VGG-f-t作为特征提取器，分别处理原始场景图像集，以提取原始场景图像集中的每一张图像的特征，从卷积神经网络的倒数第二个全连接层得到特征集FCaffe-t、FVGG-s-t和FVGG-f-t；S5、通过串行特征融合策略融合三个特征集FCaffe-t、FVGG-s-t和FVGG-f-t，得到融和特征集；S6、使用融合特征集对极限学习机分类器进行训练，训练完成后得到最终分类器；S7、将待测场景图像输入到最终分类器中进行场景分类。步骤S3中对CaffeNet、VGG-s和VGG-f模型进行微调具体包括：S31、设定微调迭代次数N、学习率α和批尺寸mi本文档来自技高网...

【技术保护点】
1.基于多结构卷积神经网络特征融合的场景分类方法，其特征在于，包括：/nS1、选择CaffeNet、VGG-s和VGG-f模型，在ImageNet数据集上对CaffeNet、VGG-s和VGG-f模型进行预训练；/nS2、选定已经进行场景分类的原始场景图像集；/nS3、利用原始场景图像集对在预训练后的CaffeNet、VGG-s和VGG-f模型进行微调，得到网络CaffeNet-t、VGG-s-t和VGG-f-t；/nS4、分别利用CaffeNet-t、VGG-s-t和VGG-f-t作为特征提取器，分别处理原始场景图像集，以提取原始场景图像集中的每一张图像的特征，从卷积神经网络的倒数第二个全连接层得到特征集F

【技术特征摘要】
1.基于多结构卷积神经网络特征融合的场景分类方法，其特征在于，包括：
S1、选择CaffeNet、VGG-s和VGG-f模型，在ImageNet数据集上对CaffeNet、VGG-s和VGG-f模型进行预训练；
S2、选定已经进行场景分类的原始场景图像集；
S3、利用原始场景图像集对在预训练后的CaffeNet、VGG-s和VGG-f模型进行微调，得到网络CaffeNet-t、VGG-s-t和VGG-f-t；
S4、分别利用CaffeNet-t、VGG-s-t和VGG-f-t作为特征提取器，分别处理原始场景图像集，以提取原始场景图像集中的每一张图像的特征，从卷积神经网络的倒数第二个全连接层得到特征集FCaffe-t、FVGG-s-t和FVGG-f-t；
S5、通过串行特征融合策略融合三个特征集FCaffe-t、FVGG-s-t和FVGG-f-t，得到融和特征集；
S6、使用融合特征集对极限学习机分类器进行训练，训练完成后得到最终分类器；
S7、将待测场景图像输入到最终分类器中进行场景分类。


2.根据权利要求1所述的基于多结构卷积神经网络特征融合的场景分类方法，其特征在于，所述步骤S3中对CaffeNet、VGG-s和VGG-f模型进行微调具体包括：
S31、设定微调迭代次数N、学习率α和批尺寸mini_batch；
S32、正向传播训练：计算在当前的系数下，该网络结构具有的真实分类效果，迭代过程如下：
xi+1＝fi(ui)，
ui＝Wixi+bi，
其中，xi为第i层的输入；Wi是第i层的权值向量，它作用在其输入的数据中；bi为第i层的附加偏置向量；fi(·)...

【专利技术属性】
技术研发人员：刘峰，戴向娟，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北;42