一种基于蛇优化算法的XGBoost和深度神经网络融合的遥感图像分类方法技术

本发明专利技术涉及一种基于蛇优化算法的XGBoost和深度神经网络融合的遥感图像分类方法。深度神经网络在遥感图像分类中取得很大的成功。然而，深度神经网络中由激活函数和全连接层构建的单层分类器由于结构单一不能很好的处理所提取的特征，导致分类精度下降。为解决这个问题，使用集成模型XGBoost来克服单个分类器对图像特征进行分类的不足。该方法主要由三部分组成：深度神经网络作为特征提取器；XGBoost作为特征分类器用于对提取的特征进行分类；蛇优化算法优化XGBoost超参数以促进模型的融合。基于数据集RSSCN7进行仿真实验，实验结果表明，所提出方法比原深度学习网络如MobileVit、Resnet50等相比，在准确度等主要性能评估指标上均优于原比较模型。上均优于原比较模型。上均优于原比较模型。

【技术实现步骤摘要】
一种基于蛇优化算法的XGBoost和深度神经网络融合的遥感图像分类方法


[0001]本专利技术涉及遥感图像场景分类领域，特别是涉及一种基于蛇优化算法的XGBoost和深度神经网络融合的遥感图像分类方法。

技术介绍

[0002]图像分类的过程被抽象地看成是特征提取和特征分类的组合：首先，模型提取出重要的特征，帮助后者分类器更好地区分特征。然后，分类器接受提取的特征并有效地识别它们。特征提取是图像分类系统的重要组成部分。在图像分类任务中，提取的特征质量直接影响分类性能。遥感图像中存在大量相似且容易混淆的特征和目标，因此提取遥感场景的判别特征至关重要。深度神经网络在遥感图像处理及识别中取得很大的成功。
[0003]卷积神经网络(CNN)和Transformer架构在提取图片特征时各有优缺点。如：CNN的网络架构在空间上普遍以局部建模形式存在,因此具有较强的细节捕捉能力,这也使得它对于全局表征信息的学习欠佳。Transformer架构所拥有的动态注意力机制、全局建模能力，很好的弥补了CNN全局建模能力较弱的问题，但是它存在训练参数过大，学习局部特征信息能力较弱的缺点。除此之外，传统的CNN和Vision Transformer(ViT)的分类器层通常是由激活函数和全连接层所构成，由于结构单一不能很好的处理所提取的特征，因此导致分类精度下降。
[0004]XGBoost模型是GBDT模型的基础上逐步发展而得到的集成学习模型，与GBDT的主要不同之处在于分析损失函数的近似精确时，使用了二阶导信息作为近似精确，拟合的残差更精确，收敛速度更快，求得一个最优解的计算效率也就更高，该模型在目标函数中添加可以约束复杂程度的正则项L1和L2，很好的防止了过拟合的现象；并能够利用CPU多线程并行更好的处理高维数据；基学习器可以选择线性分类器或CART决策树。该模型与传统的机器学习模型相比，具有可处理高维数据、计算速度快、不易过拟合、分类能力强等优势，已被应用于机器学习任务中。
[0005]集成学习算法通过将多个弱分类器组合为强分类器来提高模型的稳定性和准确性。XGBoost属于集成学习算法中的一种，在应用于数据分类时具有很好的性能优势，利用XGBoost作为模型的分类器替代传统的CNN和Vision Transformer(ViT)的分类器层，可以提高模型的分类的准确性。
[0006]蛇优化算法是2022年提出的一种新的元启发式算法，该算法是一种模仿蛇特殊交配行为的新型智能优化算法。对于每条蛇(雄性/雌性)，如果在食物数量足够，温度很低的条件下，就会努力得到最好的伴侣，即最优解。
[0007]XGBoost模型的良好性能取决于适当的超参数设置。超参数直接影响模型的结构和模型的性能，因此适当调整超参数尤为重要。通常，模型依赖于人工经验调整，这会消耗大量的时间和计算资源。因此本专利技术采用蛇优化算法优化XGBoost模型的9个参数。

技术实现思路

[0008]本专利技术的目的是为了提高在遥感图像分类领域中分类准确率，提出了一种基于蛇优化算法的XGBoost和深度神经网络融合的遥感图像分类方法，本方法使用了蛇优化算法、XGBoost模型、深度神经网络模型，以提高遥感图像分类领域中的分类准确率。
[0009]本专利技术的目的可以通过以下技术方案来实现：
[0010]一种基于蛇优化算法的XGBoost和深度神经网络融合的遥感图像分类方法，包括以下步骤：
[0011]1)预处理数据集。将遥感数据集按照4：1的比例分为训练集和测试集，为了增强有关信息的可检测性和最大限度地简化数据,我们对训练集数据进行了一系列数据增强处理。
[0012]2)训练深度神经网络模型。本专利技术使用深度神经网络对遥感图像数据进行特征提取，作为本专利技术的特征提取器；
[0013]3)将训练集图片提取的特征值存入Excel表格；
[0014]4)采用蛇优化算法优化XGBoost模型参数，确定最优参数集；
[0015]5)利用训练好的深度神经网络对训练样本集提取特征，然后将提取的特征训练优化后的XGBoost模型，作为本专利技术的特征分类器；
[0016]6)输入测试样本集到训练好的XGBoost分类模型进行遥感图像分类，并采用Accuracy、Precision、Recall、Specifity等指标度量模型分类效果。
[0017]所述步骤1)中，获取原始数据集是2015年武汉大学所发布的遥感影像数据集RSSCN7 Data Set，该数据集作为遥感图像场景分类的常用数据集之一,包含了来自7个典型的场景类别——草地、田野、工业、河湖、森林、居民、停车场。该数据集中每张图像的像素值大小为400
×
400,每个类别有400张图像,分别基于4个不同的尺度进行采样,共有2800张。这些图像来源于不同季节和天气变化,并以不同的比例进行采样,场景图像的多样性导致其具有较大的挑战性。
[0018]所述步骤1)中，数据增强方法，首先通过随机裁剪将图片大小固定为256
×
256,再进行随机水平旋转,然后进行归一化处理等操作。通过数据增强提高模型的泛化能力,增加噪声数据,提升了模型的鲁棒性；
[0019]所述步骤2)中，本专利技术为了验证方法的有效性，使用了Resnet50、MobileVit、NextVit等模型作为特征提取器；
[0020]所述步骤3)中，将提取的特征存入Excel表格，是为了防止数据增强导致每次提取的训练数据集不同，而导致影响特征分类器XGBoost的训练；
[0021]所述步骤4)中，蛇优化算法中，蛇的维度设置为9维，分别为学习率、最大树深度、最小叶子节点权重等；
[0022]所述步骤4)中，蛇优化算法中，蛇的适应度函数为XGBoost对测试集分类的准确率，每条蛇的具体适应度值算法为：首先将蛇的位置参数设置为XGBoost的9个超参数，然后输入训练集对XGBoost进行训练，最后将训练好的XGBoost模型对测试集进行分类，计算出分类的准确率；
[0023]本专利技术的有益效果是：
[0024]一、本专利技术提出了一种基于蛇优化算法的XGBoost和深度神经网络融合的遥感图
像分类方法，利用XGBoost替代原来深度神经网络分类的全连接层进行分类，提升了对遥感数据集的分类性能。
[0025]二、本专利技术采用蛇优化算法优化XGBoost分类模型参数，利用蛇捕食和交配的方式搜索最优参数，该优化算法具有良好的全局和局部搜索能力，使得XGBoost和神经神经网络更加契合，可以有效提升分类准确率。
[0026]三、本专利技术提供了一种对提升遥感数据集分类准确率的方法，它不仅仅只是局限于某一种神经网络，而是对实验中深度神经网络的分类性能均有一定的提升。
[0027]四、通过与原深度神经网络的一系列实验对比，证实了本专利技术的有效性，在准确率、精确度、召回率等各项评判指标中均高于原网络，可以优先应用于遥感图像分类任务中。...

【技术保护点】

【技术特征摘要】
1.一种基于蛇优化算法的XGBoost和深度神经网络融合的遥感图像分类方法包括步骤：(1)对原始数据集RSSCN7进行预处理得到样本数据集；(2)训练深度神经网络模型：本发明使用深度神经网络对遥感图像数据进行特征提取，作为本发明的特征提取器；(3)将训练集图片提取的特征值存入Excel表格；(4)采用蛇优化算法优化XGBoost模型参数，确定最优参数集；(5)利用训练好的深度神经网络对训练样本集提取特征，然后将提取的特征训练优化后的XGBoost模型，作为本发明的特征分类器；(6)输入测试样本集到训练好的XGBoost分类模型进行遥感图像分类，并采用Accuracy、Precision、Recall、Specifity等指标度量模型分类效果。2.根据权利要求1所述的一种基于蛇优化算法的XGBoost和深度神经网络融合的遥感图像分类方法，其特征在于：步骤(2)中对深度神经网络模型进行了改进，在训练过程中仍然保留softmax和全连接层，权重训练完成后，则将用于分类的softmax和全连接层舍弃。3.根据权利要求1所述的一种基于蛇优化算法的XGBoost和深...

【专利技术属性】
技术研发人员：赵俊豪，徐蔚鸿，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：