基于自适应通道的双支路互融合的图像分类方法技术

本发明专利技术公开了一种基于自适应通道的双支路互融合的图像分类方法，涉及图像分类处理技术领域，包括：获取原始数据集，并从中读取第一图像和第二图像，以及部分区域标注的类标图；将第一图像和第二图像进行配准，对配准后的第一图像和第二图像融合，获取第一图像张量和第二图像张量；对第一图像张量和第二图像张量预处理，并选取训练集和测试集；基于训练集训练预设的分类模型，构建分类模型的损失函数；基于分类模型对训练集进行分类，将分类结果与部分区域标注的类标图对比求解损失，并采用反向传播以优化分类模型；基于分类模型对测试集中的像素进行分类，获取测试集中像素的类别。本申请能够提高分类模型的分类质量。申请能够提高分类模型的分类质量。申请能够提高分类模型的分类质量。

【技术实现步骤摘要】
基于自适应通道的双支路互融合的图像分类方法


[0001]本专利技术属于图像分类处理
，具体涉及一种基于自适应通道的双支路互融合的图像分类方法。

技术介绍

[0002]卫星遥感技术可以获取具有丰富谱段信息的多光谱(MS)遥感图像和具有较高空间分辨率的全色(PAN)遥感图像，多光谱(MS)遥感图像和全色(PAN)遥感图像存在着非常强的信息互补性，如何有效提取多光谱遥感图像和全色遥感图像共有信息和特有信息成为备受关注的课题。
[0003]相关技术中，针对多光谱遥感图像和全色遥感图像的融合方法，现有传统的图像融合方法、基于多尺度的图像融合方法，以及基于模型的图像融合方法等；但存在融合效果单一、光谱失真率、计算量大，以及信息冗余等缺点。
[0004]因此，亟需一种多光谱遥感图像和全色遥感图像的分类方法，以克服上述缺点。

技术实现思路

[0005]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于自适应通道的双支路互融合的图像分类方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0006]第一方面，本申请提供一种基于自适应通道的双支路互融合的图像分类方法，包括：
[0007]获取原始数据集，并从原始数据集中读取第一图像和第二图像，以及对应的部分区域标注的类标图；
[0008]将第一图像和第二图像进行配准，并对配准后的第一图像和第二图像进行融合，获取第一图像张量和第二图像张量；
[0009]对第一图像张量和第二图像张量进行预处理，并基于预处理后的第一图像张量和第二图像张量选取训练集和测试集；
[0010]基于训练集训练预设的分类模型，并构建分类模型的损失函数；
[0011]基于分类模型对训练集进行分类，将分类结果与部分区域标注的类标图对比求解损失，并对损失进行反向传播以优化分类模型；
[0012]基于分类模型对测试集中的像素进行分类，获取测试集中像素的类别。
[0013]本专利技术的有益效果：
[0014]本专利技术提供的一种基于自适应通道的双支路互融合的图像分类方法，首先获取原始数据集，并从原始数据集中读取第一图像和第二图像，以及对应的部分区域标注的类标图；将第一图像和第二图像进行配准，并对配准后的第一图像和第二图像进行融合，获取第一图像张量和第二图像张量；对第一图像张量和第二图像张量进行预处理，并基于预处理后的第一图像张量和第二图像张量选取训练集和测试集；基于训练集训练预设的分类模型，并构建分类模型的损失函数；可以理解的是，采用训练集对预设的分类模型进行训练，
在训练过程中，采用损失函数优化分类模型的鲁棒性；基于分类模型对训练集进行分类，将分类结果与部分区域标注的类标图对比求解损失，并对损失进行反向传播以优化分类模型；基于分类模型对测试集中的像素进行分类，获取测试集中像素的类别；通过以上方法，能够提高分类模型的分类质量。
[0015]以下将结合附图及实施例对本专利技术做进一步详细说明。
附图说明
[0016]图1是本专利技术实施例提供的基于自适应通道的双支路互融合的图像分类方法的一种流程图。
具体实施方式
[0017]下面结合具体实施例对本专利技术做进一步详细的描述，但本专利技术的实施方式不限于此。
[0018]请参见图1，图1是本专利技术实施例提供的基于自适应通道的双支路互融合的图像分类方法的一种流程图，本申请所提供的一种基于自适应通道的双支路互融合的图像分类方法，包括：
[0019]S101、获取原始数据集，并从原始数据集中读取第一图像和第二图像，以及对应的部分区域标注的类标图；
[0020]S102、将第一图像和第二图像进行配准，并对配准后的第一图像和第二图像进行融合，获取第一图像张量和第二图像张量；
[0021]S103、对第一图像张量和第二图像张量进行预处理，并基于预处理后的第一图像张量和第二图像张量选取训练集和测试集；
[0022]S104、基于训练集训练预设的分类模型，并构建分类模型的损失函数；
[0023]S105、基于分类模型对训练集进行分类，将分类结果与部分区域标注的类标图对比求解损失，并对损失进行反向传播以优化分类模型；
[0024]S106、基于分类模型对测试集中的像素进行分类，获取分类测试集中像素的类别。
[0025]具体而言，请继续参考图1所示，本实施例中提供的一种图像分类方法，用于对通过遥感卫星技术获取的多光谱遥感图像和全色遥感图像，由于多光谱遥感图像和全色遥感图像之间存在非常强的信息互补性，不容易获取多光谱遥感图像和全色遥感图像的共有信息和特有信息；而本申请采用自适应通道的双支路互融合的方式对图像进行分类，能够有效提高图像分类质量。
[0026]相关技术中，基于IHS变换法对多光谱遥感图像和全色遥感图像进行融合，存在融合结果单一、光谱失真等问题；基于深层神经网络对多光谱遥感图像和全色遥感图像进行融合，存在计算量大、信息冗余等问题，由于多光谱遥感图像和全色遥感图像具有较大的模态差异，同时也存在冗余信息，如果直接使用神经网络进行融合，会加大融合的压力，也会增大不必要的计算量。
[0027]有鉴于此，本实施例中通过以下步骤对多光谱遥感图像和全色遥感图像进行分类，具体为：
[0028]S101、获取原始数据集，并从原始数据集中读取第一图像和第二图像，以及对应的
部分区域标注的类标图(ground truth)，其中，第一图像可以为多光谱遥感图像，第二图像可以为全色遥感图像；类标图中标注有多个类；可选的，类可以分别为假山、湖泊、绿植或建筑物等等，本实施例对此不作限定，可以根据不同图像中的环境进行分类。
[0029]S102、将第一图像和第二图像进行配准，并对配准后的第一图像和第二图像进行融合，获取第一图像张量和第二图像张量；可选的，第一图像张量中包括处理后的多个第一图像，第二图像张量包括处理后的多个第二图像。
[0030]S103、对第一图像张量和第二图像张量进行预处理，并基于预处理后的第一图像张量和第二图像张量选取训练集和测试集；可选的，预处理包括但不限于归一化处理。
[0031]S104、基于训练集训练预设的分类模型，并构建分类模型的损失函数；可以理解的是，采用训练集对预设的分类模型进行训练，在训练过程中，采用损失函数优化分类模型的鲁棒性。
[0032]S105、基于分类模型对训练集进行分类，将分类结果与部分区域标注的类标图对比求解损失，并对损失进行反向传播以优化分类模型；可以理解的是，为判断训练好的分类模型的好坏，对分类模型输出的分类结果与通过其他方式获取的类标图进行对比，并求解损失，针对存在的损失，采用反向传播的方式进一步优化模型，使分类模型的分类效果达到最好。
[0033]S106、基于分类模型对测试集中的像素进行分类，获取分类所述测试集中像素的类别；可选的，使用分类模型对测试集中的像素进行分类，能够有效获得像素的类别。
[0034]通过以上方法，能够提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应通道的双支路互融合的图像分类方法，其特征在于，包括：获取原始数据集，并从所述原始数据集中读取第一图像和第二图像，以及对应的部分区域标注的类标图；将所述第一图像和所述第二图像进行配准，并对配准后的所述第一图像和所述第二图像进行融合，获取第一图像张量和第二图像张量；对所述第一图像张量和所述第二图像张量进行预处理，并基于预处理后的所述第一图像张量和所述第二图像张量选取训练集和测试集；基于所述训练集训练预设的分类模型，并构建所述分类模型的损失函数；基于所述分类模型对所述训练集进行分类，将所述分类结果与部分区域标注的所述类标图对比求解损失，并对损失进行反向传播以优化所述分类模型；基于所述分类模型对所述测试集中的像素进行分类，获取所述测试集中像素的类别。2.根据权利要求1所述的基于自适应通道的双支路互融合的图像分类方法，其特征在于，所述将所述第一图像和所述第二图像进行配准，并对配准后的所述第一图像和所述第二图像进行融合，获取第一图像张量和第二图像张量的具体过程为：对所述第一图像进行上采样操作，使所述第一图像的尺寸增大；对所述第二图像进行分割操作，使所述第二图像的尺寸减小；使得所述第一图像的通道数和所述第二图像的通道数均拓展到4个，且操作后的所述第一图像尺寸和所述第二图像的尺寸相同；获取配准的所有方案，并从中选取加和总量最大的配准方案作为配准的结果方案，对调所述第一图像和所述第二图像的通道完成配准；对配准后的所述第一图像进行分解，得到所述第一图像的强度分量；对配准后的所述第二图像进行分解，得到所述第二图像的强度分量；基于所述第一图像的强度分量和所述第二图像的强度分量得出权衡强度分量；引入所述第一图像的边缘检测算子和所述第二图像边缘检测算子，并结合所述权衡强度分量，得到权衡边缘检测算子；基于所述权衡边缘检测算子将配准后的所述第一图像和所述第二图像进行融合，得到所述第一图像张量和所述第二图像张量。3.根据权利要求1所述的基于自适应通道的双支路互融合的图像分类方法，其特征在于，所述对所述第一图像张量和所述第二图像张量进行预处理，并基于预处理后的所述第一图像张量和所述第二图像张量选取训练集和测试集的具体过程为：对所述第一图像张量中的所有像素的值进行归一化，对所述第二图像张量中的所有像素的值同样进行归一化；在归一化后的所述第一图像张量和所述第二图像张量中找到对应类标的像素，以该像素为中心取所述第一图像和所述第二图像邻域32*32的区域，取每类的1％样本作为所述训练集，其余样本作为所述测试集。4.根据权利要求1所述的基于自适应通道的双支路互融合的图像分类方法，其特征在于，所述预设的分类模型包括第一模块、第二模块和第三模块；所述第一模块包括一层3*3卷积层；其中，所述卷积层的步长为1，输入通道数为n，输出通道数为2n；所述第一模块用于获取浅层信息；所述第二模块包括自学习支路和互学习支路，且所述自学习支路和所述互学习支路中
均包括两层3*3卷积层；其中，一层所述卷积层的步长为1，输入通道数为2n，输出通道数为2n；另一层所述卷积层的步长为1，输入通道数为2n，输出通道数为2n；所述自学习支路用于获取深层信息，所述互学习支路用于在三元损失函数的监督下学习所述自学习支路的信息；所述第三模块包括残差层，即一层1*1卷积层；其中，所述卷积层的步长为1，输入通道数为n，输出通道数为3n；其中，所述第三模块用于融合。5.根据权利要求4所述的基于自适应通道的双支路互融合的图像分类方法，其特征在于，所述基于所述训练集训练预设的分类...

【专利技术属性】
技术研发人员：廖怡诺，朱浩，李晓童，焦李成，侯彪，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：