一种跨通道数量迁移学习的高图像分类方法及系统技术方案

本发明专利技术公开了一种跨通道数量迁移学习的高光谱图像分类方法及系统，所述方法为在预训练阶段，以源数据集为对象，运用深度全卷积网络提取样本特征，运用光谱

【技术实现步骤摘要】
一种跨通道数量迁移学习的高图像分类方法及系统


[0001]本专利技术涉及光谱图像分类领域，特别涉及一种跨通道数量迁移学习的高光谱图像分类方法及系统。

技术介绍

[0002]高光谱图像通指光谱分辨率在10
‑
2纳米数量级范围内的光谱图像，其特点在图像上不仅包含覆盖区域内的空间特征，还包含每个空间像元经过色散的几十个甚至几百个窄通道的光谱信息。高光谱图像不仅能反映目标的样本大小、形状、缺陷，而且能翻译目标的内部物理结构、化学成分差异，这决定了高光谱图像在农产品检测、机械材质分类、环境检测、地表覆盖分类和矿物学等领域都具有重要的应用价值，而高光谱图像分类技术是其应用过程中必不可少的环节之一。
[0003]由于高光谱传感器的种类繁多，不同源的传感器载荷的光谱传感器的波普范围、光谱分辨率和通道数量通常是不一致的。此外，现阶段的高光谱图像分类模型，输入的维度是固定的，这导致所学习的模型仅限于当前数据源图像的分类任务，并且不同源数据集上所训练的模型，通常是不能通用的。故而研究可以跨通道数量(即跨传感器)迁移学习的高光谱图像分类方法具有重要的工业价值。
[0004]所谓的迁移学习是指，从一个数据集(源数据集)学习模型，然后将所学习的模型其运用到另一个数据集(目标数据)上。高性能的迁移学习模型，要求既能满足源数据集上的任务，又能满足目标数据集上的任务。迁移学习的高光谱图像分类模型是近年来的研究热点，该问题需要面对的难点是源数据集和目标数据集包含的通道数量不一致，光谱分辨率也不一致。已经有学者，讨论了源数据与目标数据通道数量一致时，迁移学习的分类模型有助于提升分类精度以及缩短在目标数据集上模型训练的时间。而对于跨通道数量的迁移学习问题，最直接的解决方案时使用降维方法，统一源数据与目标数据的通道数量，但这种方法可能会丢失一些有效的数据信息。如果能够找到一种不降维的，跨通道数量迁移学习的高光谱图像分类方法，那么能够使得在保留足够多源数据知识的情况下，通过模型迁移将源数据的知识应用到目标数据集任务中，从而提高实际任务中的模型性能和效率。
[0005]因此，针对包含不同通道数量的高光谱图像，如何在不降维情况下，构建跨通道迁移学习的高光谱图像分类模型，实现不同源数据集上的高效分类，具有重要的工业应用价值。

技术实现思路

[0006]本专利技术的目的是，为了克服不同通道数量的高光谱图像数据集上模型的跨通道数量迁移学习问题，提供了一种跨通道数量迁移学习的高光谱图像分类方法及系统，利用该方法及系统，能够同时接受任意大小(空间大小和通道数量)的样本作为输入，且可以在数据不降维、输入层节点不改变的情况下，实现对不同通道数量的高光谱图像的高效分类。
[0007]为了实现上述目的，本专利技术采用了如下技术方案：
[0008]一种跨通道数量迁移学习的高光谱图像分类方法，包括
[0009]包括三个阶段：预训练方法、微调方法和应用方法，
[0010]所述预训练方法，具体步骤如下：
[0011]源数据样本集构建步骤A110：对多个传感器的高光谱图像库，选取质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的源数据样本集X1；
[0012]批次源数据选择步骤A120：从所构建的源数据样本集X1中，随机选择尺寸(空间大小和通道数量)相同的N1个样本，作为预训练中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；
[0013]卷积特征提取步骤A130：将所述某个批次数据中的单个样本x，输入到设计好的多层全卷积神经网络得到该样本的卷积特征其中该全卷积网络的基本单元包括：卷积层、池化层、批处理层和非线性激活函数，且不包含全连接层，是它的参数；
[0014]多尺度特征提取步骤A140：将所述样本卷积特征输入到设计好的金字塔池化层g
θ
，得到样本的多尺度特征其中该金字塔池化层包含多个尺度(空间尺度和通道尺度)的特征提取函数，且对于不同的尺度的输入，得到的多尺度特征维度是相同的，θ是它的参数；
[0015]全连接特征提取步骤A150：将所述的多尺度特征输入到设计好的全连接神经网络h1
ψ1
，得到样本的全连接特征其中ψ1是它的参数，并且其输出层节点的个数为C1，C1是源数据集包含的类别数量；
[0016]计算类别概率的步骤A160：对所述的全连接特征运用柔性最大函数(softmax)作为输出层的激活函数，得到样本x属于各类别的概率值，且总概率和为1；
[0017]更新模型参数的步骤A170：基于所述的类别概率与源数据的真实标签，利用交叉熵损失函数计算所选批次源数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的源数据样本集X1，不断选择批次数据并迭代步骤A120
‑
A160，优化卷积特征提取参数多尺度特征提取参数θ和全连接特征提取参数ψ1，直到任意批次数据的损失函数稳定逼近0。
[0018]微调方法的步骤如下：
[0019]目标数据样本集构建步骤B110：对于某个目标传感器高光谱图像库，选取质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的目标数据样本集X2；
[0020]批次目标数据选择步骤B120：从所构建的目标数据样本集X2中，随机选择尺寸(空间大小和通道数量)相同的N2个样本，作为微调阶段中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；
[0021]预训练模型迁移步骤B130：将预训练阶段中所学习到的多层全卷积神经网络和金字塔池化层g
θ
，分别作为卷积特征提取器和多尺度特征提取器，且在微调阶段相关参数不改变；
[0022]目标数据卷积特征提取步骤B134：将所述某个批次目标数据中的单个样本x
′
，输
入到迁移的多层全卷积神经网络得到目标数据卷积特征
[0023]目标数据多尺度特征提取步骤B138：将所述的目标数据卷积特征输入到迁移的金字塔池化层g
θ
，得到目标数据样本的多尺度特征
[0024]全连接特征提取阶段B140：将所述目标数据多尺度特征输入到新设计的全连接神经网络h2
ψ2
，得到样本的全连接特征其中ψ2是它的参数，并且其输出层节点的个数为C2，C2是目标数据集包含的类别数量；
[0025]计算类别概率的步骤B150：对所述目标数据的全连接特征运用柔性最大函数(softmax)作为输出层的激活函数，得到样本x
′
属于各类别的概率值，且总概率和为1；
[0026]微调模型参数的步骤B160：基于所述的类别概率与目标数据的真实标签，利用交叉熵损失函数计算所选批次目标数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的目标数据样本集X2，不断选择批次数据并迭代步骤B120和B134
‑
B160，优化全连接特征提取参数ψ2，直到任意批次数据的损失函数稳定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨通道数量迁移学习的高光谱图像分类方法，其特征在于，所述图像分类方法分为模型的预训练阶段、微调阶段和应用阶段，具体包括：源数据样本集构建步骤A110：对多个传感器的高光谱图像库，选取质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的源数据样本集X1；批次源数据选择步骤A120：从所构建的源数据样本集X1中，随机选择尺寸(空间大小和通道数量)相同的N1个样本，作为预训练中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；卷积特征提取步骤A130：将所述某个批次数据中的单个样本x，输入到设计好的多层全卷积神经网络得到该样本的卷积特征其中该全卷积网络的基本单元包括：卷积层、池化层、批处理层和非线性激活函数，且不包含全连接层，是它的参数；多尺度特征提取步骤A140：将所述样本卷积特征输入到设计好的金字塔池化层g
θ
，得到样本的多尺度特征其中该金字塔池化层包含多个尺度(空间尺度和通道尺度)的特征提取函数，且对于不同的尺度的输入，得到的多尺度特征维度是相同的，θ是它的参数；全连接特征提取步骤A150：将所述的多尺度特征输入到设计好的全连接神经网络h1
ψ1
，得到样本的全连接特征其中ψ1是它的参数，并且其输出层节点的个数为C1，C1是源数据集包含的类别数量；计算类别概率的步骤A160：对所述的全连接特征运用柔性最大函数作为输出层的激活函数，得到样本x属于各类别的概率值，且总概率和为1；更新模型参数的步骤A170：基于所述的类别概率与源数据的真实标签，利用交叉熵损失函数计算所选批次源数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的源数据样本集X1，不断选择批次数据并迭代步骤A120
‑
A160，优化卷积特征提取参数多尺度特征提取参数θ和全连接特征提取参数ψ1，直到任意批次数据的损失函数稳定逼近0；微调方法的步骤如下：目标数据样本集构建步骤B110：对于某个目标传感器高光谱图像库，选取质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的目标数据样本集X2；批次目标数据选择步骤B120：从所构建的目标数据样本集X2中，随机选择尺寸(空间大小和通道数量)相同的N2个样本，作为微调阶段中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；预训练模型迁移步骤B130：将预训练阶段中所学习到的多层全卷积神经网络和金字塔池化层g
θ
，分别作为卷积特征提取器和多尺度特征提取器，且在微调阶段相关参数不改变；目标数据卷积特征提取步骤B134：将所述某个批次目标数据中的单个样本x
′
，输入到迁移的多层全卷积神经网络得到目标数据卷积特征
目标数据多尺度特征提取步骤B138：将所述的目标数据卷积特征输入到迁移的金字塔池化层g
θ
，得到目标数据样本的多尺度特征全连接特征提取阶段B140：将所述目标数据多尺度特征输入到新设计的全连接神经网络h2
ψ2
，得到样本的全连接特征其中ψ2是它的参数，并且其输出层节点的个数为C2，C2是目标数据集包含的类别数量；计算类别概率的步骤B150：对所述目标数据的全连接特征运用柔性最大函数作为输出层的激活函数，得到样本x
′
属于各类别的概率值，且总概率和为1；微调模型参数的步骤B160：基于所述的类别概率与目标数据的真实标签，利用交叉熵损失函数计算所选批次目标数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的目标数据样本集X2，不断选择批次数据并迭代步骤B120和B134
‑
B160，优化全连接特征提取参数ψ2，直到任意批次数据的损失函数稳定逼近0；应用方法的步骤如下：对于给定的待分类目标数据集中的高光谱图像按逐像元方法依次推断类别标签，根据待分类像元，构建待分类样本，依次运用微调方法的相关步骤，包括目标数据卷积特征提取步骤、目标数据多尺度特征提取步骤、全连接特征提取步骤和类别概率计算步骤，得到待分类样本的类别概率，然后根据最大概率得到待分类像元的类别信息，最后根据逐像元的推断结果，生成分类结果图像。2.根据权利要求1所述跨通道数量迁移学习的高光谱图像分类方法，其特征在于：所述源数据样本集构建步骤A110具体包括：在源数据上以有标签的像元为中心，按照不同空间邻域窗口{w1×
w1，
…
，w
K
×
w
K
}截取源数据集样本，并且按照一定规则组织样本，这里的样本可以是一维、二维或者三维的，且所截取样本的标签与中心像元的标签相同；所述批次源数据选择步骤A120具体包括：根据空间邻域窗口大小，将所述源数据样本集X1，分成K类{X11,
…
,X1K}；并生成一个随机正整数k，它大于等于1，小于等于K，然后从子样本集X1k中随机选择B1个样本；由于每次随机生成的k可能不同，故允许不同批次的样本空间尺寸不相同，但同一批次的空间尺寸相同；所述源数据卷积特征提取步骤A130具体包括：将某个批次的某个输入样本x，输入到所设计的深度全卷积网络中，得到深度全卷积特征这里x为所构建的源数据样本，并的维度大小与n的尺度、所设计网络的参数(卷积核个数，卷积核参数、池化层)有关，是所述深度全卷积网络的参数。3.根据权利要求1所述跨通道数量迁移学习的高光谱图像分类方法，其特征在于：所述多尺度特征提取步骤A140具体包括：将所述源数据样本卷积特征输入到设计好的光谱
‑
空间金字塔池化层g
θ
，得到样本的多尺度特征其中该金字塔池化层包含多个尺度(空间尺度和通道尺度)
的特征提取函数，且对于不同的尺度的输入，得到的多尺度特征维度是相同的，θ是它的参数；所述在多尺度特征提取步骤中，所述的一种多尺度特征提取网络—自适应空谱金字塔池化层(如图7)具体包括：假设输入的样本卷积特征的维度大小为w
×
h
×
d
×
c，其中c表示最后一个卷积层输出的滤波器数量，w
×
h
×
d表示最后一个卷积层输出的特征图大小。那么如图7所示，自适应空谱金字塔池化层的输出是一个c
×
T的一维向量(如图输出大小为(64+8+1)
×
c)，这里T是该金字塔层中空间
‑
光谱单元的个数，且输出的维度仅与金字塔的空间
‑
光谱单元数量和最后一层的滤波器数量相关，与输入数据的空间尺度、通道数量无关，故所设计的迁移学习模型能实现跨通道数量迁移。4.根据权利要求1所述跨通道数量迁移学习的高光谱图像分类方法，其特征在于：所述的全连接特征提取步骤A150具体包括：将所述的维度大小为c
×
T的多尺度特征输入到一个输出层神经元个数为C1的全连接神经网络h1
ψ1
，得到样本的全连接特征其中C1为源数据集的类别数量，ψ1是它的参数；所述计算类别概率的步骤A160具体包括：运用柔性最大函数(softmax)作用于所述的全连接特征得到样本x属于各类别的概率值包含C1个值，表示x属于第i个类的概率值，且所述更新预训练模型参数的步骤A170具体包括：根据所述的某个批次源数据样本，每个样本运用上述A130
‑
A160计算得到类别概率并将其与源数据的真实标签Y输入到交叉熵损失函数计算所选批次源数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的源数据样本集X1，不断选择批次数据并迭代步骤A120
‑
A160，优化卷积特征提取参数多尺度特征提取参数θ和全连接特征提取参数ψ1，直到任意批次数据的损失函数稳定逼近零，迭代完成后的卷积特征提取参数多尺度特征提取参数θ和全连接特征提取参数ψ1结合在一起就是预训练得到...

【专利技术属性】
技术研发人员：饶明朝，饶梦彬，
申请(专利权)人：昆山则立诚智能设备有限公司，
类型：发明
国别省市：