基于多维融合深度学习技术的多时相农作物分类方法技术

本发明专利技术涉及遥感图像处理及人工智能语义分割与应用的技术领域，更具体的说是基于多维融合深度学习技术的多时相农作物分类方法，步骤一：提取光谱信息、植被特征信息及纹理信息，生产合成影像数据；步骤二：实地采集的作物种类样本数据，在影像图上进行农作物的标注，制作样本标签数据；步骤三：网络结构的设计与训练；步骤四：利用设计的网络结构，结合样本标签数据进行训练网络，获得三类分类结果；步骤五：利用设计的GFCC分类融合方法对三类分类结果进行融合，得到最终分类结果；可以解决传统遥感影像分类算法中存在的标签重复标注、单一时相分类、边界分类模糊、忽略特征信息、光谱信息、纹理信息的组合对作物识别结果精度的影响。响。响。

【技术实现步骤摘要】
基于多维融合深度学习技术的多时相农作物分类方法


[0001]本专利技术涉及遥感图像处理及人工智能语义分割与应用的
，更具体 的说是基于多维融合深度学习技术的多时相农作物分类方法。

技术介绍

[0002]精准的、高效的进行农作物分类信息提取，是利用遥感技术进行农作物长 势监测、灾害监测、产量预估等技术应用的基础，也在耕地红线保护、黑土地 保护、粮食安全、农业保险、农业期货等诸多领域具有重要的应用价值。基于 中分辨率、高分辨率的农作物分类方法的研究是近年来遥感领域的热点之一， 在诸多基于遥感影像的农作物分类算法中，深度学习方法被认为是一项突破性 技术并以高效学习的特点在遥感农业识别领域掀起一阵热潮。
[0003]近年来，国内外的研究学者提出了许多基于深度学习的遥感影像作物分类 方法，但仍然存在一些缺陷，第一：作物间边界模糊或分类不清；第二：忽略 特征信息、光谱信息、纹理信息的多时相组合对作物分类结果精度的影响；第 三：无法对高分辨率、多时相卫星影像进行高效、精准的农作物分类。
[0004]现有技术主要是针对空间分辨率是2
‑
16m级别的多光谱遥感影像进行处理， 分辨率在1m以下的高分辨率遥感影像的重访周期及有效覆盖频率很难满足多 时相的要求，因此很难进行大面积的应用，应用价值不高。

技术实现思路

[0005]本专利技术的目的是提供基于多维融合深度学习技术的多时相农作物分类方法， 可以解决传统遥感影像分类算法中存在的标签重复标注、单一时相分类、边界 分类模糊、忽略特征信息、光谱信息、纹理信息的组合对作物识别结果精准度 影响的问题。
[0006]本专利技术的目的通过以下技术方案来实现：
[0007]基于多维融合深度学习技术的多时相农作物分类方法，该方法包括以下步 骤：
[0008]步骤一：提取光谱信息、植被特征信息及纹理信息，利用提取的信息进行 波段合成，生产合成影像数据；
[0009]步骤二：实地采集的作物种类样本数据，在影像图上进行农作物的标注， 制作样本标签数据；
[0010]步骤三：网络结构的设计与训练，网络结构为Res3DNet_SegNet、 Res2DNet_SegNet、Res1DNet_SegNet；
[0011]步骤四：利用设计的网络结构，结合样本标签数据进行网络训练，获得分 类结果；
[0012]步骤五：利用设计的GFCC分类融合方法对分类结果进行融合，得到最终 分类结果。
[0013]所述网络结构的设计需要计算公式、convMD_block层及identityMD_block 层；
[0014]Res3DNet_SegNet、Res2DNet_SegNet和Res1DNet_SegNet的网络结构的计 算公式
如下：
[0015]公式一：
[0016]公式二：
[0017]公式三：X
out
＝ft@P
out
×
C
out
×
C
out
[0018]公式四：
[0019]公式五：
[0020]公式六：
[0021]公式七：
[0022]公式八：
[0023]公式九：
[0024]公式中：P
out
代表卷积后时相层，C
out
代表影像分类网络层，X
out
代表 Res3DNet_SegNet卷积后特征图尺寸，P
in
代表上一层影像的时相数，Pad
p
代表 时相层图层填充数，Pad
c
代表影像分类网络层填充数，Kz代表核尺寸，strides
p
代表时相层图层步长，strides
c
代表影像分类网络层步长，ft代表特征图，BN代 表批标准化层，relu代表激活函数层，i＝0,1,2
…
,N
‑
1，N代表一个训练批量 的大小，F代表分类总数，a
i
代表每个分类标签的概率分布；
[0025]Res2DNet_SegNet卷积后去掉公式中P
out
参数，Res2DNet_SegNet公式三为 X
out
＝ft@C
out
×
C
out
；
[0026]Res1DNet_SegNet卷积后去掉P
out
和C
out
，Res1DNet_SegNet公式三为X
out
＝ ft@C
out
；
[0027]定义convMD_block层：其中涵盖卷积层、批标准化层、激活函数层各4层， 每一层的输入参数分别为：
[0028]input＝X,ft＝(ft1，ft2，ft3)，Kz＝(Kz1，Kz2，Kz3)，Pad
p
＝(Pad
p
1， Pad
p
2，Pad
p
3)，Pad
c
＝(Pad
c
1，Pad
c
2，Pad
c
3)，strides
p
＝(strides
p
1，strides
p
2， strides
p
3)，strides
c
＝(strides
c
1,strides
c
2,strides
c
3)；
[0029]定义identityMD_block层：其中涵盖卷积层、批标准化层、激活函数层各3 层，每一层的输入参数分别为：
[0030]input＝X,ft＝(ft1，ft2，ft3)，Kz＝(Kz1，Kz2，Kz3)，Pad
p
＝(Pad
p
1，Pad
p
2， Pad
p
3)，Pad
c
＝(Pad
c
1，Pad
c
2，Pad
c
3)，strides
p
＝(strides
p
1，strides
p
2，strides
p
3)， strides
c
＝(strides
c
1,strides
c
2,strides
c
3)；
[0031]所述Res3DNet_SegNet网络结构为，Res3DNet_SegNet网络的第0层为输 入层，输入图像大小为14@5
×
32
×
32，第一层网络结构为卷积层Covn3D、批标 准化层BN、激活函数层relu和池化层Maxpool3D；再经过convMD_本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多维融合深度学习技术的多时相农作物分类方法，其特征在于：该方法包括以下步骤：步骤一：提取光谱信息、植被特征信息及纹理信息，利用提取的信息进行波段合成，生产合成影像数据；步骤二：实地采集的作物种类样本数据，在影像图上进行农作物的标注，制作样本标签数据；步骤三：网络结构的设计与训练；步骤四：利用设计的网络结构，结合样本标签数据进行网络训练，获得分类结果；步骤五：利用设计的GFCC分类融合方法对分类结果进行融合，得到最终分类结果。2.根据权利要求1所述的基于多维融合深度学习技术的多时相农作物分类方法，其特征在于：所述网络结构为Res3DNet_SegNet、Res2DNet_SegNet、Res1DNet_SegNet。3.根据权利要求2所述的基于多维融合深度学习技术的多时相农作物分类方法，其特征在于：所述网络结构的设计需要计算公式、convMD_block层及identityMD_block层。4.根据权利要求3所述的基于多维融合深度学习技术的多时相农作物分类方法，其特征在于：所述网络结构的计算公式如下：公式一：公式二：公式三：X
out
＝ft@P
out
×
C
out
×
C
out
公式四：公式五：公式六：公式七：公式八：公式九：公式中：P
out
代表卷积后时相层，C
out
代表影像分类网络层，X
out
代表Res3DNet_SegNet卷积后特征图尺寸，P
in
代表上一层影像的时相数，Pad
p
代表时相层图层填充数，Pad
c
代表影像分类网络层填充数，Kz代表核尺寸，strides
p
代表时相层图层步长，strides
c
代表影像分类网络层步长，ft代表特征图，BN代表批标准化层，relu代表激活函数层，i＝0,1,2
…
,N
‑
1，N代表一个训练批量的大小，F代表分类总数，a
i
代表每个分类标签的概率分布；Res2DNet_SegNet卷积后去掉公式中P
out
参数，Res2DNet_SegNet公式三为X
out
＝ft@C
out
×
C
out
；Res1DNet_SegNet卷积后去掉P
out
和C
out
，Res1DNet_SegNet公式三为X
out
＝ft@C
out
。5.根据权利要求4所述的基于多维融合深度学习技术的多时相农作物分类方法，其特征在于：定义convMD_block层：其中涵盖卷积层、批标准化层、激活函数层各4层，每一层的输入参数分别为：
input＝X,ft＝(ft1，ft2，ft3)，Kz＝(Kz1，Kz2，Kz3)，Pad
p
＝(Pad
p
1，Pad
p
2，Pad
p
3)，Pad
c
＝(Pad
c
1，Pad
c
2，Pad
c
3)，strides
p
＝(strides
p
1，strides
p
2，strides
p
3)，strides
c
＝(strides
c
1,strides
c
2,strides
c
3)。6.根据权利要求4所述的基于多维融合深度学习技术的多时相农作物分类方法，其特征在于：定义identityMD_block层：其中涵盖卷积层、批标准化层、激活函数层各3层，每一层的输入参数分别为：input＝X,ft＝(ft1，ft2，ft3)，Kz＝(Kz1，Kz2，Kz3)，Pad
p
＝(Pad
p
1，Pad
p
2，Pad
p
3)，Pad
c
＝(Pad
c
1，Pad
c
2，Pad
c
3)，strides
p
＝(strides
p
1，strides
p
2，strides
p
3)，strides
c
＝(strides
c
1,strides
c
2,strides
c
3)。7.根据权利要求4所述的基于多维融合深度学习技术的多时相农作物分类方法，其特征在于：所述Res3DNet_SegNet网络结构为，Res3DNet_SegNet网络的第0层为输入层，输入图像大小为14@5
×
32
×
32，第一层网络结构为卷积层Covn3D、批标准化层BN、激活函数层relu和池化层Maxpool3D；Res3DNet_SegNet网络计算过程如下：初始化第0层参数为P
in
＝5，C
in
＝32，Pad
p
＝1、Pad
c
＝1、strides
p
＝1，strides
c
＝1、Kz＝2，ft＝64，分别代入公式一、公式二、公式三得到P
out
＝5，C
out
＝32，将输入到BN层得到将输入到relu层得到并将标记为F1＝64@5
×
32
×
32；将F1输入到Maxpool3D，输入参数为P
in
＝5，C
in
＝31，Pad
p
＝1、Pad
c
＝0、strides
p
＝1，strides
c
＝2、Kz＝2，ft＝64，分别代入公式一、公式二、公式三得到P
out
＝5，C
out
＝16，将ft＝(64，64，256)，Kz＝(1，3，1)，Pad
p
＝(0，2，0)，Pad
c
＝(0，2，0)，strides
p
＝(1，1，1)，strides
c
＝(1，1，1)输入到convMD_block层，得到X＝256@5
×
16
×
16，再将input＝X,ft＝(64，64，256)，Kz＝(1，3，1)，Pad
p
＝(0，2，0)，Pad
c
＝(0，2，0)，strides
p
＝(1，1，1)，strides
c
＝(1，1，1)输入到identityMD_block，连续2次，得到新的X＝256@5
×
16
×
16，并将X标记为F2；将F2输入到Maxpool3D，输入参数为P
in
＝5，C
in
＝16，Pad
p
＝1、Pad
c
＝0、strides
p
＝1，strides
c
＝2、Kz＝2，ft＝256，分别代入公式一、公式二、公式三得到P
out
＝5，C
out
＝8，将ft＝(256，256，1024)，Kz＝(1，3，1)，Pad
p
＝(0，2，0)，Pad
c
＝(0，2，0)，strides
p
＝(1，1，1)，strides
c
＝(1，1，1)输入到convMD_block层，得到X＝1024@5
×8×
8，再将input＝X,ft＝(256，256，1024)，Kz＝(1，3，1)，Pad
p
＝(0，2，0)，Pad
c
＝(0，2，0)，strides
p
＝(1，1，1)，strides
c
＝(1，1，1)输入到identityMD_block，连续3次，得到新的X＝1024@5
×8×
8，并将X标记为F3；将F3进行反卷积上采样，将F3，ft＝1024，Kz＝3，Pad
p
＝2，Pad
c
＝2，strides
p
＝1，strides
c
＝1输入到公式一至公式四得到UF3＝1024@5
×8×
8；将UF3，代入到公式六至公式八得到UF2＝1024@5
×
16
×
16，再将UF2，ft＝256，Kz＝3，Pad
p
＝2，Pad
c
＝2，strides
p
＝1，strides
c
＝1输入到公式一至公式四得
到新的UF2＝256@5
×
16
×
16；将UF2、代入到公式六至公式八得到UF1＝1024@5
×
32
×
32，再将UF1、ft＝64，Kz＝3，Pad
p
＝2，Pad
c
＝2，strides
p
＝1，strides
c
＝1输入到公式六至公式八得到UF1＝64@5
×
32
×
32；将UF1，ft＝5，Kz＝3，Pad
p
＝2，Pad
c
＝2，strides
p
＝1，strides
c
＝1输入公式一至公式五得到新的UF1＝5@5
×
32
×
32，利用softmax分类层采用交叉熵损失函数公式九，每个像素输出5
×
1特征向量，对应于0－背景、1－水稻、2－玉米、3－大豆、4－其他这五种类别的概率(Pd
3d
)。8.根据权利要求4所述的基于多维融合深度学习技术的多时相农作物分类方法，其特征在于：所述Res2DNet_SegNet网络结构为，Res2DNet_SegNet网络的第0层为输入层，输入图像大小为14@32
×
32；第一层网络结构有卷积层Covn2D、批标准化层BN、激活函数层relu和池化层Ma...

【专利技术属性】
技术研发人员：宋振强，魏茂盛，高磊，王众娇，翟建宝，潘拓，郭凌峰，张丽丽，
申请(专利权)人：哈尔滨航天恒星数据系统科技有限公司，
类型：发明
国别省市：