一种目标区域提取装置以及提取方法制造方法及图纸

本发明专利技术公开一种目标区域提取装置以及提取方法，其中一实施例的提取装置包括：图像输入模块用于将多个多光谱遥感图像进行处理生成输入至所述三维特征提取网络的第一图像数据，以及输入至一维特征提取网络的第二图像数据：三维特征提取网络用于对第一图像数据进行三维的特征提取后输出关联所述多光谱遥感图像的第一特征向量；一维特征提取网络对第二图像数据进行一维的特征提取后输出区分目标区域和非目标区域的第二特征向量：数据融合模块用于以预设的权重参数对第二特征向量和所述第一特征向量进行融合并分类，得到与所述第二特征向量和第一特征向量对应的图像类别概率；图像输出模块根据所述图像类别概率输出包括目标区域的目标区域图像。目标区域的目标区域图像。目标区域的目标区域图像。

【技术实现步骤摘要】
一种目标区域提取装置以及提取方法


[0001]本专利技术涉及图像目标提取领域。更具体地，涉及一种目标区域提取装置以及提取方法。

技术介绍

[0002]水稻是我国最主要的粮食作物，实时准确地提取水稻种植区域对水稻产量预估、精准农业实施以及灾害状况评估具有重要意义，为政府制定国家粮食安全政策提供宝贵信息。传统的水稻区域提取方法依靠人工实地测量，通过行政系统逐级上报汇总，费时费力且精度较差。
[0003]基于卫星影像的提取方法往往通过植被指数阈值法或地物分类获取大范围的水稻区域。但是受限于卫星重访周期、影像分辨率和天气条件等，卫星影像成本较高且无法满足实时准确的种植区域提取要求。并且，植被指数和阈值的选取受水稻品种、生育期等因素影响，泛化能力较差且在作物类型复杂时精度较低。并且，现有的地物分类方法往往针对光学和高光谱遥感图像进行设计，对于多光谱图像适用性较差，且准确率有待提升。

技术实现思路

[0004]本专利技术的目的在于提供一种目标区域提取装置以及提取方法，以解决现有技术存在的问题中的至少一个。
[0005]为达到上述目的，本专利技术采用下述技术方案：
[0006]本专利技术第一方面提供一种目标区域提取装置，包括：图像输入模块、与所述图像输入模块串联的已训练的三维特征提取网络、与所述图像输入模块串联且与所述三维特征提取网络并联的已训练的一维特征提取网络、数据融合模块以及图像输出模块，其中：
[0007]所述图像输入模块，用于将多个多光谱遥感图像进行处理生成输入至所述三维特征提取网络的第一图像数据，以及输入至所述一维特征提取网络的第二图像数据：
[0008]所述三维特征提取网络，用于对输入的所述第一图像数据进行三维的特征提取后输出关联所述多光谱遥感图像的第一特征向量；
[0009]所述一维特征提取网络，用于对输入的所述第二图像数据进行一维的特征提取后输出区分目标区域和非目标区域的第二特征向量：
[0010]数据融合模块，用于以预设的权重参数对所述第二特征向量和所述第一特征向量进行融合并分类，得到与所述第二特征向量和所述第一特征向量对应的图像类别概率；
[0011]图像输出模块，用于根据所述图像类别概率输出包括目标区域的目标区域图像。
[0012]进一步的，所述图像输入模块包括：
[0013]第一图像数据生成单元，用于将所述多光谱遥感图像以预设切片值进行切片生成三维切片数据，所述三维切片数据作为所述第一图像数据；
[0014]第二图像数据生成单元，用于根据所述光谱遥感图像的波段参数分别生成第一一维数据、第二一维数据以及第三一维数据，对所述第一一维数据、第二一维数据以及所述第
三一维数据在光谱的维度上组合后生成所述第二图像数据；
[0015]所述波段参数包括归一化植被指数、比值植被指数以及所述光谱波段数，其中，
[0016]所述归一化植被指数根据以下公式得到：
[0017][0018]所述比值植被指数根据以下公式得到：
[0019][0020]其中，Band
q
为所述光谱遥感图像中波段q的反射率值，Band
p
为所述光谱遥感图像中波段p的反射率值；
[0021]所述第一一维数据包括任意两个波段确定的归一化植被指数；
[0022]所述第二一维数据包括任意两个波段确定的比值植被指数；
[0023]所述第三一维数据包括各个波段的光谱数据。
[0024]进一步的，所述第二图像数据生成单元进一步用于将所述第一一维数据进行归一化和卷积处理，将所述第二一维数据进行归一化和卷积处理，以及将所述第三一维数据进行归一化和卷积处理，并将归一化和卷积处理后的第一一维数据、第二一维数据以及所述第三一维数据在光谱维度上进行组合，从而得到所述第二图像数据。
[0025]进一步的，所述三维特征提取网络包括：
[0026]三维卷积模块、至少一个与所述三维卷积模块串联的三维特征提取模块以及与所述三维特征提取模块串联的第一全连接层，
[0027]其中，
[0028]所述三维卷积模块用于将输入的所述第一图像数据进行三维卷积输出三维卷积特征图，
[0029]三维特征提取模块用于以所述三维卷积特征图为输入，对所述三维卷积特征图进行特征关联、校准以及池化后输出三维池化特征图；
[0030]第一全连接层用于以所述三维池化特征图为输入，将所述三维池化特征图进行连接输出所述第一特征向量。
[0031]进一步的，三维特征提取模块包括依次串联的空间自注意力单元、三维残差单元、第一特征校准单元、以及第一池化层，
[0032]其中，所述空间自注意力单元的另一端和所述三维卷积模块串联，
[0033]所述第一池化层的另一端和所述第一全连接层串联，
[0034]空间自注意力单元用于以所述三维卷积特征图为输入，计算所述三维卷积特征图的中心像素与其他像素的关联特征，输出空间关联特征图；
[0035]三维残差单元，用于根据所述空间关联特征图进行残差计算得到三维残差特征图输出；
[0036]第一特征校准单元用于以三维残差特征图为输入，确定所述三维残差特征图中的各个相邻通道之间的相关性，输出三维校准特征图；
[0037]第一池化层用于将所述三维校准特征图进行池化压缩，从而输出三维池化特征
图。
[0038]进一步的，空间自注意力单元包括：
[0039]子特征图生成单元，用于以所述三维卷积特征图为输入，分别输出第一子特征图、第二子特征图以及第三子特征图，各个子特征图满足以下公式：
[0040]F
1，2，3
＝ReLU(f
bn
(F*W3×3×1+b))；
[0041][0042]其中，F
1，2，3
分别对应于第一子特征图、第二子特征图以及第三子特征图，W和b代表的权重和偏差，X为输入的三维卷积特征图，μ和σ2分别为输入的三维卷积特征图均值和方差，∈、γ和β为训练参数；
[0043]空间自注意力权重图生成单元，用于对第一子特征图和第二子特征图进行形状重构从而生成对应的第一子特征矩阵和第二子特征矩阵，并将所述第一子特征矩阵与第二子特征矩阵的转置矩阵进行乘积计算以及归一化处理，从而生成空间自注意力权重图；
[0044]原始特征尺寸图生成单元，用于将第三子特征图与空间自注意力权重图的转置矩阵相乘并进行特征重构，从而得到原始特征尺寸图；
[0045]空间关联特征图生成单元，用于将原始特征尺寸图乘以比例系数，并将乘积结果添加到输入的三维卷积特征图中，得到空间关联特征图并输出。
[0046]进一步的，第一特征校准单元包括：
[0047]第一描述符确定单元，用于以三维残差特征图为输入，通过以下计算公式确定所述三维残差特征图的每个通道对应的第一描述符y：
[0048][0049]其中，X
l
为输入的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标区域提取装置，其特征在于，包括：图像输入模块、与所述图像输入模块串联的已训练的三维特征提取网络、与所述图像输入模块串联且与所述三维特征提取网络并联的已训练的一维特征提取网络、数据融合模块以及图像输出模块，其中：所述图像输入模块用于将多个多光谱遥感图像进行处理生成输入至所述三维特征提取网络的第一图像数据，以及输入至所述一维特征提取网络的第二图像数据：所述三维特征提取网络用于对输入的所述第一图像数据进行三维的特征提取后输出关联所述多光谱遥感图像的第一特征向量；所述一维特征提取网络用于对输入的所述第二图像数据进行一维的特征提取后输出区分目标区域和非目标区域的第二特征向量：所述数据融合模块用于以预设的权重参数对所述第二特征向量和所述第一特征向量进行融合并分类，得到与所述第二特征向量和所述第一特征向量对应的图像类别概率；所述图像输出模块，用于根据所述图像类别概率输出包括目标区域的目标区域图像。2.根据权利要求1所述的装置，其特征在于，所述图像输入模块包括：第一图像数据生成单元用于将所述多光谱遥感图像以预设切片值进行切片生成三维切片数据，所述三维切片数据作为所述第一图像数据；第二图像数据生成单元用于根据所述光谱遥感图像的波段参数分别生成第一一维数据、第二一维数据以及第三一维数据，对所述第一一维数据、第二一维数据以及所述第三一维数据在光谱的维度上组合后生成所述第二图像数据；所述波段参数包括归一化植被指数、比值植被指数以及所述光谱波段数，其中，所述归一化植被指数根据以下公式得到：所述比值植被指数根据以下公式得到：其中，Band
q
为所述光谱遥感图像中波段q的反射率值，Band
p
为所述光谱遥感图像中波段p的反射率值；所述第一一维数据包括根据任意两个波段确定的归一化植被指数；所述第二一维数据包括根据任意两个波段确定的比值植被指数；所述第三一维数据包括各个波段的光谱数据。3.根据权利要求2所述的装置，其特征在于，所述第二图像数据生成单元进一步用于将所述第一一维数据进行归一化和卷积处理，将所述第二一维数据进行归一化和卷积处理，以及将所述第三一维数据进行归一化和卷积处理，并将归一化和卷积处理后的第一一维数据、第二一维数据以及所述第三一维数据在光谱维度上进行组合，从而得到所述第二图像数据。4.根据权利要求1所述的装置，其特征在于，所述三维特征提取网络包括：三维卷积模块、至少一个与所述三维卷积模块串联的三维特征提取模块以及与所述三维特征提取模块串联的第一全连接层，
其中，所述三维卷积模块用于将输入的所述第一图像数据进行三维卷积输出三维卷积特征图，所述三维特征提取模块用于以所述三维卷积特征图为输入，对所述三维卷积特征图进行特征关联、校准以及池化后输出三维池化特征图；所述第一全连接层用于以所述三维池化特征图为输入，将所述三维池化特征图进行连接输出所述第一特征向量。5.根据权利要求4所述的装置，其特征在于，所述三维特征提取模块包括依次串联的空间自注意力单元、三维残差单元、第一特征校准单元、以及第一池化层，其中，所述空间自注意力单元的另一端和所述三维卷积模块串联，所述第一池化层的另一端和所述第一全连接层串联，所述空间自注意力单元用于以所述三维卷积特征图为输入，计算所述三维卷积特征图的中心像素与其他像素的关联特征，输出空间关联特征图；所述三维残差单元，用于根据所述空间关联特征图进行残差计算得到三维残差特征图输出；所述第一特征校准单元用于以所述三维残差特征图为输入，确定所述三维残差特征图中的各个相邻通道之间的相关性，输出三维校准特征图；所述第一池化层用于将所述三维校准特征图进行池化压缩，从而输出三维池化特征图。6.根据权利要求5所述的装置，其特征在于，所述空间自注意力单元包括：子特征图生成单元，用于以所述三维卷积特征图为输入，分别输出第一子特征图、第二子特征图以及第三子特征图，各个子特征图满足以下公式：F
1，2，3
＝ReLU...

【专利技术属性】
技术研发人员：李哲，孟庆民，张雁南，王铁，高有，
申请(专利权)人：北京瀚景锦河科技有限公司，
类型：发明
国别省市：