基于时空深度学习融合技术的农作物全自动化分类方法技术

本发明专利技术公开了一种基于时空深度学习融合技术的农作物全自动化分类方法，属于卫星遥感图像处理与应用的技术领域。本发明专利技术目的是解决现有高分辨率遥感影像在对农作物分类中存在的地物边界模糊或椒盐噪声现象、算法复杂度高且时间开销大、忽略特征信息对作物识别结果的影响，以及目前深度学习方法无法对高分辨率遥感影像进行及时、准确的农作物识别等问题。本发明专利技术提出全自动化的训练样本选择方法，融合地理信息的Geo‑3D CNN网络与Geo‑Conv1D网络，并采用Active Learning策略实现两种分类方法分类结果的融合。利用本发明专利技术提出的基于时空深度学习融合技术的农作物全自动化分类方法可以实现对大面积农作物的高效、准确的识别。

【技术实现步骤摘要】
基于时空深度学习融合技术的农作物全自动化分类方法
本专利技术属于卫星遥感图像处理与应用的

技术介绍
农作物分类信息的准确获取在预估产量、加强作物生产管理、农业保险与灾害评估等诸多方面中具有十分重要的科学与实践意义，近年来是遥感领域的研究热点之一。在诸多基于遥感影像的农作物分类算法中，深度学习方法被认为是一项突破性技术并以高效学习的特点在遥感农业识别领域掀起一阵热潮。近年来，国内外的研究学者提出了许多基于深度学习高分辨率遥感影像的作物分类方法。代表研究如下：不同于传统的机器学习分类方法，深度学习方法的引入对遥感影像的识别准确率有明显的提高，Zhong等人采用EVI时序序列与时序特征表征网络Conv1D进行基于像素点的大面积作物分类，获得的总体分类精度为85.54％，高于LSTM网络3.1％(参见ZhongL,HuL,ZhouH,"Deeplearningbasedmulti-temporalcropclassification,"RemoteSensingofEnvironment221:430-443(2019))。Castelluccio等人使用GoogLeNet和CaffeNet对农作物进行了分类，其准确度分别为91.83％和90.94％(参见CastelluccioM,PoggiG,SansoneC,"Landuseclassificationinremotesensingimagesbyconvolutionalneuralnetworks,"arXivpreprintarXiv:1508.00092(2015))。Xu等人采用双通道卷积神经网络(CNN)提取时空特征联合从LiDAR数据提取的特征对土地覆盖类型进行基于影像块的分类，在四种数据集上均实现较高的作物识别精度(参见XuX,LiW,RanQ,"Multisourceremotesensingdataclassificationbasedonconvolutionalneuralnetwork,"IEEETransactionsonGeoscienceandRemoteSensing,56(2):937-949(2018))。Guidici等人应用多时相Conv1D网络对高光谱影像中的土地覆盖类型进行分类，其准确度为89.9％，SVM(89.5％)，RF(82.2％)(参见GuidiciD,ClarkML,"One-Dimensionalconvolutionalneuralnetworkland-coverclassificationofmulti-seasonalhyperspectralimageryintheSanFranciscoBayArea,California,"RemoteSensing,9(6):629(2017))。Ji等人将多时相GF-2影像输入3DCNN网络提取时空特征并对作物进行基于影像块的分类，获得95.9％的分类精度，优于2DCNN网络5.9％(参见JiS,ZhangC,XuA,ShiY,DuanY,"3DConvolutionalNeuralNetworksforCropClassificationwithMulti-TemporalRemoteSensingImages,"RemoteSensing,10(1):75(2018))。Romero等人采用非监督的神经网络用于对高光谱遥感影像的分析，避免了有监督方法训练时高光谱影像的Hudge现象和小样本造成的过拟合问题，但与监督分类方法相比不能对影像特征进行有效的提取(参见RomeroA,GattaC,Camps-VallsG,"Unsuperviseddeepfeatureextractionforremotesensingimageclassification,"IEEETransactionsonGeoscienceandRemoteSensing,54(3):1349-1362(2016))。Yang等人提出了CNN-RF协同作用的混合模型，利用CNN网络提取高维特征，利用机器学习分类器的优势来代替全连接层做最后的分类决策(参见YangS,GuL,LiX,JiangT,RenR,"CropClassificationMethodBasedonOptimalFeatureSelectionandHybridCNN-RFNetworksforMulti-TemporalRemoteSensingImagery,"RemoteSensing,12(19):3119(2020))。随着深度学习方法不断的发展与进步，多种改进的深度学习方法被逐渐应用到遥感领域中，包括建筑物提取，目标检测，土地利用与灾害评估等诸多方面。目前为止，国内外研究学者提出了许多基于高分辨率遥感影像的作物分类算法，但仍然存在一些缺陷：(1)算法复杂度高，时间开销大；(2)忽略特征信息对作物识别结果的影响；(3)地物之间边界模糊或存在较多椒盐噪声现象。基于时空深度学习融合技术的农作物全自动化分类方法在作物的准确识别中具备优势，可以在某些程度上极大的克服这些缺点，但目前主要是针对空间分辨率是10米级别的多光谱遥感影像进行处理，分辨率在1m以下的高分辨率遥感影像采用深度学习技术进行农作物分类的方法在国内外未见报道。
技术实现思路
为了解决现有基于深度学习高分辨率遥感影像在农作物分类识别过程中存在的地物边界模糊或椒盐噪声现象、算法复杂度高且时间开销大、忽略特征信息对作物识别结果的影响，以及目前深度学习方法无法对高分辨率遥感影像进行及时、准确的农作物识别等问题，本专利技术提供了一种基于时空深度学习融合技术的农作物全自动化分类方法，能够准确、高效地获取到高分辨率遥感影像中的农作物分类信息。本专利技术采用的技术方案具体步骤如下：步骤一、影像预处理：获取到的多时相高分辨率遥感影像是进行过几何精校正的正射影像，对该影像进行辐射定标与大气校正进而获取预处理之后的遥感影像。(a)辐射定标的方法：辐射定标就是将图像的数字量化值(DN)转化为辐射亮度值、反射率或者表面温度等物理量的处理过程。辐射定标参数一般放在元数据文件中，利用完整的遥感图像处理平台(ENVI)的辐射定标工具(RadiometricCalibration)能自动从元数据文件中读取参数，从而完成辐射定标。(b)大气校正的方法：利用完整的遥感图像处理平台(ENVI)的大气校正工具(FLASSH)来消除由于大气影响所造成的辐射误差，反演地物真实的表面反射率。步骤二、信息源：为了保证训练样本提取的准确性，基于原始多时相遥感影像提取光谱指数或特殊的光谱信息作为信息源，突出典型作物表现出的光谱特性。根据农作物不同的光谱特性，选择的信息源如下。(a)可变大气阻力指数VariableAtmosphericallyResistantIndex(VARIgreen)：光谱指数可以体现不同作物在可见光以及近红外波段的光谱反射特性，采用不同的光谱指数，可以获得表达作物不同生长发育阶段的信息。每个光谱指数都表达了一个特定的作物状态特征。本文档来自技高网...

【技术保护点】
1.基于时空深度学习融合技术的农作物全自动化分类方法，其特征在于，该方法的步骤如下：/n步骤一、影像预处理：获取到的多时相高分辨率遥感影像是进行过几何精校正的正射影像，对该影像进行辐射定标与大气校正进而获取预处理之后的遥感影像；/n步骤二、从原始的多时相Sentinel-2影像中提取有用的信息源，所述的信息源为可变大气阻力指数VARIgreen、比值建筑用地指数RBI和短波红外SWIR；/n步骤三、对样本数据集进行提纯；/n步骤四、利用步骤三获得的影像块训练融合地理信息的Geo-3D CNN网络，获得第一种分类结果；/n步骤五、利用步骤三获得的影像块训练融合地理信息的Geo-Conv1D网络，获得第二种分类结果；/n步骤六、采用Active Learning策略实现两种分类结果的融合，得到最终分类。/n

【技术特征摘要】
1.基于时空深度学习融合技术的农作物全自动化分类方法，其特征在于，该方法的步骤如下：
步骤一、影像预处理：获取到的多时相高分辨率遥感影像是进行过几何精校正的正射影像，对该影像进行辐射定标与大气校正进而获取预处理之后的遥感影像；
步骤二、从原始的多时相Sentinel-2影像中提取有用的信息源，所述的信息源为可变大气阻力指数VARIgreen、比值建筑用地指数RBI和短波红外SWIR；
步骤三、对样本数据集进行提纯；
步骤四、利用步骤三获得的影像块训练融合地理信息的Geo-3DCNN网络，获得第一种分类结果；
步骤五、利用步骤三获得的影像块训练融合地理信息的Geo-Conv1D网络，获得第二种分类结果；
步骤六、采用ActiveLearning策略实现两种分类结果的融合，得到最终分类。


2.根据权利要求1所述的基于时空深度学习融合技术的农作物全自动化分类方法，其特征在于，步骤三对样本数据集进行提纯的步骤具体如下：
(a)从原始多时相遥感影像中提取信息源，利用OTSU分割算法对获取的信息源进行分割处理；
(b)根据分割结果在原始信息源上采用直方图统计的方法并根据设置的置信区间自动确定各类作物提取的阈值范围，进而获取粗训练样本；
(c)删除面积小于设定阈值的对象，去除小的异构点；
(d)去除各类样本的重叠区域；
(e)通过最优滑窗与最优影像块尺寸的设计挑选出的影像块和像素点纯净样本，
影像块训练样本最优滑窗选择结果：滑窗移动步长Stride＝1，影像块大小与影像块样本滑窗尺寸之间遵循的关系如下：(s×b+P)×(s×b+P)＝n×n(s＝1,2,…,6；l＝2,3,...,6；P＝2)；P＝2代表在影像块样本周围扩充了一圈具有相同标签的数据，b×b代表影像块大小，s＝1,2,3,…代表滑窗内部的样本数据被划分为s×s个大小为b×b的影像块，n×n代表挑选影像块样本的滑窗尺寸；
像素点训练样本最优滑窗选择结果：基于像素点的训练样本选择，根据实际情况设计滑窗大小m×m(m＝6,7,…,14)，保证滑窗内部的数据具有相同的标签，选择(m-1)×(m-1)大小的影像块制作像素点训练样本，为了保证像素点样本选择的不重复性，设计规则如下：
用(i,j)(i＝1,2,…,(M-m+1)；j＝1,2,…,(N-m+1))表示输入影像某位置的横纵坐标，输入影像高度M，宽度N；
(a)如果i＝1，j＝1，提取(i+1:i+(m-1),j+1:j+(m-1))范围内的像素点样本；
(b)如果i＝1，j≠1，提取(i+1:i+(m-1),j+(m-1))范围内的像素点样本；
(c)如果i≠1，j＝1，提取(i+(m-1),j+1:j+(m-1))范围内的像素点样本；
(d)如果i≠1，j≠1，提取(i+(m-1),j+(m-1))位置的像素点样本。


3.根据权利要求1所述的基于时空深度学习融合技术的农作物全自动化分类方法，其特征在于，
Geo-3DCNN网络结构中包括输入层、卷积层、池化层、全连接层与输出层，具体结构如下：
(a)Geo-3DCNN网络的第0层为输入层，输入图像大小为10@3×3×3，10代表输入遥感影像数据包括10个通道，3代表输入影像的时相数，3×3代表输入网络分类的影像块大小；
(b)输入层之后为Geo-3DCNN网络的第一部分，Geo-3DCNN网络的第一部分由卷积层Conv3D、激活层Activation和池化层MaxPool3D组成，卷积层设定的参数如下：
滤波器的个数filters＝32，
内核大小kernel_size＝[2，2，2]，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝[1，1，1]，
输入影像经过卷积层后，时相方向：wout＝3，高度与宽度方向：wout＝3，即该卷积层输出特征响应图的尺寸为32@3×3×3，
接下来为激活层Activation，使用的激活函数是Relu，
激活层Activation之后为池化层MaxPool3D，池化层设定参数如下：
内核大小kernel_size＝[2，2，2]，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝[1，2，2]，
池化方式为最大池化，时相方向：wout＝3，高度与宽度方向：wout＝2，即池化层输出特征响应图的尺寸为32@3×2×2；
(c)Geo-3DCNN网络的第二部分由卷积层Conv3D、激活层Activation和池化层MaxPool3D组成，卷积层设定的参数如下：
滤波器的个数filters＝64，
内核大小kernel_size＝[2，2，2]，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝[1，1，1]，
输入影像经过卷积层后，时相方向：wout＝3，高度与宽度方向：wout＝2，即该卷积层输出特征响应图的尺寸为64@3×2×2，
接下来为激活层Activation，使用的激活函数是Relu，
激活层Activation之后为池化层MaxPool3D，池化层设定参数如下：
内核大小kernel_size＝[2，2，2]，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝[1，2，2]，
池化方式为最大池化，时相方向：wout＝3，高度与宽度方向：wout＝1，即池化层输出特征响应图的尺寸为64@3×1×1；
(d)Geo-3DCNN网络的第三部分由卷积层Conv3D、激活层Activation和池化层MaxPool3D组成，卷积层设定的参数如下：
滤波器的个数filters＝128，
内核大小kernel_size＝[2，2，2]，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝[1，1，1]，
输入影像经过卷积层后，时相方向：wout＝3，高度与宽度方向：wout＝1，即该卷积层输出特征响应图的尺寸为128@3×1×1，
接下来为激活层Activation，使用的激活函数是Relu，
激活层Activation之后为池化层MaxPool3D，池化层设定参数如下：
内核大小kernel_size＝[2，2...

【专利技术属性】
技术研发人员：顾玲嘉，杨舒婷，任瑞治，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22