基于云覆盖遥感影像和深度学习的作物识别方法和系统技术方案

本发明专利技术公开了一种基于云覆盖遥感影像和深度学习的作物识别方法和系统，所述方法包括：S1,收集Sentinel‑2数据和作物地面样本数据；S2，对遥感影像进行预处理，并将云覆盖的像素标记为“0”；S3，提取训练样本的反射率时序数据；S4，利用本发明专利技术提出的Mask LSTM‑CNN模型和单波段时序数据对作物进行分类，并评估每个波段的分类精度；S5，根据单波段分类精度(OA或Kappa值)由大到小的排序依次建立波段数为2‑10的波段组合，对其分类精度进行评估，选择分类精度最高的波段或波段组合对研究区域作物进行识别。本发明专利技术解决了含有缺失值的时间序列影像的作物识别，避免了遥感数据的云处理操作和误差传递的风险，提高了作物识别的效率。

【技术实现步骤摘要】
基于云覆盖遥感影像和深度学习的作物识别方法和系统
本专利技术涉及农业遥感
，特别涉及一种基于云覆盖遥感影像和深度学习的作物识别方法和系统，适用于不同农田系统的农业遥感监测研究。
技术介绍
据联合国预测，到2050年世界人口将增至97亿，这对全球的粮食供应系统提出了巨大的挑战。农业遥感监测工作是保障国家粮食安全、农业资源可持续发展的重要手段；而作物类型图是农业遥感监测工作的重要组成部分，为作物生长监测、灾害评估、产量估计等提供基础数据。由于我国耕地破碎程度高、作物类型丰富、种植模式复杂，准确、高效地估计作物的面积和分布是一项艰巨的任务。季节性是作物最突出的特征之一，每类作物的物候演变产生了独特的光谱反射率时间分布。因此，多时相遥感数据成为监测作物生长动态并对其进行分类的有效数据源。随着越来越多的卫星系统以前所未有的规模和速度生成高空分辨率的时间序列影像，如Sentinel-2A/B、Gaofen-1/6等，为农业监测工作提供新机遇的同时，对传统的作物分类方法提出了挑战：1)如何更充分地利用这些多光谱时间序列影像；2)针对海量的遥感数据，作物分类算法需具有高效性和可移植性。目前，基于机器学习的作物识别方法，依赖于特征提取、数据融合等过程，增加了误差传递风险、忽略了时序数据的季节模式和顺序关系，这些都在一定程度上影像了作物识别的准确性。与经典机器学习方法相比，深度学习方法允许机器获取原始数据(例如原始图像的像素值)并自动发现手动模型无法表达的多级别特征。其中，递归神经网络(RNN)和一维卷积神经网络(1DCNN)具有提取长时间序列时域特征的能力。RNN通过循环连接为序列的每个元素执行相同的任务，每个输出值取决于先前的计算；长短期记忆(LSTM)RNN是RNN的变体，具有复杂的循环单位(LSTM)，用于解决随着时间序列增加而出现的梯度消失或爆炸的问题。而1DCNN通过一维卷积核提取时间序列的特征信息。尽管以上模型已被应用于作物制图领域，但这些工作主要使用无间隙的规则时间序列影像，例如微波数据、基于缺失值重建的光学数据(或植被指数)。此外，大多数高精度遥感影像缺失值重建的方法都很耗时；这些方法分别建立数据修复模型和作物分类模型，不仅操作复杂，而且结果具有一定的不确定性。实际上，深度学习算法在光学时间序列数据中的潜力尚未得到很好的探索。一方面，在早期的工作中已有研究探索了RNN在含缺失值序列数据中的应用，并将其用于语音识别和血糖预测；CNN模型已被证明能够通过卷积核对具有丢失信息的图像进行分类。另一方面，现有的卫星系统具有高频率采集数据的能力，更有利于作物类型特征的提取。
技术实现思路
本专利技术针对现有技术的不足提供一种基于云覆盖遥感影像和深度学习的作物识别方法和系统。本专利技术采用以下技术方案：一种基于云覆盖遥感影像和深度学习的作物识别方法，包括以下步骤：S1，收集遥感数据和作物地面样本数据；所述遥感数据为作物生育期内Sentinel-2时序数据；S2,对Sentinel-2影像进行预处理；S3，训练样本提取；S3-1,根据S1中获得的地面样本数据和S2获得的带有“0”标记的Sentinel-2时序数据，提取训练样本的时序数据；S3-2,采用L2-范数对样本进行通道归一化，所述通道为一个日期中Sentinel-2的一个波段；如果所有样本在一个通道上的记录为X＝(x1,x2,…,xn),通道的归一化如公式(1)所示：||X||2＝(|x1|2+|x2|2+…+|xn|2)1/2(1)式中，n为样本的个数，xn为第n个样本的反射率，X为归一化向量；S3-3,采用5-折交叉验证方法；由于每一类作物的样本量不同，为获取样本的无偏估计，在每一折交叉验证中，将每一类样本按照7:1:2的比例随机分为训练集、验证集和测试集，共得到5个训练集、验证集和测试集，分类结果取5个测试集的平均值；S4,单波段评估；利用S3中单波段的5个训练集、验证集和测试集依次训练MaskLSTM-CNN模型，测试精度为5个测试集的平均值，最后比较每个波段的分类精度；采用整体分类精度OA和Kappa系数来对作物的整体分类精度进行评价；同时还利用生产精度Aprod和用户精度Auser的调和平均值F1来评价每类作物的精度；式中，N为测试集样本的个数，r为作物类别数，xii为预测标签和真实标签都为第i类的数量，xi+为真实标签为第i类的数量，x+i为为预测标签为第i类的数量；S5,根据S4中评价的结果，根据OA由大到小的排序依次选择不同的波段组合，当两个波段的OA值相同时，选取Kappa值较大的波段；将不同的波段组合依次作为MaskLSTM-CNN模型的输入数据，评估每个组合的5-折交叉验证的平均分类精度，并与S4中的结果进行比较，选择分类精度最高的波段或波段组合对研究区域作物进行识别；根据每类作物的精度F1值，当对某一类作物进行识别时，可选取该作物F1值最高的波段或波段组合进行识别。所述的作物识别方法，步骤(1)中，所述遥感数据为作物生育期内Sentinel-2时序数据，包含Level-1C级产品中可见光B2～B4、红边B5～B7、近红外B8/B8A、短波红外B11/B12共计10个波段光谱数据。所述的作物识别方法，步骤(1)中，所述地面样本数据为作物类型和所在地理位置。所述的作物识别方法，步骤(2)中，包括大气校正、云识别、重采样步骤；所述大气校正采用sen2cor工具。所述的作物识别方法，步骤(2)中，所述云识别采用Fmask4.0算法识别影像中的云/云阴影像素，并将相应位置所有波段像素标记为“0”。所述的作物识别方法，步骤(2)中，所述重采样指将空间分辨率为20m的B5～B7、B8A、B11、B12影像重采样到10m。所述的作物识别方法，所述MaskLSTM-CNN模型包含两部分：MaskLSTM模块和CNN模块；(1)MaskLSTM模块利用掩膜机制Mask对“0”标记的元素进行过滤；设X＝(x1，x2，...，xT),式中,T作物生长季内Sentinel-2数据获取的次数,表示第t次数据获取的所有波段的值，表示第t次数据获取第d个波段的值；当时，相应的掩膜等于0，否则如公式(2)所示；在模型训练过程中，当时，变量d的第t-1个LSTM单元与第t+1个LSTM单元建立连接，如公式(3)-(8)所示；式中，f、i、o分别为LSTM单元的遗忘门、输入门和输出门；C的单元记忆状态；h为隐藏状态；W、b为相应的权重和偏置；(2)CNN模块利用卷积核计算对“0”标记的元素进行过滤一个基本的卷积模块由卷积层Conv和线性单元层Relu组成；假设每一个波段输入数据为X0,第一层卷积核的长度为k,那么第一层时间点t的输出值为见公式(9)，当时，提取的特征不包含该元素；...

【技术保护点】
1.一种基于云覆盖遥感影像和深度学习的作物识别方法，其特征在于，包括以下步骤：/nS1，收集遥感数据和作物地面样本数据；所述遥感数据为作物生育期内Sentinel-2时序数据；/nS2,对Sentinel-2影像进行预处理；/nS3，训练样本提取；/nS3-1,根据S1中获得的地面样本数据和S2获得的带有“0”标记的Sentinel-2时序数据，提取训练样本的时序数据；/nS3-2,采用L2-范数对样本进行通道归一化，所述通道为一个日期中Sentinel-2的一个波段；如果所有样本在一个通道上的记录为X＝(x

【技术特征摘要】
1.一种基于云覆盖遥感影像和深度学习的作物识别方法，其特征在于，包括以下步骤：
S1，收集遥感数据和作物地面样本数据；所述遥感数据为作物生育期内Sentinel-2时序数据；
S2,对Sentinel-2影像进行预处理；
S3，训练样本提取；
S3-1,根据S1中获得的地面样本数据和S2获得的带有“0”标记的Sentinel-2时序数据，提取训练样本的时序数据；
S3-2,采用L2-范数对样本进行通道归一化，所述通道为一个日期中Sentinel-2的一个波段；如果所有样本在一个通道上的记录为X＝(x1,x2,…,xn),通道的归一化如公式(1)所示：
||X||2＝(|x1|2+|x2|2+…+|xn|2)1/2(1)
式中，n为样本的个数，xn为第n个样本的反射率，X为归一化向量；
S3-3,采用5-折交叉验证方法；由于每一类作物的样本量不同，为获取样本的无偏估计，在每一折交叉验证中，将每一类样本按照7:1:2的比例随机分为训练集、验证集和测试集，共得到5个训练集、验证集和测试集，分类结果取5个测试集的平均值；
S4,单波段评估；利用S3中单波段的5个训练集、验证集和测试集依次训练MaskLSTM-CNN模型，测试精度为5个测试集的平均值，最后比较每个波段的分类精度；
采用整体分类精度OA和Kappa系数来对作物的整体分类精度进行评价；同时还利用生产精度Aprod和用户精度Auser的调和平均值F1来评价每类作物的精度；









式中，N为测试集样本的个数，r为作物类别数，xii为预测标签和真实标签都为第i类的数量，xi+为真实标签为第i类的数量，x+i为为预测标签为第i类的数量；
S5,根据S4中评价的结果，根据OA由大到小的排序依次选择不同的波段组合，当两个波段的OA值相同时，选取Kappa值较大的波段；将不同的波段组合依次作为MaskLSTM-CNN模型的输入数据，评估每个组合的5-折交叉验证的平均分类精度，并与S4中的结果进行比较，选择分类精度最高的波段或波段组合对研究区域作物进行识别；根据每类作物的精度F1值，当对某一类作物进行识别时，可选取该作物F1值最高的波段或波段组合进行识别。


2.根据权利要求1所述的作物识别方法，其特征在于，步骤(1)中，所述遥感数据为作物生育期内Sentinel-2时序数据，包含Level-1C级产品中可见光B2～B4、红边B5～B7、近红外B8/B8A、短波红外B11/B12共计10个波段光谱数据。


3.根据权利要求2所述的作物识别方法，其特征在于，步骤(1)中，所述地面样本数据为作物类型和所在地理位置。


4.根据权利要求1所述的作物识别方法，其特征在于，步骤(2)中，包括大气校正、云识别、重采样步骤；所述大气校正采用sen2cor工具。


5.根据权利要求4所述的作物识别方法，其特征在于，步骤(2)中，所述云识别采用Fmask4.0算法识别影像中的云/云阴影像素，并将相应位置所有波段像素标记为“0”。


6.根据权利要求4所述的作物识别方法，其特征在于，步骤(2)中，所述重采样指将空间分辨率为20m的B5～B7、B8A、B11、B12影像重采样到10m。


7.根据权利要求1所述的作物识别方法，其特征在于，所述MaskLSTM-CNN模型包含两部分：MaskLSTM模块和CNN模块；
(1)MaskLSTM模块利用掩膜机制Mask对“0”标记的元素进行过滤；设X＝(x1，x2，...，xT),式中,T作物生长季内Sentinel-2数据获取的次数,表示第t次数据获取的所有...

【专利技术属性】
技术研发人员：赵红伟，陈仲新，孙亮，刘佳，
申请(专利权)人：中国农业科学院农业资源与农业区划研究所，
类型：发明
国别省市：北京;11