基于多时序属性元素深度特征的小麦重度病害预测方法技术

本发明专利技术涉及基于多时序属性元素深度特征的小麦重度病害预测方法，与现有技术相比解决了无法针对小麦重度病害进行预测的缺陷。本发明专利技术包括以下步骤：基础数据的获取；小麦重度病害预测模型的构建；时序信息存储网络和深度卷积神经网络的联合训练；待预测图像和待预测环境信息数据的获取；小麦重度病害的预测。本发明专利技术从小麦病害发生的时序维度上图像、环境等多种特征因素出发，利用时序信息存储网络以及深度特征提取网络融合小麦重度病害多时序属性元素，自动学习和获知数据序列中不同时间段小麦病害的程度，从而实现针对于小麦重度病害的预测。

【技术实现步骤摘要】
基于多时序属性元素深度特征的小麦重度病害预测方法
本专利技术涉及农业植保预测
，具体来说是一种基于多时序属性元素深度特征的小麦重度病害预测方法。
技术介绍
当下农业大数据正在驱动农业生产向精准化、智能化转变，数据逐渐成为现代农业生产中新兴的生产要素。围绕农田环境下小麦病害大数据表示、识别与预测的模型研究仍处于起步阶段，无论在理论上还是算法上，都还不够完善。特别是，传统的小麦病害识别技术只能识别或预测出病害和非病害小麦，而对于小麦的病害程度则无法判断，而在实际应用中，重度病害的预测对于小麦病害的前期防治有着重要的作用。现有的小麦病害预测模型研究受限于以下两个方面：影响小麦病害发生的环境信息是复杂多因素，环境信息和获取的直观图像数据具有很高的相关性；其次，没有考虑到小麦病害数据时间观测之间的依赖关系，传统的基于线性回归或神经网络方法无法建模时序预测，以至于其无法预测出重度病害。小麦病害发生的过程要经历多个状态，对应很多的时间阶段。病害在每个时间段也呈现出不同的特征状态，重度病害是基于从无到有，从轻度、中度演变而来的，不同时间点之间又具有很高的相关性。因此，如何研发一种能够预测出小麦重度病害的方法已经成为急需解决的技术问题。
技术实现思路
本专利技术的目的是为了解决现有技术中无法针对小麦重度病害进行预测的缺陷，提供一种基于多时序属性元素深度特征的小麦重度病害预测方法来解决上述问题。为了实现上述目的，本专利技术的技术方案如下：一种基于多时序属性元素深度特征的小麦重度病害预测方法，包括以下步骤：基础数据的获取，获取无人机拍摄的多日图像数据集以及环境信息数据；小麦重度病害预测模型的构建，利用深度卷积神经网络以及时序信息存储网络融合小麦病害不同时间发生的环境、图像的语义和位置环境属性后，构造出小麦病害重度预测模型；时序信息存储网络和深度卷积神经网络的联合训练，将多日图像数据集作为深度卷积神经网络的训练样本、将环境信息数据作为时序信息存储网络的训练样本，进行两者的联合训练；待预测图像和待预测环境信息数据的获取；小麦重度病害的预测，将待预测图像和待预测环境信息数据输入模型，得到小麦重度病害的预测结果。所述小麦重度病害预测模型的构建包括以下步骤：环境信息数据和图像信息数据的时域联合学习，对小麦重度病害数据特征建模，选取影响小麦病害发生的若干种环境信息数据以及无人机拍摄的图像信息数据进行时域联合学习；将多次迭代的时序信息存储网络网络单元最终隐藏层状态h(t)作为输入传递进输出层，利用softmax函数估计重度病害的概率分布yt，yt＝softmax(W*ht+b)，其中，W、b为权值、偏置项。所述时序信息存储网络和深度卷积神经网络的联合训练包括以下步骤：对深度卷积神经网络进行端到端训练，使用ImageNet图像集预训练的模型进行初始化；时序信息存储网络的前向计算训练，使用预训练的深度卷积神经网络对不同时间段获得的图像数据提取特征，并按顺序通过时序信息存储网络前向计算每个神经元的输出值，时序信息存储网络计算it、ct、ft、ot、ht五个向量的值；同时微调深度卷积神经网络和时序信息存储网络的所有参数，反向计算每个神经元的误差项δ值；时序信息存储网络误差项的反向传播包括两个方向：一个是沿时间的反向传播，从当前t时刻开始，计算每个时刻的误差项；一个是将误差项向特征提取网络上层传播，根据相应的误差项，计算每个权重的梯度。所述环境信息数据和图像信息数据的时域联合学习包括以下步骤：设定时域上不变的环境属性元素，K、L、M分别表示品种、土壤类型、地形特征；设定时域上变化的属性元素，t＝1至t＝T时刻，时域上存在变换的气象Ct、土壤墒情特征描述St和图像It；时序信息存储网络更新规则设定如下：x0＝T1*A1，xt＝T2*{I,A2}t，t∈{1,...,T}，其中，A1为时域上不变的环境属性元素{K,L,M},A2为时域上变化的属性元素{It,Ct,St}，T1和T2分别为时序不变属性和时序变化属性的转换矩阵，时序信息存储网络的时序不变环境属性因子特征集为(x0,x1,x2,...,xT)；对特征数据进行归一化处理，把数据维度控制在0到1之间；设定时序信息存储网络模型的层数划分与时间点相一致,且每一层均设有输入和输出，时序信息存储网络模型首层输入时序不变环境属性因子特征x0，其影响结果持续传递到每一刻的预测中；时序信息存储网络模型层第n+1层的输入，图像经过深度特征提取网络后和时序变化环境属性因子融合共同作为时序信息存储网络模型第n+1层的输入，并按照不同时序拍摄的顺序依次输入时序信息存储网络模型的层次；设定时序信息存储网络单元模型的前向计算。所述设定时序信息存储网络单元模型的前向计算包括以下步骤：长时存储单元ct-1通过遗忘单元ft去遗忘丢弃信息；设定遗忘单元ft受当前时刻的外部输入xt、上一时刻的短时存储输出ht-1、上一时刻的长时存储ct-1的控制，其表达式如下：ft＝σ(Wxfxt+Whfht-1+Wcfct-1+bf)，Wxf、Whf、Wcf、bf分别表示外部输入，短时存储和长时存储的权重和偏置，；由当前时刻外部输入xt和上一时刻的短时存储输出ht-1计算出当前时刻的新信息由输入单元it控制将当前时刻的新信息写入长时存储单元，产生新的长时存储ct，其表达式如下：it＝σ(Wxixt+Whiht-1+Wcict-1+bi)，其中，it受xt、ht-1、ct-1的控制，it、ct、ft、ot分别为时序信息存储网络单元上输入单元、存储单元、遗忘单元、输出单元；其中，σ()表示S形的激活函数，·表示组件分量乘法，W是连接不同单元的权值矩阵；激活长时存储单元ct，准备输出；由输出单元ot把控，将至目前积累下来的存储ct选出部分相关的存储生成这一时刻关注的存储ht，再把这部分存储进行输出yt，ot＝σ(Wxoxt+Whoht-1+Wcoct1+bo)，ht＝ot·tanh(ct)，其中，输出单元ot受xt、ht-1和当前时刻的长时存储ct的控制。有益效果本专利技术的基于多时序属性元素深度特征的小麦重度病害预测方法，与现有技术相比从小麦病害发生的时序维度上图像、环境等多种特征因素出发，利用时序信息存储网络以及深度特征提取网络融合小麦重度病害多时序属性元素，自动学习和获知数据序列中不同时间段小麦病害的程度，从而实现针对于小麦重度病害的预测。本专利技术解决了从单一特征或数据源出发完成训练学习、缺少小麦病害发生时间上先后顺序模型分析的问题，利用时序信息存储网络单元能够应多个输入变量的问题，将其利用在病害严重度的时序预测上，充分利用了小麦病害发生的环境以及小麦图像的多时序属性信息。附图说明图1为本专利技术的方法顺序图。具体实施方式为使对本专利技术的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：如图1所示，本专利技术所述的基于多时序属性元素深度特征的小麦重度病害预测方法，包括以下步骤：第一步，基础数据的获取，获取无人机拍摄的多日图像数据集以及环境信息数据。其中，根据实际应用现场环境的需要，通常多日图像数据集可以包括轻度病害图像、中度病害图像和重度病害图像或近似病害发病、轻度病害、轻中度病害、中度病害图像和重度病害图像等本文档来自技高网...

【技术保护点】
1.一种基于多时序属性元素深度特征的小麦重度病害预测方法，其特征在于，包括以下步骤：11)基础数据的获取，获取无人机拍摄的多日图像数据集以及环境信息数据；12)小麦重度病害预测模型的构建，利用深度卷积神经网络以及时序信息存储网络融合小麦病害不同时间发生的环境、图像的语义和位置环境属性后，构造出小麦病害重度预测模型；13)时序信息存储网络和深度卷积神经网络的联合训练，将多日图像数据集作为深度卷积神经网络的训练样本、将环境信息数据作为时序信息存储网络的训练样本，进行两者的联合训练；14)待预测图像和待预测环境信息数据的获取；15)小麦重度病害的预测，将待预测图像和待预测环境信息数据输入模型，得到小麦重度病害的预测结果。

【技术特征摘要】
1.一种基于多时序属性元素深度特征的小麦重度病害预测方法，其特征在于，包括以下步骤：11)基础数据的获取，获取无人机拍摄的多日图像数据集以及环境信息数据；12)小麦重度病害预测模型的构建，利用深度卷积神经网络以及时序信息存储网络融合小麦病害不同时间发生的环境、图像的语义和位置环境属性后，构造出小麦病害重度预测模型；13)时序信息存储网络和深度卷积神经网络的联合训练，将多日图像数据集作为深度卷积神经网络的训练样本、将环境信息数据作为时序信息存储网络的训练样本，进行两者的联合训练；14)待预测图像和待预测环境信息数据的获取；15)小麦重度病害的预测，将待预测图像和待预测环境信息数据输入模型，得到小麦重度病害的预测结果。2.根据权利要求1所述的基于多时序属性元素深度特征的小麦重度病害预测方法，其特征在于，所述小麦重度病害预测模型的构建包括以下步骤：21)环境信息数据和图像信息数据的时域联合学习，对小麦重度病害数据特征建模，选取影响小麦病害发生的若干种环境信息数据以及无人机拍摄的图像信息数据进行时域联合学习；22)将多次迭代的时序信息存储网络网络单元最终隐藏层状态h(t)作为输入传递进输出层，利用softmax函数估计重度病害的概率分布yt，yt＝softmax(W*ht+b)，其中，W、b为权值、偏置项。3.根据权利要求1所述的基于多时序属性元素深度特征的小麦重度病害预测方法，其特征在于，所述时序信息存储网络和深度卷积神经网络的联合训练包括以下步骤：31)对深度卷积神经网络进行端到端训练，使用ImageNet图像集预训练的模型进行初始化；32)时序信息存储网络的前向计算训练，使用预训练的深度卷积神经网络对不同时间段获得的图像数据提取特征，并按顺序通过时序信息存储网络前向计算每个神经元的输出值，时序信息存储网络计算it、ct、ft、ot、ht五个向量的值；33)同时微调深度卷积神经网络和时序信息存储网络的所有参数，反向计算每个神经元的误差项δ值；时序信息存储网络误差项的反向传播包括两个方向：一个是沿时间的反向传播，从当前t时刻开始，计算每个时刻的误差项；一个是将误差项向特征提取网络上层传播，根据相应的误差项，计算每个权重的梯度。4.根据权利要求2所述的基于多时序属性元素深度特征的小麦重度病害预测方法，其特征在于，所述环境信息数据和图像信息数据的时域联合学习包括以下步骤：41)设定时域上不变的环境属性元素，K、L、M分别表示品种、土壤类型、地形特征；设定时域上变化的属性元素，t＝1至t＝T时刻，时域上存...

【专利技术属性】
技术研发人员：陈天娇，王儒敬，谢成军，张洁，李瑞，陈红波，胡海瀛，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：安徽,34