一种基于多模态数据融合的农作物生长估计模型构建方法技术

一种基于多模态数据融合的农作物生长估计模型构建方法，属于农作物识别技术领域。为解决农作物生长过程中针对多种农作物普遍适用且估计准确的问题。本发明专利技术构建农作物图像训练集、农作物图像测试集、传感器数据训练集，传感器数据测试集；利用线性投影方法，将农作物图像训练集中的农作物图像输入卷积神经网络进行图像特征提取，利用传感器感知机方法，将传感器数据训练集中的传感器数据输入多层感知机神经网络进行传感器数据特征提取，利用Transformer编码器融合后进行拼接处理，然后经过池化、线性变换后输出为农作物生长评价指标，进行多模态数据融合的农作物生长估计。本发明专利技术适用于多种作物，大大减少了重新训练网络的时间。的时间。的时间。

【技术实现步骤摘要】
一种基于多模态数据融合的农作物生长估计模型构建方法


[0001]本专利技术属于农作物识别
，具体涉及一种基于多模态数据融合的农作物生长估计模型构建方法。

技术介绍

[0002]农作物生长建模是实时精准农业的重要一环。生长阶段信息可以帮助人们分析农作物生长过程与农业气象条件之间的关系，从而为作物增产提供高效的农业服务。
[0003]农作物生长包括作物生长状况与变化趋势，可用个体与群体特征描述。个体特征是作物自身组成与结构特性参数，描述作物个体特征。群体特征主要是指作物生长态势在一定空间范围内的整体分布情况，描述作物群体特征参数。不同品种作物在不同地区和生长期有不同的个体特征和群体特征。快速获取作物个体及群体特征，了解并掌握作物的生长状况，可以为农业生产精准管理与产量估计提供支撑。现有技术如下：
[0004]传统方法：常规地面观测。以定点定期观测为主，定期观测农作物发育期、生长状况、生长量等，并实时上传观测数据，以实时苗情、发育期进度与常年对比等形式开展全国范围内的农作物生长监测评估。卫星遥感监测。主要利用卫星遥感反演的农作物参数，如归一化植被指数或叶面积指数，实现作物生长状况、产量及动态变化大范围宏观、快速监测。现有遥感图像数据与农作物的叶面积指数数据同化，用来改进农作物生长建模，以提高其在区域尺度上农作物生长建模的可靠性。传统农作物生长建模方法对数据维度要求高，模型对数据敏感，如果采集直接反映农作物生长的数据，则难度高，成本高。
[0005]通过农作物图像检测：用于从高空间分辨率(通常是近端图像)中提取关键谷类作物生长指标的图像处理技术。通过将相机放置在树冠上方，可以获得高分辨率图像。无人驾驶飞行器(UAV或无人机)技术的最新进展已经实现了经济实惠的低空、高分辨率图像采集。无人机可以在几分钟内获得整个场地的高分辨率图像测量，数据采集更加容易。与遥感卫星手段类似，无人机的监测同样存在精度和数据标注的难题。应用CNN模型通过使用从无人驾驶飞行器(UAV)获得的NDVI和RGB图像来完成农作物生长建模。但是仅图像收集的数据容易受环境因素影响，没有考虑到气象、土壤等外在因素。
[0006]通过传感器数据完成农作物生长建模：很多研究都集中在无人机或卫星遥感采集的多尺度作物图像上，用于农作物生长和产量估计。这些图像数据反映了作物的表型特征。作物表型的动态变化，如叶面积指数，被用来估计大区域的作物生长。但是存在以下问题：
[0007]数据不确定性问题：传统的机理模型需要大量的实测数据来进行模拟和估计，但实测数据本身也存在不确定性。例如，由于传感器故障或数据采集不完整等原因，实测数据可能会存在误差或缺失，这会影响机理模型的精度和可靠性。
[0008]数据质量问题：机理模型需要高质量的实测数据来对模型参数进行估计和优化，但实测数据质量不高可能会导致模型参数的误差和偏差，进而影响模型的应用效果。此外，如果实测数据的质量不同，那么模型的适用范围和精度也会受到影响。
[0009]数据缺失问题：由于各种原因，如传感器故障、天气原因等，实测数据可能存在缺
失。在这种情况下，需要通过一定的方法来对缺失数据进行填补，以保证模型的可靠性和精度。但是，填补后的数据可能会存在偏差或误差，这会影响机理模型的精度和可靠性。
[0010]数据量问题：机理模型需要的数据量通常很大，涉及的因素也比较多，包括土壤性质、气象数据、植物生理数据等。如果数据量不足，可能会影响模型的应用效果和精度。
[0011]数据共享问题：机理模型需要的数据可能来自不同的来源，这些数据的共享和整合也是一个难点。在数据共享和整合的过程中，需要考虑数据的一致性和可比性，以保证模型的可靠性和精度。但是，由于各种原因，数据共享和整合可能会存在困难，这会影响机理模型的应用效果和精度。

技术实现思路

[0012]本专利技术要旨在解决农作物生长过程中针对多种农作物普遍适用且估计准确的问题，提出一种基于多模态数据融合的农作物生长估计模型构建方法。
[0013]为实现上述目的，本专利技术通过以下技术方案实现：
[0014]一种基于多模态数据融合的农作物生长估计模型构建方法，包括如下步骤：
[0015]S1、采集农作物图像及对应的传感器数据，将采集的农作物图像及对应的传感器数据进行预处理和清洗，得到农作物图像训练集、农作物图像测试集、传感器数据训练集，传感器数据测试集；
[0016]S2、利用线性投影方法，将步骤S1得到的农作物图像训练集中的农作物图像输入卷积神经网络进行图像特征提取，输出为农作物图像特征图；
[0017]S3、利用传感器感知机方法，将步骤S1得到的传感器数据训练集中的传感器数据输入多层感知机神经网络进行传感器数据特征提取，输出为传感器特征图；
[0018]S4、利用Transformer编码器融合方法，将步骤S2得到的农作物图像特征图、步骤S3得到的传感器特征图输入Transformer编码器进行循环处理，输出Transformer编码器融合的农作物图像特征图、Transformer编码器融合的传感器特征图；
[0019]S5、将步骤S4得到的Transformer编码器融合的农作物图像特征图、Transformer编码器融合的传感器特征图进行拼接处理，然后经过池化、线性变换后输出为农作物生长评价指标为，进行多模态数据融合的农作物生长估计。
[0020]进一步的，步骤S1采集农作物图像的方法为采取固定相机拍摄，设置拍摄图像格式为jpg、分辨率为3840*2160，每一种作物固定3
‑
6个点位，以俯视的角度拍摄农作物，拍摄高度设置为3
‑
3.5米，每次拍摄的时间间隔为1
‑
2小时。
[0021]进一步的，步骤S1采集传感器数据的时间和采集农作物图像的时间对应一致，采集传感器数据包括二氧化碳浓度、距地表10cm的土壤温度、距地表20cm的土壤温度、距地表30cm的土壤温度、距地表40cm的土壤温度、距地表50cm的土壤温度、距地表10cm的土壤湿度、距地表20cm的土壤湿度、距地表30cm的土壤湿度、距地表40cm的土壤湿度、距地表50cm的土壤湿度、空气湿度、PM10、PM2.5、空气压强、光照强度、空气温度、风向、风速。
[0022]进一步的，步骤S2所述卷积神经网络为由卷积层、池化层、全连接层和非线性激活函数组成的多层神经网络，每个卷积层都由768个卷积核组成，每个卷积核用于提取输入农作物图像中的一种特征，卷积核在输入的农作物图像上进行滑动并计算卷积操作，得到一张特征图，通过768个卷积核的组合，提取农作物图像中的不同的生长特征，输出农作物图
像特征图，计算公式为：
[0023]I'＝Conv(I)
[0024]其中I'为输出的农作物图像特征图，I为输入的农作物图像，Conv为卷积运算。
[0025]进一步的，步骤S3的具体实现方法包括如下步骤：
[0026]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据融合的农作物生长估计模型构建方法，其特征在于，包括如下步骤：S1、采集农作物图像及对应的传感器数据，将采集的农作物图像及对应的传感器数据进行预处理和清洗，得到农作物图像训练集、农作物图像测试集、传感器数据训练集，传感器数据测试集；S2、利用线性投影方法，将步骤S1得到的农作物图像训练集中的农作物图像输入卷积神经网络进行图像特征提取，输出为农作物图像特征图；S3、利用传感器感知机方法，将步骤S1得到的传感器数据训练集中的传感器数据输入多层感知机神经网络进行传感器数据特征提取，输出为传感器特征图；S4、利用Transformer编码器融合方法，将步骤S2得到的农作物图像特征图、步骤S3得到的传感器特征图输入Transformer编码器进行循环处理，输出Transformer编码器融合的农作物图像特征图、Transformer编码器融合的传感器特征图；S5、将步骤S4得到的Transformer编码器融合的农作物图像特征图、Transformer编码器融合的传感器特征图进行拼接处理，然后经过池化、线性变换后输出为农作物生长评价指标，进行多模态数据融合的农作物生长估计。2.根据权利要求1所述的一种基于多模态数据融合的农作物生长估计模型构建方法，其特征在于，步骤S1采集农作物图像的方法为采取固定相机拍摄，设置拍摄图像格式为jpg、分辨率为3840*2160，每一种作物固定3
‑
6个点位，以俯视的角度拍摄农作物，拍摄高度设置为3
‑
3.5米，每次拍摄的时间间隔为1
‑
2小时。3.根据权利要求1或2所述的一种基于多模态数据融合的农作物生长估计模型构建方法，其特征在于，步骤S1采集传感器数据的时间和采集农作物图像的时间对应一致，采集传感器数据包括二氧化碳浓度、距地表10cm的土壤温度、距地表20cm的土壤温度、距地表30cm的土壤温度、距地表40cm的土壤温度、距地表50cm的土壤温度、距地表10cm的土壤湿度、距地表20cm的土壤湿度、距地表30cm的土壤湿度、距地表40cm的土壤湿度、距地表50cm的土壤湿度、空气湿度、PM10、PM2.5、空气压强、光照强度、空气温度、风向、风速。4.根据权利要求3所述的一种基于多模态数据融合的农作物生长估计模型构建方法，其特征在于，步骤S2所述卷积神经网络为由卷积层、池化层、全连接层和非线性激活函数组成的多层神经网络，每个卷积层都由768个卷积核组成，每个卷积核用于提取输入农作物图像中的一种特征，卷积核在输入的农作物图像上进行滑动并计算卷积操作，得到一张特征图，通过768个卷积核的组合，提取农作物图像中的不同的生长特征，输出农作物图像特征图，计算公式为：I'＝Conv(I)其中I'为输出的农作物图像特征图，I为输入的农作物图像，Conv为卷积运算。5.根据权利要求4所述的一种基于多模态数据融合的农作物生长估计模型构建方法，其特征在于，步骤S3的具体实现方法包括如下步骤：S3.1、所述多层感知机神经网络由输入层、3个隐藏层和输出层组成，将步骤S1得到的传感器数据在输入层首先与权重矩阵相乘，然后加上偏置项，得到线性组合的结果，接着，线性组合的结果通过激活函数进行非线性变换，得到该层的输出，该层的输出又作为下一层的输入，重复上述过程，直到输出层输出传感器特征图；
激活函数的表达式为：f(x)＝max(0,x)多层感知机神经网络通过前向传播计算输出层的输出，前向传播的计算表达式为：h
(l)
＝f(W(l)h(l
‑
1)+b
(l)
)其中，h
(l)
表示第l层的输出，W
(l)
和b
(l)
分别表示第l层的权重矩阵和偏置项，f表示激活函数；S3.2、然后所述多层感知机神经网络通过反向传播算法计算损失函数对权重和偏置的偏导数，并利用梯度下降法对权重和偏置进行更新，从而最小化损失函数，设置L表示损失函数，h
(l)
表示第l层的输出，则损失函数对第l层参数的梯度的计算表达式为：其中，表示损失函数对第l层输出的梯度，通过计算损失函数对第l+1层输出的梯度得到，表示第l层输出对第l层权重矩阵的梯度。6.根据权利要求5所述的一种基于多模态数据融合的农作物生长估计模型构建方法...

【专利技术属性】
技术研发人员：王玲，李俊生，任荣荣，吴国龙，刘劼，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：