一种作物冠层表型信息提取方法技术

本发明专利技术公开了一种作物冠层表型信息提取方法

【技术实现步骤摘要】
一种作物冠层表型信息提取方法、电子设备及存储介质


[0001]本专利技术涉及图像处理
，更具体地说，涉及一种作物冠层表型信息提取方法
、
电子设备及存储介质
。

技术介绍

[0002]作物冠层表型信息如作物覆盖度
、
叶面积指数和冠层宽度等是育种工作的重要参考
。
其中，冠层覆盖度反映作物与杂草竞争土壤养分和光照的能力；叶面积指数是作物区域物质循环和能量流动过程等研究的重要指标；冠层宽度是反映作物群体特征
、
作物冠层结构长势的重要株型参数
。
因此，提供一种面向高分辨率遥感影像中作物冠层表型信息提取方法，高通量
、
准确地获取作物冠层表型信息对育种工作中作物长势分析
、
产量估测等任务具有十分重要的现实意义
。
[0003]基于
RGB
图像的低空无人机遥感技术具有高时效性
、
高通量
、
低成本等优势，可作为作物冠层数据采集的关键技术手段
。
传统图像处理算法缺乏对颜色
、
纹理特征的鲁棒性，且过于依赖人工设计特征
。
深度学习的出现克服了传统的图像处理算法的不足，目前已经被大量使用在计算机视觉
、
自然语言处理
、
语音识别等多个领域
。
[0004]在计算机视觉领域中，图像的语义分割是一个像素级任务，其目的是聚集属于同一目标的像素，从而在像素级别理解图像
。
随着深度学习技术的不断发展，语义分割技术在农业
、
遥感领域广泛应用
。
然而由于作物生长环境的复杂性和田间作物品种
、
实际种植情况的多样性，基于语义分割的作物冠层表型信息提取工作还存在如下问题：
①
自然环境下，存在光照多变
、
背景复杂等因素，同时由于大田不同种植规范导致的作物生长分布差异性，语义分割模型对作物特征的提取方式与提取能力难以满足实际需求；
②
对田间作物图像的语义分割过程中，一个像素点所属类别的划分不仅由该像素点决定，还受其邻域像素点特征反映的作物种植方式
、
作物种植密度等信息所影响
。
若仅基于单个像素点特征对其进行类别划分，易导致像素点分类错误
、
语义分割效果不佳
、
作物冠层表型信息提取精度低；
③
不同品种作物的大小特性和同种作物的不同基因型均会导致作物个体在尺度上存在差异，随着语义分割模型中特征提取网络层数的加深，频繁的下采样操作导致小尺度作物或长势稀疏的作物品种难以得到有效分割
。

技术实现思路

[0005]1.
专利技术要解决的技术问题针对作物生长环境的复杂性和田间作物品种
、
实际种植情况的多样性导致作物冠层表型信息提取效果不佳的问题，本专利技术提供了一种作物冠层表型信息提取方法
、
电子设备及存储介质，本专利技术采用编码器
‑
解码器架构设计面向作物冠层表型信息提取的语义分割模型，融合基于多维权重聚合的动态卷积神经网络与基于级联自注意力的作物特征提取网络，增强特征提取网络对环境因素和作物生长分布差异的鲁棒性
。
在模型编
、
解码器连接处引入作物上下文信息提取模块，并联有效的空洞卷积组合捕获作物冠层像素点与其邻域
像素点特征以辅助分类决策，进而提升模型对作物冠层像素与背景像素的辨别能力
。
构建作物多尺度特征聚合模块优化解码器结构，充分利用各解码模块生成的多尺度特征并根据重要性权重进行聚合，提升模型对由于作物特性或基因型导致的小尺度作物个体的识别效果
。
本专利技术适用于多种作物的叶面积指数
、
冠层宽度
、
冠层长度
、
冠层覆盖度和长势情况等表型信息的有效提取，能够提升作物冠层表型信息的提取效率与精度，具有输出结果鲁棒
、
收敛快速且稳定的特点
。
[0006]2.
技术方案为达到上述目的，本专利技术提供的技术方案为：本专利技术第一方面提供一种作物冠层表型信息提取方法，所述方法包括如下步骤：
S110
：获取田间作物高分辨率遥感图像，将所述田间作物高分辨率遥感图像归一化处理，将归一化处理后的图像随机切片为
512
×
512
大小得到作物切片图像，标注作物切片图像建立作物冠层数据集并划分为训练集
、
验证集和测试集；
S120
：构建基于多维权重聚合的动态卷积神经网络，所述基于多维权重聚合的动态卷积神经网络由基于多维注意力的动态卷积模块残差连接堆叠而成，所述基于多维注意力的动态卷积模块包括多维注意力提取模块和多维注意力聚合模块；
S130
：构建基于级联自注意力的作物特征提取网络，所述基于级联自注意力的作物特征提取网络包括固定间隔自注意力模块
、
局部分区自注意力模块和随机窗口自注意力模块；
S140
：构建作物上下文信息提取模块，所述提取模块由并行连接的不同空洞率空洞卷积模块
、
作物上下文信息交互融合子模块构成；
S150
：构建作物多尺度特征聚合模块，所述作物多尺度特征聚合模块首先拼接不同尺度特征，再以双分支聚合特征并分别添加可学习参数以平衡重要性权重，最后残差连接各分支结果得到输出特征图；
S160
：配置面向作物冠层表型信息提取的语义分割模型
。
所述面向作物冠层表型信息提取的语义分割模型包括编码器结构
、
解码器结构和跳跃连接结构；
S170
：输入作物图像数据训练步骤
S160
所述面向作物冠层表型信息提取的语义分割模型，训练结果可用于后续作物表型信息提取；
S180
：计算作物冠层表型信息，计算的表型信息包括但不限于叶面积指数
、
冠层宽度
、
冠层长度
、
冠层覆盖度和长势情况
。
[0007]作为一个示例，所述步骤
S120
中基于多维权重聚合的动态卷积神经网络构建方法包括：构建基于多维注意力的动态卷积模块，所述基于多维注意力的动态卷积模块包括多维注意力提取模块和多维注意力聚合模块；所述多维注意力提取模块可根据输入样本，计算不同维度上的注意力权重；所述多维注意力聚合模块，将计算出的注意力权重与卷积核参数进行聚合；残差连接结构将所述基于多维注意力的动态卷积模块构建为作物特征提取模块；分别构建第一作物特征提取模块
、
第二作物特征提取模块和第三作物特征提取模块，输入的作物切片图像通过一系列依次连接的作物本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种作物冠层表型信息提取方法，其特征在于，包括如下步骤：
S110
：获取田间作物高分辨率遥感图像，将所述田间作物高分辨率遥感图像归一化处理，将归一化处理后的图像随机切片，得到作物切片图像，标注作物切片图像建立作物冠层数据集；
S120
：构建基于多维权重聚合的动态卷积神经网络，所述神经网络由基于多维注意力的动态卷积模块残差连接堆叠而成，所述基于多维注意力的动态卷积模块包括多维注意力提取模块和多维注意力聚合模块；
S130
：构建基于级联自注意力的作物特征提取网络，所述提取网络包括固定间隔自注意力模块
、
局部分区自注意力模块和随机窗口自注意力模块；
S140
：构建作物上下文信息提取模块，所述提取模块由并行连接的不同空洞率空洞卷积模块
、
作物上下文信息交互融合子模块构成；
S150
：构建作物多尺度特征聚合模块，所述聚合模块首先拼接不同尺度特征，再以双分支聚合特征并分别添加可学习参数以平衡重要性权重，最后残差连接各分支结果得到输出特征图；
S160
：配置面向作物冠层表型信息提取的语义分割模型，所述语义分割模型包括编码器结构
、
解码器结构和跳跃连接结构；
S170
：输入作物图像数据训练步骤
S160
所述语义分割模型，训练结果用于后续作物表型信息提取；
S180
：计算作物冠层表型信息，计算的表型信息包括但不限于叶面积指数
、
冠层宽度
、
冠层长度
、
冠层覆盖度和长势情况
。2.
根据权利要求1所述的一种作物冠层表型信息提取方法，其特征在于，步骤
S120
中，所述多维注意力提取模块根据输入样本，计算不同维度上的注意力权重；所述多维注意力聚合模块，将计算出的注意力权重与卷积核参数进行聚合；残差连接结构将所述基于多维注意力的动态卷积模块构建为作物特征提取模块；并分别构建第一作物特征提取模块
、
第二作物特征提取模块和第三作物特征提取模块，三个串联的作物特征提取模块构成基于多维权重聚合的动态卷积神经网络；输入的作物切片图像通过一系列依次连接的作物特征提取模块提取不同感受野下的语义特征
。3.
根据权利要求2所述一种作物冠层表型信息提取方法，其特征在于，步骤
S130
中，所述固定间隔自注意力模块用于感知作物整体分布特征，该模块将输入特征图按超参数指定的切片数量进行划分，进而对每个切片中的像素点按从上至下
、
从左至右进行编号，最后对相同编号的像素点按组分别进行多头自注意力运算；所述局部分区自注意力模块用于充分提取每个地块中作物冠层特征，该模块将输入特征图划分为固定大小切片，进而对每个固定大小切片内所有像素点进行多头自注意力运算；所述随机窗口自注意力模块用于增强模型对作物种植标准差异的鲁棒性，该模块将输入特征图按超参数指定的窗口数量进行划分，随机抽取每个窗口内的单个像素点按组分别进行多头自注意力运算；固定间隔自注意力模块
、
局部分区自注意力模块和随机窗口自注意力模块以级联的形
式构建基于级联自注意力的作物特征提取基础模块，并将基于级联自注意力的作物特征提取基础模块重复堆叠构建基于级联自注意力的作物特征提取网络
。4.
根据权利要求3所述一种作物冠层表型信息提取方法，其特征在于，步骤
S140
中，所述作物上下文信息提取模块构建与输入处理过程包括：配置满足作物冠层表型信息提取需求感受野大小的空洞率组合；根据所述空洞率组合构建空洞卷积模块；并联...

【专利技术属性】
技术研发人员：饶元，万天与，王坦，金秀，侯文慧，高祥，王玉伟，柳迎春，朱军，
申请(专利权)人：安徽农业大学，
类型：发明
国别省市：