一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法技术

本发明专利技术属于植物科学研究领域，公开了一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，首先，在3D

【技术实现步骤摘要】
一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法


[0001]本专利技术属于植物科学研究领域，尤其涉及一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法。

技术介绍

[0002]植物叶片的光合作用、蒸腾作用等生物过程与叶片的生化参量如叶片叶绿素含量、水分含量有着密切联系。以罗勒叶片和辣椒叶片为例，罗勒是我国南方地区温室栽培较多的草本香料经济作物，其叶片可鲜食或晒干入药，罗勒叶片中叶绿素的含量直接影响罗勒的生长发育、营养水平和经济产量。辣椒属于浅根性植物，木栓化程度较高，不耐旱，严重的水分胁迫易对辣椒的生理机制造成重大的损害。植物叶片受到上述生化参量的影响，其对应的可见
‑
近红外光谱也会表现出不同的响应特征。高光谱成像作为一种图谱合一的技术，可以同时获得图像上每个像素点的连续光谱信息和每个光谱波段的连续图像信息，其光谱维度由可见光到红外波长范围内的上百个连续波段组成，具有分辨率高、波段信息丰富、快速无损等诸多优势，已被广泛应用于植物表型研究领域。由于高光谱图像三维数据块存在光谱维度高、相邻波段信息冗余和标签样本有限等问题，而传统的高光谱图像分析过程较为繁琐、分析结果依赖于专家经验，因此我们需要建立一种高效的叶片高光谱图像分类和回归的方法，这为后续植物生化参数含量预测和胁迫诊断模型的建立奠定基础。
[0003]目前在植物科学研究领域，以卷积神经网络(CNN)为代表的深度学习模型越来越多地应用于高光谱图像的分析。CNN通过多层卷积和池化操作自主学习和提取数据的局部和全局特征。根据CNN的卷积核结构，可分为一维CNN(1D
‑
CNN)，二维CNN(2D
‑
CNN)和三维CNN(3D
‑
CNN)。1D
‑
CNN是当前应用最多的高光谱图像分析模型，基于一维光谱数据进行深度光谱特征的提取和建模，通常需要事先手动提取样本感兴趣区域(ROI)的平均光谱或像素点光谱，已应用于棉花种子的分类，玉米植株低温胁迫的识别，玉米植株水分含量的预测，黑枸杞总花青素的定量，韭菜叶片杀虫剂残留的检测等。2D
‑
CNN主要提取深度空间特征，可对原始或降维后的高光谱图像进行分析建模，已应用于苹果叶片状态分类，抗病水稻种子的识别，土豆植株冠层染病区域的识别，玉米种子活力的评估等。相比于1D
‑
CNN和2D
‑
CNN分别在光谱和空间维度上的特征学习，3D
‑
CNN能端到端地提取深度光谱
‑
空间联合特征，同时保持相邻光谱波段特征的信息连续性，尤其适用于具有空谱连续性的高光谱图像三维数据块的分析。
[0004]目前3D
‑
CNN在植物科学领域的应用还较少，仅有在大豆茎杆病害检测和棉花叶片蚜虫检测的报道，这是由于植物研究中标签样本的获取难度大且耗费时间多，并且3D
‑
CNN网络参数量大、计算复杂度高，对于植物研究中有限的标签训练样本易发生过拟合现象，泛化性能降低。因此，在植物科学研究领域，亟需探究一种针对叶片高光谱图像分类和回归的改进3D
‑
CNN模型，在训练样本有限情况下降低模型计算复杂度，同时提高模型泛化性能。

技术实现思路

[0005]本专利技术目的在于提供一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法,以解决上述的技术问题。
[0006]为解决上述技术问题，本专利技术的一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法的具体技术方案如下：
[0007]一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，包括以下步骤：
[0008]S1：搭建高光谱成像系统；
[0009]S2：采集罗勒叶片和辣椒叶片样本的高光谱图像，并对图像预处理；
[0010]S3：将扩张卷积引入3D
‑
CNN，在不增加网络参数和计算复杂度的同时扩大卷积核的感受野，并构建不同尺度的谱空特征提取结构，实现多尺度特征的融合，探究出最佳
[0011]多尺度3D
‑
CNN网络结构；
[0012]S4：在S3所述的最佳多尺度3D
‑
CNN网络后级联1D
‑
CNN网络，以三维数据作为输入，在谱空联合特征提取的基础上学习更加抽象的光谱特征，并对提出的多尺度3D
‑
1D
‑
CNN网络进行最优框架探索；
[0013]S5：将S4所述的多尺度3D
‑
1D
‑
CNN网络的最优框架与基准1D
‑
CNN、基准2D
‑
CNN、基准3D
‑
CNN、多尺度3D
‑
CNN网络模型进行比较，验证所述方法的有效性。
[0014]进一步地，所述S1：搭建高光谱成像系统包括获取样本的高光谱图像，设置光谱波段范围以及空间分辨率，并对原始高光谱图像进行校正。
[0015]进一步地，所述高光谱成像系统包括SNAPSCAN VNIR光谱相机、35mm镜头、150W的环形卤钨灯光源、图像采集软件和图像采集平台；所述光谱波段范围是470
‑
900nm，共140个波段；所述SNAPSCAN VNIR光谱相机采用内置扫描成像方式快速获取样本的高光谱图像，不需要相机或样本的相对位移，所述SNAPSCAN VNIR光谱相机的最大空间分辨率为3650
×
2048，数据采集中的实际空间分辨率根据叶片样本尺寸调整；所述35mm镜头与样本的垂直距离为34.5cm，曝光时间设置为30ms；所述高光谱成像系统采集到的原始高光谱图像进行如下黑白校正，以计算样本的反射率，同时减小光照度和相机暗电流对不同样本谱图获取的影响：
[0016][0017]其中R0和R分别为校正前和校正后的高光谱图像，W和D分别为白板参照图像和暗电流参照图像。
[0018]进一步地，S2所述罗勒叶片，在人工LED光照栽培下的甜罗勒实施3种不同的光强处理，在罗勒生长40天时开展数据采集，测定叶绿素相对值，采集高光谱图像540张；S2所述辣椒叶片，对栽培50天长势一致的健康辣椒植株实施两种水分处理，对照组样本正常灌溉，实验组样本实施五天持续性干旱，采集600张高光谱图像；
[0019]高光谱图像和相应标签数据对是通过自定义python函数来进行读取。
[0020]进一步地，S2所述图像预处理包括背景分割、噪音点去除、尺寸调整；
[0021]所述背景分割方式为：采用叶片和背景光谱反射率差异最大的800nm近红外波段作为背景分割的阈值波段，阈值设为0.15；
[0022]所述噪音点去除的方法为：利用opencv
‑
python中的形态学变换，实现噪点去除；
[0023]所述尺寸调整为：将空间维统一缩减为120
×
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，包括以下步骤：S1：搭建高光谱成像系统；S2：采集罗勒叶片和辣椒叶片样本的高光谱图像，并对图像预处理；S3：将扩张卷积引入3D
‑
CNN，在不增加网络参数和计算复杂度的同时扩大卷积核的感受野，并构建不同尺度的谱空特征提取结构，实现多尺度特征的融合，探究出最佳多尺度3D
‑
CNN网络结构；S4：在S3所述的最佳多尺度3D
‑
CNN网络后级联1D
‑
CNN网络，以三维数据作为输入，在谱空联合特征提取的基础上学习更加抽象的光谱特征，并对提出的多尺度3D
‑
1D
‑
CNN网络进行最优框架探索；S5：将S4所述的多尺度3D
‑
1D
‑
CNN网络的最优框架与基准1D
‑
CNN、基准2D
‑
CNN、基准3D
‑
CNN、多尺度3D
‑
CNN网络模型进行比较，验证所述方法的有效性。2.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，所述S1：搭建高光谱成像系统包括获取样本的高光谱图像，设置光谱波段范围以及空间分辨率，并对原始高光谱图像进行校正。3.根据权利要求2所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，所述高光谱成像系统包括SNAPSCAN VNIR光谱相机、35 mm镜头、150W的环形卤钨灯光源、图像采集软件和图像采集平台；所述光谱波段范围是470
‑
900nm，共140个波段；所述SNAPSCAN VNIR光谱相机采用内置扫描成像方式快速获取样本的高光谱图像，不需要相机或样本的相对位移，所述SNAPSCAN VNIR光谱相机的最大空间分辨率为3650
×
2048，数据采集中的实际空间分辨率根据叶片样本尺寸调整；所述35mm镜头与样本的垂直距离为34.5cm，曝光时间设置为30ms；所述高光谱成像系统采集到的原始高光谱图像进行如下黑白校正，以计算样本的反射率，同时减小光照度和相机暗电流对不同样本谱图获取的影响：其中R0和R分别为校正前和校正后的高光谱图像，W和D分别为白板参照图像和暗电流参照图像。4.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，S2所述罗勒叶片，在人工LED光照栽培下的甜罗勒实施3种不同的光强处理，在罗勒生长40天时开展数据采集，测定叶绿素相对值，采集高光谱图像540张；S2所述辣椒叶片，对栽培50天长势一致的健康辣椒植株实施两种水分处理，对照组样本正常灌溉，实验组样本实施五天持续性干旱，采集600张高光谱图像；高光谱图像和相应标签数据对是通过自定义python函数来进行读取。5.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，S2所述图像预处理包括背景分割、噪音点去除、尺寸调整；所述背景分割方式为：采用叶片和背景光谱反射率差异最大的800 nm近红外波段作为背景分割的阈值波段，阈值设为0.15；所述噪音点去除的方法为：利用opencv
‑
python中的形态学变换，实现噪点去除；
所述尺寸调整为：将空间维统一缩减为120
×
120。6.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，S2包括将预处理后的图像划分为训练集、验证集和测试集，所述划分训练集、验证集和测试集的方式为随机抽取方式；罗勒叶片中随机抽取380个样本作为训练集，80个作为验证集，80个作为测试集；辣椒叶片中随机抽取400个样本作为训练集，100个作为验证集，100个作为测试集，并将数据集分成多个批次，批处理样本数设置为8。7.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，S3所述构建不同尺度的谱空特征提取结构，是在网络的同一层并行嵌入标准3D卷积和扩张3D卷积，两种卷积核各占据50%的通道数，再将不同卷积核输出的特征图经过批归一化后在通道维度上进行拼接，并进行ReLU非线性激活。8.根据权利要求7所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法，其特征在于，S3所述扩张3D卷积通过在标准3D卷积所有行和列的相邻权值间插入d
‑
1个权重为0的值实现，d为扩张因子，在不增加网络参数和不损失信息的同时扩大了卷积核的感受野；所述标准3D卷积的卷积核为3
×3×
3，d=1，感受野为3
×3×
3；所述扩张3D卷积的卷积核为3
×3×
3，...

【专利技术属性】
技术研发人员：王健，朱逢乐，赵章风，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：