【技术实现步骤摘要】
本专利技术属于植物病虫害检测，具体涉及一种适于边缘计算场景的水稻叶面型病害多模态融合检测方法。
技术介绍
1、水稻是重要的全球性粮食作物，为世界近一半人口的主食，近年来，在全球气候变暖，水稻高产品种广泛推广的背景下，水稻病虫害频发，对水稻生产带来严重威胁。快速准确对水稻病虫害发病情况进行检测，有助于制定防控策略，减少病害带来的损失，随着我国农业信息化的发展，各类植物检测装置发展蓬勃，研究人员可以借助这些设备高效地采集植物相应检测信息，使用基于机器学习、深度学习等技术的监测方法实现植物病虫害、品质等方面的检测，有效地改善了我国传统的农业生产管理策略。各类检测装置的检测方法通常基于图像与光谱信息实现，其中图像的采集设备成本低，采集方式简单，且包含色彩、纹理、几何等丰富的信息，能够直观表征病害症状特点，应用较广，但对于症状类似的病害而言易出现误判，光谱技术能够捕捉到病害所导致的植物相关状态变化，目前也已经成为植物病害监测的重要手段。利用光谱图像提取的内部信息去弥补常规图像只有表面信息的不足，将图像与光谱这两类病害多模态诊断信息进行融合以提高检测模型的检测能力的多模态融合检测方法日益增多，但目前主流的图谱融合病害检测方式也存在一定局限，在基于成像光谱数据的多模态融合检测模式下，存在所需传感器成本高、模型复杂度高、部署设备硬件要求高等方面的问题，难以在实际场景中进行推广应用，亟需寻找一种低成本实现图像光谱信息融合检测的方法。
2、而且目前专门针对水稻叶面型病害检测方法的研究较少，但需求愈加广泛，因此非常有必要提出一种能在移动终
技术实现思路
1、本专利技术的目的在于针对现有技术的不足与应用需求，提供一种适于边缘计算场景的水稻叶面型病害多模态融合检测方法，通过低成本方式有效结合图像与光谱信息用于边缘计算检测设备的检测算法部署，以实现图谱多模态融合下对病虫害检测效果的提升，为基于掌握病虫害发病情况的植保防治工作及作物病虫害监测专用传感器研发提供帮助。
2、本专利技术提供一种适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其包括以下步骤：
3、步骤一、数据采集。
4、采集水稻叶面的图片和光谱数据，建立训练集；训练集中的每个样本均包含相同视场下的图片数据和非成像光谱数据。
5、步骤二、构建光谱特征提取方法，对光谱数据进行提取。
6、构建光谱特征提取模型，同时提取多类光谱特征。对步骤一得到的非成像光谱数据提取六个原始波段并归一化至[0，1]范围得到六个光谱原始特征，分别为r530、r570、r680、r700、r740、r780，同时由六个原始波段信息计算得到三个光谱植被指数特征，分别为rndvi、rpri、rsr与一个光谱敏感波段特征rsens，这十个光谱特征组成光谱特征向量fspectral。
7、步骤三、构建神经网络特征提取器。
8、使用训练集中的图片数据训练mobilenet模型；基于训练完成的mobilenet模型构建新的神经网络模型；构建的过程为：保留原模型结构的bottleneck特征提取部分，去除特征提取部分之后的网络特征分类层，最后的平均池化层，以及该平均池化层与前一个卷积层之间的激活层。构建得到的mobilenet新模型作为神经网络特征提取器。
9、步骤四、构建图像特征优选提取器，对图片数据进行提取。
10、基于神经网络特征提取器中的各神经元的各个权重值对神经元序列进行独立排序过滤，得到多个神经元编号序列s1，s2，...，snum；num为序列数量，其值等于水稻叶面型病害检测结果的类别数；num个神经元编号序列分别对应不同神经元对num个类别的重要程度排序。每个神经元编号序列均仅保留预设数量的神经元。对各神经元编号序列s1，s2，...，snum求并集，得到优选出的神经元编号序列s。依据神经元编号序列s对神经网络特征提取器进行神经元删减，得到图像特征优选提取器。利用图像特征优选提取器对训练集中的图片数据进行提取，得到优选图像特征向量fimage。
11、步骤五、多模态特征融合。
12、将步骤二得到的光谱特征向量fspectral与步骤四得到的优选图像特征向量fimage进行拼接串联，得到融合特征向量m。使用训练集中各样本对应融合特征向量m对叶面型病害检测分类模型进行训练。
13、步骤六、叶面型病害检测。
14、使用叶面型病害检测分类模型对同一视场下的图谱数据进行识别，得到水稻叶面型病害检测结果。图谱数据包括被测植株叶面的图片数据和非成像光谱数据。图片数据经过图像特征优选提取器处理；非成像光谱数据经过归一化处理。
15、作为优选，所述的非成像光谱数据包括六个波段的非成像光谱数据；该六个波段的范围分别为528nm～532nm、568nm～572nm、678nm～682nm、698nm～702nm、738nm～742nm、778nm～782nm。
16、作为优选，所述的图片数据采用rgb图像数据或全色影像。
17、作为优选，水稻叶面型病害检测结果的类别分为三类，分别为健康、轻度水稻叶面型病害、重度水稻叶面型病害。
18、作为优选，步骤二中所述多类光谱特征中的光谱敏感波段特征rsens计算式为：
19、
20、作为优选，步骤三中所述的mobilenet模型具体为mobilenetv2神经网络分类模型。
21、作为优选，所述的激活层采用relu6激活函数。
22、作为优选，步骤三中，神经网络图像特征优选提取器进行图像特征提取的过程为：输入的图像矩阵x经神经网络特征提取器的卷积和bottleneck模块提取，得到特征图f1[i，j，l]；再对所得特征图进行1×1卷积，进一步提取得到特征图f2[i，j，k]；最后将特征图f2[i，j，k]直接经池化层平均池化后输出，得到图像特征y[k]。
23、作为优选，步骤四中的特征优选提取器神经元优选计算式为：
24、
25、其中，rn,p为第n个神经元编号序列中的第p个神经元。{wn,p}为神经元权重集合；wn,1[r]、wn,1[t]分别为神经元r、t的对于第n个类别的权重；{wn,1}为初始神经元权重集合，即未经过删减的所有神经元权重集合；{sn}为第n个类别对应的神经元编号序列。
26、作为优选，步骤四中所述的预设数量的取值为神经元总数乘以预设优选比例后所得的数值的取整值。预设优选比例的取值为0.5％～5％。
27、作为优选，步骤六中叶面型病害检测分类模型为多分类支持向量机，核函数使用线性核。
28、本专利技术具有以下有益效果：
29、1.本专利技术针对图像检测方面易误判的局限性，在图像本文档来自技高网...
【技术保护点】
1.适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其特征在于：六个光谱原始特征R530、R570、R680、R700、R740、R780对应的采样波段分别为528nm～532nm、568nm～572nm、678nm～682nm、698nm～702nm、738nm～742nm、778nm～782nm。
3.根据权利要求1所述的适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其特征在于：所述的图片数据采用RGB图像数据或全色影像。
4.根据权利要求1所述的适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其特征在于：水稻叶面型病害检测结果的类别分为三类，分别为健康、轻度水稻叶面型病害、重度水稻叶面型病害。
5.根据权利要求1所述的适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其特征在于：步骤二中，光谱敏感波段特征RSENS的表达式为
6.根据权利要求1所述的适于边缘计算场景的水稻叶面型病害多模态融合检测方
7.根据权利要求1所述的适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其特征在于：所述的激活层采用ReLU6激活函数。
8.根据权利要求1所述的适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其特征在于：步骤二中，神经网络特征提取器进行图像特征提取的过程为：输入的图像矩阵X经神经网络特征提取器的卷积和bottleneck提取，得到特征图F1[i，j，l]；再对所得特征图进行1×1卷积，进一步提取得到特征图F2[i，j，k]；最后将特征图F2[i，j，k]直接经池化层平均池化后输出，得到图像特征Y[k]。
9.根据权利要求1所述的适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其特征在于：
10.根据权利要求1所述的适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其特征在于：步骤三中所述的预设数量的取值为神经元总数乘以预设优选比例后所得的数值的取整值；预设优选比例的取值为0.5％～5％；步骤六中所述的叶面型病害检测分类模型采用多分类支持向量机，其核函数使用线性核。
...【技术特征摘要】
1.适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其特征在于：六个光谱原始特征r530、r570、r680、r700、r740、r780对应的采样波段分别为528nm～532nm、568nm～572nm、678nm～682nm、698nm～702nm、738nm～742nm、778nm～782nm。
3.根据权利要求1所述的适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其特征在于：所述的图片数据采用rgb图像数据或全色影像。
4.根据权利要求1所述的适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其特征在于：水稻叶面型病害检测结果的类别分为三类，分别为健康、轻度水稻叶面型病害、重度水稻叶面型病害。
5.根据权利要求1所述的适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其特征在于：步骤二中，光谱敏感波段特征rsens的表达式为
6.根据权利要求1所述的适于边缘计算场景的水稻叶面型病害多模态融合检测方法，其特征在于：步骤二中...
【专利技术属性】
技术研发人员：张竞成，沈栋，陈冬梅，曹佩佩，周行健，赵贤德，董大明，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。