一种农业病虫害识别诊断方法、系统及装置制造方法及图纸

本发明专利技术涉及一种农业病虫害识别诊断方法、系统及装置，属于农业病虫害领域，考虑农业病虫害文本特征、图像特征以及知识图谱等多模态数据源的特点，采用多模态机器学习方法，研究农业病虫害多模态数据融合在线诊断方法，通过结合各类数据源的互补性，有效提高农业病虫害诊断的准确性、鲁棒性和可靠性。鲁棒性和可靠性。鲁棒性和可靠性。

【技术实现步骤摘要】
一种农业病虫害识别诊断方法、系统及装置


[0001]本专利技术涉及农业病虫害领域，特别是涉及一种农业病虫害识别诊断方法、系统及装置。

技术介绍

[0002]农作物病虫害不仅会影响农作物的产量，还会影响农作物的质量。农作物病虫害的主要特点是传播速度快，一旦某个地区出现了病虫害，就会在很短时间内传播给其他作物，甚至会传播到其他地区，有时某个作物可能会被多种害虫和病原体影响。所以，农作物病虫害对农业发展影响很大，农业病虫害的诊断是农业领域一个重要关键环节。
[0003]传统基于人眼观察方式识别病虫害种类和提供诊治方案具有主观性强、误诊率高、效率低下等缺点。随着物联网、互联网、计算机视觉、人工智能等先进技术的成熟和日渐渗透，基于图像识别的病虫害诊断成为当下主流趋势。然而，仅仅通过图像识别技术手段诊断病虫害也有显著不足，如病虫害在作物生长不同阶段呈现不同的形态、病症，所构建的识别模型需要大量的图像作为训练数据，一旦训练样本无法体现病虫害特点，模型的识别准确率将大打折扣。此外，图像识别方法在光线昏暗、遮挡严重等复杂场景下鲁棒性和可靠性均不高。
[0004]因此，研究精准的农业病虫害诊断方法是目前亟待解决的技术问题。

技术实现思路

[0005]本专利技术的目的是提供一种农业病虫害识别诊断方法、系统及装置，以提高病虫害诊断准确性。
[0006]为实现上述目的，本专利技术提供了如下方案：一种农业病虫害识别诊断方法，所述方法包括：利用农业病虫害图像库，基于深度学习，构建病虫害图像诊断模型；利用农业病虫害文本库，基于关联规则，构建病虫害文本关联诊断模型；构建每个预设区域每种农作物在每月的农业病虫害知识图谱；所述农业病害知识图谱的节点表示农作物所在预设区域和月份、农作物类型实体、病虫害名称实体、病虫害类型实体、发病部位实体和症状实体；获取摄像头捕获的待诊断农作物的实时图像和与待诊断农作物病虫害症状相关的描述文本；将所述实时图像输入病虫害图像诊断模型，获得第一病虫害诊断结果；所述第一病虫害诊断结果为病虫害类型和发生概率；提取所述与待诊断农作物病虫害症状相关的描述文本中的病虫害特征、发病月份和待诊断农作物所在预设区域；所述病虫害特征包括农作物名称、发病部位和症状；将所述病虫害特征输入病虫害文本关联诊断模型，获得第二病虫害诊断结果；所述第二病虫害诊断结果为病虫害类型和发生概率；
根据所述病虫害特征、发病月份和待诊断农作物所在预设区域，从所述农业病虫害知识图谱中获得第三病虫害诊断结果；所述第三病虫害诊断结果为病虫害类型；采用图像处理技术识别所述实时图像中的特征向量和特征值；根据识别的特征向量和特征值，采用基于目标多特征的mass函数确定方法，确定第一病虫害诊断结果的mass值、第二病虫害诊断结果的mass值和第三病虫害诊断结果的mass值，并将最大mass值对应的病虫害诊断结果确定为待诊断农作物的病虫害诊断类型。
[0007]可选的，所述利用农业病虫害图像库，基于深度学习，构建病虫害图像诊断模型，具体包括：将农业病虫害图像库划分为农作物病害样本图像库和农作物虫害样本图像库；标注所述农作物病害样本图像库中同一种农作物的每个样本图像的发病部位；按照发病部位进行分类，获得同一种农作物的每个发病部位的标注样本图像；将同一种农作物的每个发病部位的标注样本图像作为输入量，病害名称作为标签构成该种农作物的病害样本集；利用该种农作物的病害样本集对深度残差神经网络进行训练和验证，获得该种农作物的病害图像诊断模型；标注所述农作物虫害样本图像库中同一种虫害的每个样本图像的位置；所述同一种虫害包括同一种虫子的幼虫和成虫；将同一种虫害已标注位置的样本图像作为输入量，虫害名称作为标签构成该种农作物的虫害样本集；利用该种农作物的虫害样本集对深度残差神经网络进行训练和验证，获得该种农作物的虫害图像诊断模型；该种农作物的虫害图像诊断模型和该种农作物的病害图像诊断模型构成该种农作物的病虫害图像诊断模型。
[0008]可选的，所述利用该种农作物的病害样本集对深度残差神经网络进行训练和验证，获得该种农作物的病害图像诊断模型，具体包括：利用ImageNet数据集对ViTransformer模型进行预训练，获得预训练模型；基于模型迁移学习和深度学习框架，将预训练模型的网络参数迁移至深度残差神经网络模型中；利用该种农作物的病害样本集调整迁移后的深度残差神经网络模型的权重，获得该种农作物的病害图像诊断模型。
[0009]可选的，所述利用农业病虫害文本库，基于关联规则，构建病虫害文本关联诊断模型，具体包括：对农业病虫害文本库的每个文本进行文本语义分析；从本文语义分析后的文本中提取农作物类型、发病部位和病虫害特征；根据提取的农作物类型、发病部位和病虫害特征构建关联规则库，作为病虫害文本关联诊断模型。
[0010]可选的，所述构建每个预设区域每种农作物在每月的农业病虫害知识图谱，具体包括：对从互联网采集的多个农业技术文章进行分类索引，获得每个预设区域每种农作
物在每月的农业技术文章；对每个预设区域每种农作物在每月的农业技术文章进行DOM树解析，提取每个农业技术文章的要素；所述要素包括文章标题、内容和发布来源；根据所提取的每个农业技术文章的要素，建立哈希字典；利用所述哈希字典对所提取的所有农业技术文章的要素进行去重；针对去重后的要素进行中文分词和语法语义分析；基于分析结果，利用Bert预训练模型，从文本内容中提取实体和属性；基于知识图谱技术，对实体关系进行自动抽取；根据提取的实体、属性和实体关系建立图数据库，构建每个预设区域每种农作物在每月的农业病虫害知识图谱。
[0011]可选的，所述根据识别的特征向量和特征值，采用基于目标多特征的mass函数确定方法，确定第一病虫害诊断结果的mass值、第二病虫害诊断结果的mass值和第三病虫害诊断结果的mass值，具体包括：确定待识别的目标框架{A1,A2,A3}；其中，A1、A2和A3分别表示第一病虫害诊断结果、第二病虫害诊断结果和第三病虫害诊断结果；根据目标框架和识别的特征向量，利用三分法计算特征隶属度矩阵T；利用公式，计算特征隶属度矩阵T的列向量μ
j
的可信度向量w
j
；根据所述可信度向量w
j
和特征隶属度矩阵T，利用公式d
j
=w
j
×
μ
j
，计算每个目标在目标框架中的重要度d
j
；对每个目标在目标框架中的重要度d
j
归一化，获得每个目标的mass值；式中，w
ij
为可信度向量w
j
中第i个特征对第j个目标所对应的可信度，l
ij
为第i个特征对第j个目标所对应的偏差系数，A为系数，k为数据偏离中心点的程度，μ
ij
(x)为第i个特征对第j个目标的隶属度，e
j
为第j个目标对应的隶属度的中心点，m为特征数量。
[0012]可选的，所述构建每个预设区域每种农作物本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种农业病虫害识别诊断方法，其特征在于，所述方法包括：利用农业病虫害图像库，基于深度学习，构建病虫害图像诊断模型；利用农业病虫害文本库，基于关联规则，构建病虫害文本关联诊断模型；构建每个预设区域每种农作物在每月的农业病虫害知识图谱；所述农业病害知识图谱的节点表示农作物所在预设区域和月份、农作物类型实体、病虫害名称实体、病虫害类型实体、发病部位实体和症状实体；获取摄像头捕获的待诊断农作物的实时图像和与待诊断农作物病虫害症状相关的描述文本；将所述实时图像输入病虫害图像诊断模型，获得第一病虫害诊断结果；所述第一病虫害诊断结果为病虫害类型和发生概率；提取所述与待诊断农作物病虫害症状相关的描述文本中的病虫害特征、发病月份和待诊断农作物所在预设区域；所述病虫害特征包括农作物名称、发病部位和症状；将所述病虫害特征输入病虫害文本关联诊断模型，获得第二病虫害诊断结果；所述第二病虫害诊断结果为病虫害类型和发生概率；根据所述病虫害特征、发病月份和待诊断农作物所在预设区域，从所述农业病虫害知识图谱中获得第三病虫害诊断结果；所述第三病虫害诊断结果为病虫害类型；采用图像处理技术识别所述实时图像中的特征向量和特征值；根据识别的特征向量和特征值，采用基于目标多特征的mass函数确定方法，确定第一病虫害诊断结果的mass值、第二病虫害诊断结果的mass值和第三病虫害诊断结果的mass值，并将最大mass值对应的病虫害诊断结果确定为待诊断农作物的病虫害诊断类型。2.根据权利要求1所述的农业病虫害识别诊断方法，其特征在于，所述利用农业病虫害图像库，基于深度学习，构建病虫害图像诊断模型，具体包括：将农业病虫害图像库划分为农作物病害样本图像库和农作物虫害样本图像库；标注所述农作物病害样本图像库中同一种农作物的每个样本图像的发病部位；按照发病部位进行分类，获得同一种农作物的每个发病部位的标注样本图像；将同一种农作物的每个发病部位的标注样本图像作为输入量，病害名称作为标签构成该种农作物的病害样本集；利用该种农作物的病害样本集对深度残差神经网络进行训练和验证，获得该种农作物的病害图像诊断模型；标注所述农作物虫害样本图像库中同一种虫害的每个样本图像的位置；所述同一种虫害包括同一种虫子的幼虫和成虫；将同一种虫害已标注位置的样本图像作为输入量，虫害名称作为标签构成该种农作物的虫害样本集；利用该种农作物的虫害样本集对深度残差神经网络进行训练和验证，获得该种农作物的虫害图像诊断模型；该种农作物的虫害图像诊断模型和该种农作物的病害图像诊断模型构成该种农作物的病虫害图像诊断模型。3.根据权利要求2所述的农业病虫害识别诊断方法，其特征在于，所述利用该种农作物的病害样本集对深度残差神经网络进行训练和验证，获得该种农作物的病害图像诊断模
型，具体包括：利用ImageNet数据集对ViTransformer模型进行预训练，获得预训练模型；基于模型迁移学习和深度学习框架，将预训练模型的网络参数迁移至深度残差神经网络模型中；利用该种农作物的病害样本集调整迁移后的深度残差神经网络模型的权重，获得该种农作物的病害图像诊断模型。4.根据权利要求1所述的农业病虫害识别诊断方法，其特征在于，所述利用农业病虫害文本库，基于关联规则，构建病虫害文本关联诊断模型，具体包括：对农业病虫害文本库的每个文本进行文本语义分析；从本文语义分析后的文本中提取农作物类型、发病部位和病虫害特征；根据提取的农作物类型、发病部位和病虫害特征构建关联规则库，作为病虫害文本关联诊断模型。5.根据权利要求1所述的农业病虫害识别诊断方法，其特征在于，所述构建每个预设区域每种农作物在每月的农业病虫害知识图谱，具体包括：对从互联网采集的多个农业技术文章进行分类索引，获得每个预设区域每种农作物在每月的农业技术文章；对每个预设区域每种农作物在每月的农业技术文章进行DOM树解析，提取每个农业技术文章的要素；所述要素包括文章标题、内容和发布来源；根据所提取的每个农业技术文章的要素，建立哈希字典；利用所述哈希字典对所提取的所有农业技术文章的要素进行去重；针对去重后的要素进行中文分词和语法语义分析；基于分析结果，利用Bert预训练模型，从文本内容中提取实体和属性；基于知识图谱技术，对实体关系进行自动抽取；根据提取的实体、属性和实体关系建立图数据库，构建每个预设区域每种农作物在每月的农业病虫害知识图谱。6.根据权利要求1所述的农业病虫害识别诊断方法，其特征在于，所述根据识别的特征向量和特征值，采用基于目标多特征的mass函数确定方法，确定第一病虫害诊断结果的mass值、第二病虫害诊断结果的mass值和第三病虫害诊断结果的mass...

【专利技术属性】
技术研发人员：欧吉顺，张伟，周楚新，吴德才，周发展，
申请(专利权)人：南京绿色科技研究院有限公司，
类型：发明
国别省市：