一种多模态作物病害表型协同分析模型及装置制造方法及图纸

本发明专利技术公开了一种多模态作物病害表型协同分析模型、装置及模型构建系统，方法包括：构建基于改进CNN和LSTM的作物病害表型文本生成模型，通过组建的多模态训练数据集，对其进行训练；基于改进CNN和LSTM的作物病害表型文本生成模型通过组建的多模态训练数据集，对其进行训练；构建基于查询文本引导和多阶段推理的视觉语言定位模型(MQVL)通过组建的多模态训练数据集，对其进行训练；构建基于CNN

【技术实现步骤摘要】
一种多模态作物病害表型协同分析模型及装置


[0001]本专利技术涉及作物病害领域，尤其涉及一种多模态作物病害表型协同分析模型及装置。

技术介绍

[0002]植物病害是全球农业部门重大经济损失的原因。它们与食品安全和可持续食品生产直接相关。量化植物病理对作物的影响是农业中最具挑战性的问题之一。营养缺乏或土壤水分和氧气之间的不平衡使植物更容易受到病原体的影响。植物的异常可能是由害虫、疾病或其他非生物胁迫(如低温)引起的。疾病识别任务往往与耗时、费力和主观有关。传统上，作物检查是由具有该领域一些专业知识的人进行的。然而，这种方法都会产生一定程度的不确定性或错误，从而导致错误决策。
[0003]植物表型分析的最新进展允许开发用于植物异常识别的高效和自动化诊断系统。尽管现有的方法已经显示出一些效果，但它们在病害的定位识别等问题存在一些局限性，尤其是在实际场景中。为了解决这一限制，我们提出了一种方法，通过结合视觉对象识别和语言生成，通过生成关于其症状的详细信息，采用多模态的形式更有效地检测和定位植物异常。
[0004]Nuthalapati等人以地理位置和时间为先验知并通过非线性嵌入获取特征，然后和视觉特征一起通过Relative Transformer层进行信息融合，从而提高了CUB
‑
200
‑
2011鸟类数据集中的识别精度。Huang等人提出了类属性描述引导视觉机制(Attributes
‑
Guided and Pure
‑
Visual Attention Alignment for Few
‑
Shot Recognition，AGAM)，对于有属性的数据集通过属性引导分支合并属性和视觉特征，对于没有属性的分支通过特征选择来学习注意力权重。
[0005]因此除了图像本身，如摄影的位置、日期、时间、图像的属性和文本描述等信息，也可以是先验知识的重要来源。尤其是图像的文本描述信息，蕴含了丰富的语义信息。这种文本模态信息与图像模态信息之间存在互补关系，可以在一定程度上弥补由于图像训练样本不足导致的问题。但是，农业领域的多模态数据集的获取与构建更加困难，需要通过相关领域的学者和专家手动进行标注和注释，时间和成本较高。因此本专利采用植保专家设计问题和选项，主要围绕植物病害的5种特征，即病害呈现的数量、颜色、形状、特点和病斑占叶片面积，快速收集多模态文本描述。
[0006]同样对多模态的合理运用在视觉语言定位也能带来很好的效果，视觉语言定位是一项根据自然语言表达来定位图像中目标对象或区域的任务。目前，大多数的视觉语言定位研究集中在人、动物、汽车等平视视角的自然图像，而现有的方法多采用独立提取视觉特征和文本嵌入，然后将其进行融合推理，以定位查询文本中所提及的目标对象。然而通过独立的视觉特征提取模块获取的特征常包含了许多与查询文本无关的视觉特征，这些冗余的不相关视觉特征可能会对后续的多模态融合模块产生不合理的推理，从而影响目标定位。
[0007]针对上述视觉语言定位中的问题，本专利设计了一种基于Swin
‑
transformer架构
的组合网络模型，包含查询文本特征提取模块、查询文本引导的视觉特征生成模块和多阶段融合推理模块。通过在视觉特征提取模块中引入查询文本特征进行指导，减少无关视觉特征的干扰，生成与查询文本相关的视觉特征；再通过多阶段融合推理模块，将相关的视觉特征与查询文本特征进行多阶段的交互推理，以进一步聚焦查询目标对象的精准定位。

技术实现思路

[0008]本专利技术的目的在于提供一种多模态作物病害表型协同分析模型及装置，以解决上述技术问题。
[0009]本专利技术为解决上述技术问题，采用以下技术方案来实现：
[0010]一种多模态作物病害表型协同分析模型，包括以下步骤：
[0011]S1:多模态数据集构建；
[0012]通过众包技术,即植物学家设计选项,使用大量非专业人士快速获取病害文本描述,组建多模态病害数据集；
[0013]S2:基于改进CNN和LSTM的作物病害表型文本生成模型构建；
[0014]S3:基于查询文本引导和多阶段推理的视觉语言定位模型构建；
[0015]S4:在获取到S2步骤对于该图片的文本描述性句子后输入到S3中多阶段推理的视觉语言定位模型进行病害位置的定位；
[0016]S5:基于CNN
‑
Transformer双流多模态少样本识别模型构建；
[0017]S6、在S5识别出病害类型后保存图片并预警。
[0018]优选的，病害数据集包括苹果疮痂病、苹果锈病、樱桃白粉病、玉米锈病、玉米枯叶病、葡萄黑腐病、葡萄枯叶病、桃子细菌性斑点病、辣椒细菌性斑点病、土豆早疫病、土豆晚疫病、番茄细菌性斑点病、番茄叶霉病、番茄二斑叶螨病、苹果黑腐病、南瓜白粉病、番茄早疫病、番茄黄曲叶病、玉米灰斑病、橘子黄龙病、草莓叶焦病、番茄晚疫病、番茄轮斑病、番茄花叶病共24种病害。
[0019]优选的，病害文本描述要求非专业人士从，数量、颜色、形状、特点和病斑占叶片面积5个角度选择选项，选择之后通过程序收集选项组成文本描述语句，并且在处理我们的问题之前，潜在的注释者需要达到图像标记基础知识的测验准确率的90％以上。
[0020]优选的，多模态少样本识别模型采用双流架构旨在同时当前任务的全局信息和局部信息；多模态少样本识别模型包括双嵌入模块、特征融合模块和测量模块。
[0021]优选的，双嵌入模块由两个分支组成局部分支和全局分支。
[0022]优选的，多阶段推理的视觉语言定位模型主要包含三个模块，即查询文本特征提取模块、查询文本引导的视觉特征生成模块和多阶段推理模块。
[0023]一种计算机装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1所述的多模态作物病害表型协同分析模型。
[0024]本专利技术的有益效果是：
[0025]1、本专利技术本专利技术的一种多模态作物病害表型协同分析模型及装置实际应用价值高，在数据集准备时充分考虑了病害可能的重要的文本特征，依照5个不同角度组建数据集。考虑到实际应用中也可通过众包快速组建新的病害种类持续监测作物表型。为作物表
型研究提供了理论指导与技术支撑。
[0026]2、本专利技术在多模态农业领域数据集的构建中引入了众包技术，将多模态农业领域数据集构建环节任务交给众包完成，在此基础上设计了图像描述生成模型、基于查询文本引导和多阶段推理的视觉语言定位模型(MQVL)和基于CNN
‑
Transformer双流多模态少样本识别模型(CTMF)。其中图像描述生成模型用于自动生成病害文本描述、MQVL模型用于自动识别可能的病害区域和多模态少样本分类模型用于最后的识别。本专利技术融合了文本生成、病害定位以及病害识别预警，可以有效提高植物叶片病害识别的准确率。
...

【技术保护点】

【技术特征摘要】
1.一种多模态作物病害表型协同分析模型，其特征在于，包括以下步骤：S1:多模态数据集构建；通过众包技术,即植物学家设计选项,使用大量非专业人士快速获取病害文本描述,组建多模态病害数据集；S2:基于改进CNN和LSTM的作物病害表型文本生成模型构建；S3:基于查询文本引导和多阶段推理的视觉语言定位模型构建；S4:在获取到S2步骤对于该图片的文本描述性句子后输入到S3中多阶段推理的视觉语言定位模型进行病害位置的定位；S5:基于CNN
‑
Transformer双流多模态少样本识别模型构建；S6、在S5识别出病害类型后保存图片并预警。2.根据权利要求1所述的多模态作物病害表型协同分析模型，其特征在于：病害数据集包括苹果疮痂病、苹果锈病、樱桃白粉病、玉米锈病、玉米枯叶病、葡萄黑腐病、葡萄枯叶病、桃子细菌性斑点病、辣椒细菌性斑点病、土豆早疫病、土豆晚疫病、番茄细菌性斑点病、番茄叶霉病、番茄二斑叶螨病、苹果黑腐病、南瓜白粉病、番茄早疫病、番茄黄曲叶病、玉米灰斑病、橘子黄龙病、草莓叶焦病、番茄晚疫病、番茄轮斑病、番茄花叶病共24种病害。3...

【专利技术属性】
技术研发人员：王超，朱家瑞，罗伟，辜丽川，何进，蒋婷婷，夏迎春，杨帅，焦俊，
申请(专利权)人：安徽农业大学，
类型：发明
国别省市：