一种基于多模态特征聚合网络的苹果叶部病害识别方法技术

本申请公开了一种基于多模态特征聚合网络的苹果叶部病害识别方法，通过多分支网络模型CT‑CLIP提取图像的局部特征和全局特征并进行融合获得图像输出融合特征；向CT‑CLIP输入文本信息获得文本全局特征；将图像输出融合特征与所述文本全局特征进行跨模态特征融合和增强获得分类融合特征；CT‑CLIP根据所述分类融合特征对苹果叶部病害进行分类识别。分别对图像从两个不同的方向进行特征提取获得局部特征和全局特征并融合，然后提取文本的文本全局特征对模型进行语义指导，从而防止特征信息在传输和交互过程中的丢失或退化，渐进地设计了一个自适应特征融合模块，可以动态加权来自不同图像分支网络的特征，从而提高识别精度。

【技术实现步骤摘要】

本申请涉及图像识别，具体涉及一种基于多模态特征聚合网络的苹果叶部病害识别方法。

技术介绍

1、由于果园环境的复杂性和病害背景的多样性，传统单一模态的单分支图像网络难以整合不同网络的优势，亦无法深度挖掘多模态数据的互补特性。在病害特征提取过程中，存在表征粒度粗放和全局信息流失的双重困境。随着深度学习的发展，基于卷积神经网络(cnn)和图像transformer(vision transformer)的单模态植物叶部病害识别方法得到了广泛应用。

2、clip作为一种先进的预训练多模态模型，凭借其庞大的预训练数据和基于对比学习的损失函数，已在多个领域得到了广泛应用。然而，苹果叶片在生长过程中会遭遇各种病害，而大田环境又复杂多变，如光照条件、背景干扰等因素可能影响识别准确性。此外，苹果叶片之间的遮挡和重叠问题也增加了识别的难度。

3、因此，针对苹果叶片的特点及大田环境的复杂性，如何提高病害识别的准确率成为本领域亟待解决的技术问题。

技术实现思路

1、本申请为了解决上述技术问题，提出了如下技术方本文档来自技高网...

【技术保护点】

1.一种基于多模态特征聚合网络的苹果叶部病害识别方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态特征聚合网络的苹果叶部病害识别方法，其特征在于，所述CT-CLIP包括图像处理分支、文本处理分支和分类头，所述图像处理分支输出的图像输出融合特征和所述文本处理分支输出的文本全局特征融合后输入到所述分类头；所述图像分支包括第一编码器CLIP-CNN Encoder、第二编码器CLIP-ViT Encoder、向量转换模块Patch Embedding和自适应特征融合模块AFFM；所述文本处理分支包括第三编码器Text Encoder和特征增强模块FEB；所述分类头包括全连...

【技术特征摘要】

1.一种基于多模态特征聚合网络的苹果叶部病害识别方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态特征聚合网络的苹果叶部病害识别方法，其特征在于，所述ct-clip包括图像处理分支、文本处理分支和分类头，所述图像处理分支输出的图像输出融合特征和所述文本处理分支输出的文本全局特征融合后输入到所述分类头；所述图像分支包括第一编码器clip-cnn encoder、第二编码器clip-vit encoder、向量转换模块patch embedding和自适应特征融合模块affm；所述文本处理分支包括第三编码器text encoder和特征增强模块feb；所述分类头包括全连接层。

3.根据权利要求2所述的基于多模态特征聚合网络的苹果叶部病害识别方法，其特征在于，所述通过多分支网络模型ct-clip提取图像的局部特征和全局特征并进行融合获得图像输出融合特征，包括：

4.根据权利要求3所述的基于多模态特征聚合网络的苹果叶部病害识别方法，其特征在于，所述向所述ct-clip输入文本信息获得文本全局特征，包括：

5.根据权利要求2-4任一项所述的基于多模态特征聚合网络的苹果叶部病害识别方法，其特征在于，所述affm模块包括动态注意力模块dam和融合部分，

6.根据权利要求5所述的基于多模态特征聚合网络的苹果叶部病害识别方法，其特征在于，所述将所述图像输出融合特征与所述文本全局特征进行跨模态特征融合和增强获得分类融合特征，包括：将融合特征f和文本特征ft传入feb进行跨模态特征融合和增强，公式如下：

【专利技术属性】
技术研发人员：姜红花，刘乐民，陈雅茹，刘理民，刘会香，孔令广，赵国旺，
申请(专利权)人：山东农业大学，
类型：发明
国别省市：