【技术实现步骤摘要】
本专利技术属于水稻病虫害检测，具体涉及一种用于水稻叶面型病虫害的多模态融合识别方法及系统。
技术介绍
1、水稻是人类最重要的粮食作物之一，而快速准确实现病虫害检测，对于了解其发生情况和态势、辅助植保防治而言具有重要作用。目前水稻病虫害主要依靠植保专家目视统计识别，效率相对较低。有研究人员开发水稻智能检测装置虽可提高识别效率，但这些装置通常只采集可见光图像再应用图像处理算法进行识别。采集的图像波段范围只限于可见光，只能记录水稻叶片、冠层上直观表征病虫害症状特点的信息，且数据质量受传感器分辨率、采集方式和成像光照，以及植物病虫害的形状、大小、背景等的影响较大，在一些场景下造成识别结果偏差。病虫害在侵染植物后，会对其叶片的色素含量、活性、含水量以及叶片细胞结构产生影响，会造成植物叶片的光学特征改变，且更为灵敏。通过光谱技术观测植被在多个光学波段上的反射率（主要涉及可见光至近红外波段）的响应改变能够更敏锐的捕捉到病虫害所导致的植物相关状态变化。所以，将图像和光谱这两种在探测范围与机理上各有不同的模态数据进行有效结合，可获得更为完整且全面的信息用...
【技术保护点】
1.一种用于水稻叶面型病虫害的多模态融合识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多模态融合识别方法，其特征在于：提取图像特征的过程包括：将图像数据进行多层卷积操作和多尺度卷积注意力操作，得到图像特征；所述多尺度卷积注意力操作通过多个不同大小的卷积核在不同感受野下并行提取特征，得到的不同尺度特征级联后由通道-空间注意力层对重要特征通道与关键区域进行增强；在提取图像特征的过程中进行多次多尺度卷积注意力操作；各次多尺度卷积注意力操作分别添加在图像特征提取过程的不同深度。
3.根据权利要求1所述的多模态融合识别方法，其特征在于：所...
【技术特征摘要】
1.一种用于水稻叶面型病虫害的多模态融合识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多模态融合识别方法，其特征在于：提取图像特征的过程包括：将图像数据进行多层卷积操作和多尺度卷积注意力操作，得到图像特征；所述多尺度卷积注意力操作通过多个不同大小的卷积核在不同感受野下并行提取特征，得到的不同尺度特征级联后由通道-空间注意力层对重要特征通道与关键区域进行增强；在提取图像特征的过程中进行多次多尺度卷积注意力操作；各次多尺度卷积注意力操作分别添加在图像特征提取过程的不同深度。
3.根据权利要求1所述的多模态融合识别方法，其特征在于：所述编码器提取特征的过程包括对输入特征进行基于多头注意力机制的特征提取，所得特征与输入特征相加得到注意力特征；所述注意力特征输入多层感知机进行多次非线性与激活运算，所得特征与注意力特征相加后得到特征编码的输出特征。
4.根据权利要求1所述的多模态融合识别方法，其特征在于：所述非成像多光谱数据包括530nm、570nm、680nm、700nm、740nm、780nm波段或邻近波段的非成像多光谱数据；所述光谱植被指数包括归一化植被指数、光化学反射率指数、简单比值植被指数、红边归一化差异植被指数、归一化差异红边指数和修正简单比值指数。
5.根据权利要求1所述的多模态融合识别方法，其特征在于：所述交叉注意力特征提取的过程为：将光谱特征、图像特征分别输入交互的两个注意力提取分支，得到包含跨模态信息的光谱注意力特征、图像注意力特征；
6.根据权利要求5所述的多模态融合识别方法，其特征在于：基于光谱特征、图像特征、光谱注意力特征、图像注意力特征、模态融合特征分别构建辅助分类器；...
【专利技术属性】
技术研发人员：沈栋，陈冬梅，张竞成，明达洲，孙桂基，周贤锋，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。