【技术实现步骤摘要】
本专利技术涉及深度学习中的计算机视觉领域，尤其是涉及一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法。
技术介绍
1、棉花是一种很重要的纺织纤维，占世界纤维年需求量的35％左右，同时，棉花产业对于很多国家来说是一个重要的经济支柱，为农民提供了稳定的收入来源。据中国农作物病虫害测报网监测和专家会商分析，预计2024年农作物重大病虫害呈重发态势，中国预计发生面积23.3亿亩次，比2023年和近5年实际发生面积分别增加26.2％和18.4％，对70％以上的农作物产区构成威胁。
2、目前，棉花病虫害识别更多的是农民通过经验或邀请专家进行辨别，然而，基于经验的方法往往存在识别不准确的风险，这可能导致用药错误，对作物的生长、产量造成不良影响。而邀请专家进行病虫害识别虽然专业性强，但往往存在时间滞后和成本较高的问题。误诊或发现过晚都可能导致农药的错用滥用，这不仅会污染土地，还可能使病虫害产生抗药性，对农业生产和环保都构成严重威胁。因此，对棉花病虫害进行早期、准确的识别显得尤为重要。
3、随着模式识别和人工智能技术的发展，利用计算机视觉对农作物病虫害进行自动识别的研究日益增多。早期的传统数字图像处理技术虽然取得了一定成效，但在处理背景复杂或光线变化大的图片时，背景分割效果不佳，且依赖于手动特征提取，存在“语义鸿沟”问题。近年来，深度学习技术特别是卷积神经网络的兴起，为棉花病虫害识别带来了选择。卷积神经网络不仅能够直接处理原始图像，无需背景分割，还能自动提取多层次的抽象特征，简化了识别流程，提高了操作的便捷性和自动化
4、综上所述，针对棉花这个特定对象进行研究，本专利技术提出一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，在实地收集的棉花病虫害数据集上，实现多尺度特征提取的同时，确保模型的精度并显著减少模型参数量，实现精准快速的棉花病虫害识别。
技术实现思路
1、为了克服上述现有的不足，本专利技术提出了一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，该方法将注意力机制、模型剪枝以及迁移学习相结合，在保证模型精度的同时降低模型参数，实现精准快速的棉花病虫害识别。
2、为了实现以上目的，本专利技术提出了一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法包括以下步骤，其特征在于，包括：
3、s1数据收集：专利技术以棉花病虫害为具体研究对象，研究主要针对健康棉花叶片、棉花黄萎病、棉花褐斑病、棉花枯萎病以及一种棉花蚜虫进行展开。由于实验室数据无法很好的应对自然环境中的棉花病虫害，因此在中国新疆维吾尔自治区塔城地区以及中国新疆维吾尔自治区昌吉国家农业中心实地收集了5770张棉花病虫害图像；
4、s2：数据集划分：将收集到数据按照8:2的比例划分为训练集和测试集，以确保模型在训练时拥有足够的数据，同时保留部分数据用于评估模型性能。
5、s3：图像预处理：由于自然环境下的干扰使得收集到的数据集样本不均衡，为了增强数据的平衡性并提升模型的鲁棒性，对训练数据进行了多种增强处理，包括图像剪切、随机网格洗牌、通道洗牌、网格失真、随机噪声、随机亮度调整和色调饱和度调整等。此外，在模型训练和测试之前，对数据集中的图像进行了自适应缩放，将每张图像调整为256×256像素，以防止信息丢失。这可以减少输入图像的尺寸差异，使模型更容易捕捉和学习图像特征；
6、s4：模型搭建：在densenet121的基础上，通过引入多尺度卷积替代基础模型首层7×7卷积，增强对不同尺度信息的捕捉能力；
7、为减少模型参数、便于在资源受限环境中部署，通过构建re-密集块和lamp剪枝方法精简网络结构和参数量，以便于模型部署到便携式设备上；
8、为了弥补剪枝可能带来的精度损失，并有效处理棉花叶片上微小且多变的病虫害特征，通过构建mfga机制，结合迁移学习策略，强化模型对关键病害特征的关注。
9、s41：首先，通过多尺度卷积对棉花病虫害图像进行不同尺度的特征提取；
10、s42：其次，将特征输入到re-密集块中，该密集块由多个r-密集层堆叠而成。标准的l层卷积网络具有l个连接，即每一层与其前一层和后一层相连，而densenet将所有前面层与所有后面层连接，因此有：连接数为
11、
12、假如网络由l层组成，每层实现一个非线性变化hl(·)，其中l是层的索引。xl为第l层的输出，r-密集层的输入和输出的公式为：
13、xl＝hl(x0,x1,x2...,xl-1)
14、其中，hl(·)是批量归一化(bn)、激活函数(rrelu6)、池化(pool)或卷积(conv)、深度可分离卷积(dsc)操作的复合函数。
15、s43：为了更好地优化神经网络在移动设备和嵌入式系统等资源受限环境中的性能。mobilenetv2等网络使用relu6来替代relu激活函数，以帮助减少量化带来的负面影响和从浮点型到整型转换时可能出现的数据失真问题。但仍存在部分神经元失活的问题，于是本专利技术提出rrelu6同时缓解这两种问题，在减少神经元失活的同时缓解量化带来的负面影响以及数据失真问题，
16、s44：随后，使用非结构化模型剪枝方法lamp对模型进行剪枝，其通过重新缩放权重大小来近似评估由修剪引起的模型级失真，可以在无需任何超参数调整或繁重的计算，并能够自动选择分层稀疏度，从而有效地应用于不同类型的神经网络层(如全连接层和卷积层)，同时保持模型性能。
17、s45：为弥补模型剪枝造成的精度损失这一问题，本专利技术提出一种新型多尺度自适应注意力(mfga)，旨在通过多尺度特征融合和精细信息流调控来增强模型对特征的提取能力。
18、随后，在re-密集块之后，加入mfga注意力机制，mfga的具体实现过程如下：
19、(1)按照通道分成三个分支模拟多头注意力的效果，使用1×1卷积对通道信息进行提取；
20、(2)引入global context transformer(gct)来控制通道间的竞争或合作关系，为后续操作提供更精细的信息流；
21、(3)融合多层感知机、多尺度模块和通道注意力提取不同尺度的特征，加强特征之间的联系和互补性。此模块可即插即用，便捷地集成于任何卷积神经网络中。
22、s46：为了最大程度的弥补并增强模型在剪枝后的精度，本专利技术使用迁移学习将模型在plantvillage数据集上学习到的知识迁移到本专利技术的数据集中，使模型能够捕捉到更广泛的数据特征分布，并提高新任务上的泛化性能。
23、s47：最后，使用过渡层连接每个re-密集块。过渡层包括批量归一化(本文档来自技高网...
【技术保护点】
1.一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，其特征在于，包括以下步骤：
2.根据权利要求1中所述的一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，其特征在于，所述步骤1中获取的棉花病虫害数据集是在中国新疆维吾尔自治区塔城地区实地以及中国新疆维吾尔自治区昌吉国家农业中心采集的。这些数据是在真实环境中收集的，面临着复杂背景和不同光照条件的挑战，例如多变的田间环境以及不同的天气变化。所有图像都是使用安卓智能手机拍摄的。
3.根据权利要求2中所述的一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，其特征在于，所述棉花病虫害包括健康棉花叶片、棉花黄萎病、棉花褐斑病、棉花枯萎病、棉花红叶茎枯病以及棉花蚜虫共四种病害一种虫害。
4.根据权利要求1中所述的一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，其特征在于，所述步骤2中的棉花病虫害数据集划分是按8:2的比例划分为训练集和测试集。
5.根据权利要求1中所述的一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，其特征在于，所述步骤3中的图像预处理包含对图
6.根据权利要求1中所述的一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，其特征在于，所述步骤4中，搭建基于注意力机制和深度可分离卷积的棉花病虫害识别模型包括使用多尺度卷积替代DenseNet121中的第一层7×7卷积；将DenseNet121密集层中的ReLU激活函数替换为RReLU6激活函数，在保证在便携式设备上能高效运行的基础上，减少神经元的失活；将密集层中的第二个卷积替换为深度可分离卷积，从而构建一个新的密集层：R-密集层，以多个R-密集层组合成RE-密集块，以减少模型参数量；使用LAMP模型剪枝方法对模型进行剪枝减少模型的参数量；为了弥补剪枝后对模型精度的损失，使用迁移学习将在PlantVillage数据集上的知识迁移到本专利技术所构建的模型上；最后，构建MFGA多尺度自适应注意力机制嵌入到RE-密集块中，以增强模型对重要信息的关注。
7.根据权利要求5中所述的一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，其特征在于，初始学习率设置为0.01，权重衰减为0.0001，并使用动量为0.9的SGD优化器。
8.根据权利要求6中所述的一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，其特征在于，将测试集输入到模型中，输出模型测试准确度。
9.根据权利要求7中所述的一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，其特征在于，对棉花病虫害的图像输入到预测模型中，输出棉花病虫害的识别结果。
...【技术特征摘要】
1.一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，其特征在于，包括以下步骤：
2.根据权利要求1中所述的一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，其特征在于，所述步骤1中获取的棉花病虫害数据集是在中国新疆维吾尔自治区塔城地区实地以及中国新疆维吾尔自治区昌吉国家农业中心采集的。这些数据是在真实环境中收集的，面临着复杂背景和不同光照条件的挑战，例如多变的田间环境以及不同的天气变化。所有图像都是使用安卓智能手机拍摄的。
3.根据权利要求2中所述的一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，其特征在于，所述棉花病虫害包括健康棉花叶片、棉花黄萎病、棉花褐斑病、棉花枯萎病、棉花红叶茎枯病以及棉花蚜虫共四种病害一种虫害。
4.根据权利要求1中所述的一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，其特征在于，所述步骤2中的棉花病虫害数据集划分是按8:2的比例划分为训练集和测试集。
5.根据权利要求1中所述的一种基于注意力机制和迁移学习的轻量级棉花病虫害识别方法，其特征在于，所述步骤3中的图像预处理包含对图像进行剪切、随机网格洗牌、通道洗牌、网格失真、随机噪声、随机亮度、随机调整色调饱和度以及图像数据归一化中的任意一种。
6.根据权利要求1中所述的一种基于注意力机制和迁移学习的轻量级棉花病虫害识...
【专利技术属性】
技术研发人员：张琳琳，娄高展，郭展宏，赵楷，吴文寿，
申请(专利权)人：新疆大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。