【技术实现步骤摘要】
本专利技术属于图像识别，具体涉及一种基于深度学习的入侵害虫粘虫板图像识别方法。
技术介绍
1、随着全球人口的增长和经济的发展，农业生产的可持续性和高产量成为了迫切的需求。在这一背景下，精准农业技术逐渐崛起，以提高农业生产的效率和质量。然而，农业生产中的害虫侵入问题严重影响了农作物的产量和质量。据统计，害虫每年导致全球15-20％的作物损失，并间接或直接传播病害和病毒，破坏生态平衡。害虫对农业的影响不仅仅局限于作物损失，还包括对农业生产的直接成本，如昆虫控制和防治措施的开支，以及对农业生产和生态环境保护的间接成本，如抗药性的增加和生态系统平衡的破坏。因此，农业界一直在寻求各种方法和技术来预防和控制害虫的入侵。
2、传统的人工检测入侵害虫需要多种人力，而且人类很难及时发现入侵害虫的出现。因此，实现入侵害虫监测的智能化已经成为了一种必然的发展趋势，实现入侵害虫智能监测的关键就是建立一套实时性、准确性高的入侵害虫图像识别方法。
3、近年来，深度学习技术在图像识别领域取得了显著进展，尤其是卷积神经网络(cnn)在图像分类任务中取得了突破性的成果，深度学习技术已被广泛应用于各个领域，包括医学图像分析和农业领域。基于深度学习的图像识别技术可以有效地辨识并定位害虫，为实时监测和预警提供了技术支持。
4、苹果蠹蛾和番茄潜叶蛾是两种危害性极大的入侵害虫。番茄潜叶蛾是一种猖獗的夜间飞行的害虫，会在番茄叶片上产卵并在叶片内孵化成幼虫，从而损害番茄植株。番茄潜叶蛾在全球范围内的传播和侵害速度非常快，不仅对番茄种植业造成
5、智能监测入侵害虫可以通过在田地或果园里放置粘虫板，一段时间后对粘虫板图像进行识别，实现害虫计数。但是，入侵害虫粘虫板图像具有多样本对象、目标重叠、小目标对象监测、非靶标害虫干扰的问题，因此对采集到的图像实现精准目标检测具有非常大的挑战。为此，建立一套实时性强，准确率高的入侵害虫检测算法尤为重要。
技术实现思路
1、本专利技术目的在于提供一种基于深度学习的入侵害虫粘虫板图像识别方法，以弥补现有技术的不足，解决现有技术中目标检测不够精准的问题。
2、一种基于深度学习的入侵害虫粘虫板图像识别方法，包括以下具体步骤：
3、s1、获取拍摄图像，构建数据集；
4、s2、对数据集进行标注和数据集增强处理；
5、s3、将经预处理后的数据集划分为训练集、验证集和测试集三个子集；
6、s4、构建改进的tph-yolov5预训练模型；
7、s5、将训练集输入至改进的tph-yolov5预训练模型，进行迁移学习，组合不同模型训练技巧进行模型训练，将预测结果与真实结果比对，计算损失函数，并更新网络权重；若达到预设的迭代次数，则结束训练；
8、s6、基于改进的tph-yolov5模型实现入侵害虫检测。
9、进一步地，所述步骤s1中获取拍摄图像，采用带有800万像素和usb传输协议与stm32通信功能的相机，将相机固定在一定高度，在白色粘贴板随机洒落害虫标本，对不同种类害虫的数量和分布进行全面模拟，以保证数据集样本的均衡性；人工采集白色粘贴板成虫标本图像数据集，不同图像由不同数量和类型害虫组合排列得到；裁剪为正方形比例，图像尺寸为2448*2448，构建图像数据集。
10、进一步地，所述步骤s2中使用labelimg对数据集进行标注，用真实边界框和标签对数据进行注释。
11、进一步地，所述步骤s2中对数据集原始图像进行数据增强处理，采用传统数据增强处理方法结合mixup方法和mosaic方法扩展数据集，并相应更新标注信息。
12、进一步地，所述步骤s3中按8:1:1比例划分经处理后的数据集为训练集、验证集和测试集三个子集。
13、进一步地，所述步骤s4中改进的tph-yolov5预训练模型是加载改进的tph-yolov5模型在coco数据集上进行训练所得到的权重进行初始化后的模型，改进的tph-yolov5模型包括transformer编码器预测头和yolov5主干网络，在网络末端低分辨率特征地图上应用tph，集成全局注意力机制，采用焦点损失函数；其中，transformer编码器包含多头注意模块和前馈神经网络mlp模块；多头注意模块基于全局注意力机制gam来实现，用于提取注意区域。
14、进一步地，所述改进的tph-yolov5模型是将原始版本的yolov5中的卷积块和csp块替换为transformer编码器块，每个transformer编码器包含两个子层，第一个子层是一个多头注意层，第二个子层是一个完全连接的层，每个子层之间使用剩余连接。
15、进一步地，所述步骤s5中采用预训练模型进行迁移学习，并在入侵害虫图像数据集上进行微调，针对多种害虫检测对象数据分布不均匀的问题进行混合提升处理，以对数据的理解具有线性化；针对害虫图像样本不足问题进行随机马赛克增强处理，以丰富检测物体的背景；利用全局注意力机制代替tph-yolov5模型原来的卷积块注意模型，增强网络在密集害虫图像中找到感兴趣区域的能力；
16、进一步地，所述步骤s5中采用预训练模型进行迁移学习时，组合不同模型训练技巧提升模型效果，针对害虫样本数量不平衡和难分类样本学习的问题，采用焦点损失函数提升模型检测精度；针对模型在害虫数据集上收敛不稳定的问题，对backbone和heads使用不同的学习率，并且使用随机权值平均优化调节，稳定模型训练；给tph不同检测头加入不同的weight decay，越深层的检测头，正则化参数越大，防止网络过拟合；同时在推理过程中加入tta增强，提高害虫检测精度；使用wbf对最终模型进行集成，解决模型中不准确的预测。
17、进一步地，tta增强在测试时，对于测试数据集进行不同方向的预测后将预测的模型进行组合，在不改变模型内部参数的情况下，对效果进行提升，多分类焦点损失函数(focal loss)推导公式如下：
18、focalloss＝-[y*α*(1p)γlog(p)+(1-y)*(1-α)*pγ*log(1-p)]，
19、其中，y为one-hot形式编码，γ为控制难易样本分配的参数，α为控制正负样本贡献的参数，p为是预测值的输出概率。
20、与现有技术相比，本专利技术有以下优点：
21、(1)本专利技术能够对多种靶标入侵害虫目标形态准确识别，最终precision达到0.96531，map_0.5:0.95为0.59575；害虫的召回率率达90％以上，达到了峰值水平，并能够成功区分害虫种类；
22、(2)改进的tph-yolov5模型在传统数据增强方法的基础上，针对多种害虫检测对象数据分布不均匀的问题进行混合提升(mixup)处理，使得对数据的理解更具有线性化；针对本文档来自技高网...
【技术保护点】
1.一种基于深度学习的入侵害虫粘虫板图像识别方法，其特征在于，所述图像识别方法包括以下具体步骤：
2.根据权利要求1所述的一种基于深度学习的入侵害虫粘虫板图像识别方法，其特征在于，所述步骤S1中获取拍摄图像，采用带有800万像素和USB传输协议与STM32通信功能的相机，将相机固定在一定高度，在白色粘贴板随机洒落害虫标本，对不同种类害虫的数量和分布进行全面模拟，以保证数据集样本的均衡性；人工采集白色粘贴板成虫标本图像数据集，不同图像由不同数量和类型害虫组合排列得到；裁剪为正方形比例，图像尺寸为2448*2448，构建图像数据集。
3.根据权利要求1所述的一种基于深度学习的入侵害虫粘虫板图像识别方法，其特征在于，所述步骤S2中使用Labelimg对数据集进行标注，用真实边界框和标签对数据进行注释。
4.根据权利要求3所述的一种基于深度学习的入侵害虫粘虫板图像识别方法，其特征在于，所述步骤S2中对数据集原始图像进行数据增强处理，采用传统数据增强处理方法结合Mixup方法和Mosaic方法扩展数据集，并相应更新标注信息。
5.根据权利要求
6.根据权利要求1所述的一种基于深度学习的入侵害虫粘虫板图像识别方法，其特征在于，所述步骤S4中改进的TPH-YOLOv5预训练模型是加载改进的TPH-YOLOv5模型在COCO数据集上进行训练所得到的权重进行初始化后的模型，改进的TPH-YOLOv5模型包括Transformer编码器预测头和YOLOv5主干网络，在网络末端低分辨率特征地图上应用TPH，集成全局注意力机制，采用焦点损失函数；其中，Transformer编码器包含多头注意模块和前馈神经网络MLP模块；多头注意模块基于全局注意力机制GAM来实现，用于提取注意区域。
7.根据权利要求6所述的一种基于深度学习的入侵害虫粘虫板图像识别方法，其特征在于，所述改进的TPH-YOLOv5模型是将原始版本的YOLOv5中的卷积块和CSP块替换为Transformer编码器块，每个Transformer编码器包含两个子层，第一个子层是一个多头注意层，第二个子层是一个完全连接的层，每个子层之间使用剩余连接。
8.根据权利要求1所述的一种基于深度学习的入侵害虫粘虫板图像识别方法，其特征在于，所述步骤S5中采用预训练模型进行迁移学习，并在入侵害虫图像数据集上进行微调，针对多种害虫检测对象数据分布不均匀的问题进行混合提升处理，以对数据的理解具有线性化；针对害虫图像样本不足问题进行随机马赛克增强处理，以丰富检测物体的背景；利用全局注意力机制代替TPH-YOLOv5模型原来的卷积块注意模型，增强网络在密集害虫图像中找到感兴趣区域的能力。
9.根据权利要求8所述的一种基于深度学习的入侵害虫粘虫板图像识别方法，其特征在于，所述步骤S5中采用预训练模型进行迁移学习时，组合不同模型训练技巧提升模型效果，针对害虫样本数量不平衡和难分类样本学习的问题，采用焦点损失函数提升模型检测精度；针对模型在害虫数据集上收敛不稳定的问题，对Backbone和Heads使用不同的学习率，并且使用随机权值平均优化调节，稳定模型训练；给TPH不同检测头加入不同的Weightdecay，越深层的检测头，正则化参数越大，防止网络过拟合；同时在推理过程中加入TTA增强，提高害虫检测精度；使用WBF对最终模型进行集成，解决模型中不准确的预测。
10.根据权利要求9所述的一种基于深度学习的入侵害虫粘虫板图像识别方法，其特征在于，TTA增强在测试时，对于测试数据集进行不同方向的预测后将预测的模型进行组合，在不改变模型内部参数的情况下，对效果进行提升，多分类焦点损失函数(focal loss)推导公式如下：
...【技术特征摘要】
1.一种基于深度学习的入侵害虫粘虫板图像识别方法，其特征在于，所述图像识别方法包括以下具体步骤：
2.根据权利要求1所述的一种基于深度学习的入侵害虫粘虫板图像识别方法，其特征在于，所述步骤s1中获取拍摄图像，采用带有800万像素和usb传输协议与stm32通信功能的相机，将相机固定在一定高度，在白色粘贴板随机洒落害虫标本，对不同种类害虫的数量和分布进行全面模拟，以保证数据集样本的均衡性；人工采集白色粘贴板成虫标本图像数据集，不同图像由不同数量和类型害虫组合排列得到；裁剪为正方形比例，图像尺寸为2448*2448，构建图像数据集。
3.根据权利要求1所述的一种基于深度学习的入侵害虫粘虫板图像识别方法，其特征在于，所述步骤s2中使用labelimg对数据集进行标注，用真实边界框和标签对数据进行注释。
4.根据权利要求3所述的一种基于深度学习的入侵害虫粘虫板图像识别方法，其特征在于，所述步骤s2中对数据集原始图像进行数据增强处理，采用传统数据增强处理方法结合mixup方法和mosaic方法扩展数据集，并相应更新标注信息。
5.根据权利要求1所述的一种基于深度学习的入侵害虫粘虫板图像识别方法，其特征在于，所述步骤s3中按8:1:1比例划分经处理后的数据集为训练集、验证集和测试集三个子集。
6.根据权利要求1所述的一种基于深度学习的入侵害虫粘虫板图像识别方法，其特征在于，所述步骤s4中改进的tph-yolov5预训练模型是加载改进的tph-yolov5模型在coco数据集上进行训练所得到的权重进行初始化后的模型，改进的tph-yolov5模型包括transformer编码器预测头和yolov5主干网络，在网络末端低分辨率特征地图上应用tph，集成全局注意力机制，采用焦点损失函数；其中，transformer编码器包含多头注意模块和前馈神经网络mlp模块；多头注意模块基于全局注意力机制gam来实现...
【专利技术属性】
技术研发人员：杨秦敏，赵梦雅，杨天辉，李乐宜，乔慧捷，刘建夏，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。