一种基于改进制造技术

本发明专利技术实施例通过改进

【技术实现步骤摘要】
一种基于改进YOLOv7与RKNPU2的轻量化害虫检测方法


[0001]本专利技术涉及目标检测
，具体涉及一种基于改进
YOLOv7
与国产
RKNPU2
芯片的轻量化害虫检测方法
。

技术介绍

[0002]近年来，随着农业技术的不断发展，基于图像处理的害虫检测方法受到了广泛关注
。
在农业生产中，害虫的侵害可能导致作物减产和质量下降，因此准确
、
高效的害虫检测方法对于农作物保护至关重要
。
传统的人工检查不仅费时费力，检测效率和准确率都较低
。
基于计算机视觉的图像识别技术为害虫检测提供了新的思路
。
[0003]典型的目标检测模型
YOLO
系列由于其检测速度快
、
准确率高适合应用于移动端和嵌入式设备
。
但是原始的
YOLO
模型对于轻量级硬件如
RKNPU2
芯片来说计算量仍然过大
。
为实现在资源受限的设备上部署目标检测模型，需要对模型进行压缩 Pruning 和知识蒸馏 Knowledge Distillation
等优化，得到更小
、
更快的模型
。
此外，由于一般数据集标注不平衡的问题，可能导致对部分小目标的检测效果不佳
。
因此还需要采用一定的小目标增强技术增大这部分数据样本
。
综上所述，研究轻量化的r/>YOLOV7
模型优化方法，结合小目标增强样本和
RKNPU2
推理加速的部署，实现在嵌入式设备上实时准确检测农作物病虫害，将大大提升当前农业生产的智能化水平，有望在农作物保护领域产生深远影响
。

技术实现思路

[0004]本专利技术实施例的目的在于设计改进
YOLOV7
算法，通过模型压缩和优化，得到更小
、
更快的检测模型，以便在
RKNN
嵌入式设备进行加速部署
。
[0005]本专利技术为实现以上目的采用的技术方案如下：一种基于改进
YOLOv7
与
RKNPU2
的轻量化害虫检测方法，具体包括以下步骤
。
[0006]步骤一：构建训练所需的小目标害虫数据集，并使用小目标增强技术对数据集进行数据增强操作
。
[0007]进一步的，小目标害虫图片使用架设在虫情测报灯上的网络摄像头拍摄采集，并人工使用软件对图片标注害虫种类信息构建数据集，标注文件为图片同名
TXT
文件，标注文件的每行数据代表同名图片中的一个目标
。
[0008]数据标注内容为（
class X
1 Y
1 X
2 Y2），其中的
class
为整数代表目标种类序号，（
X
1 Y1）代表标注框左上角在对应图片中的像素位置，（
X
2 Y2）代表标注框右下角在对应图片的像素位置
。
[0009]进一步的，使用小目标增强技术对数据集进行数据增强操作具体如下：将数据集中的目标对象根据标注框尺寸筛选小尺寸目标，针对小尺寸目标，使用双线性插值算法对图像进行
1.5
倍缩放，同时按比例缩放标注框坐标，生成缩放增强后的数据样本
。
[0010]为小尺寸目标添加均值
μ
=0
，标准差为
σ
的高斯噪声，提高模型对复杂背景的适应
性，其中标准差
σ
取数据集中图像的平均灰度值的
10%。
[0011]步骤二：使用处理好的数据集和原版完整的
YOLOV7
算法训练一个教师模型，训练到较高的检测精度，作为知识蒸馏的教师模型
。
[0012]进一步的，网络选择原始的
YOLOv7
模型结构，无需修改，
backbone
选用
CSPDarkNet
，保证强大的特征提取能力；训练时
batchsize
根据数据集大小和目标种类数量来确定，学习率采用余弦退火策略，训练轮数足够大，确保教师模型收敛充分，精度足够高
。
[0013]进一步的，学习率采用余弦退火策略，具体方法为：设定学习率的初始值
lr_init
和终止值
lr_end。
[0014]训练过程分为
n
个周期
(cycle)
，每个周期内学习率按照余弦函数变化：
lr = lr_end + (lr_init
ꢀ‑ꢀ
lr_end) * (1 + cos(t / T * π
)) / 2
其中
t
为当前迭代数，
T
为一个周期的总迭代数，这样学习率会随着每个周期的迭代逐渐从
lr_init
减小到
lr_end
，然后新的周期又重新增大到
lr_init
，周期性地波动
。
[0015]相比固定学习率和阶段性衰减策略，这种余弦退火学习率可以让模型在不同学习率下均匀收敛，并有周期性的再
warmup
过程，可以获得较优的收敛效果
。
[0016]步骤三：修改
YOLOV7
原始网络结构，构建一个轻量化的
YOLOV7
，使用处理好的数据集和轻量化
YOLOV7
训练生成模型，作为知识蒸馏的学生模型
。
[0017]进一步的，针对轻量化和小目标检测的需求，对
YOLOv7
的网络结构进行如下修改：使用更轻量的骨干网络
MobileNet
，替代原来的
CSPDarknet
，可以大幅减小模型大小；使用更先进的
anchor
‑
free
预测头
FCOS
替换原版
YOLOV7
中的
anchor
‑
based
的预测头，可以减少针对不同形状目标的设计
anchor
的工作
。
[0018]修改完以后的改进算法网络结构如下：
Backbone
： 使用
MobileNetV2
作为特征提取网络，相比
CSPDarknet
会缩小很多参数量；
Neck
：保留
CSP
‑
PAN
模块，进行多尺度特征融合；
Head
： 使用
FCOS
预测头代替
YOLOv7
的
anchor
‑
base本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于改进
YOLOv7
与
RKNPU2
的轻量化害虫检测方法，其特征在于，包括以下步骤：步骤一：构建训练所需的小目标害虫数据集，并使用小目标增强技术对数据集进行数据增强操作；优选的，小目标害虫图片使用架设在虫情测报灯上的网络摄像头拍摄采集，并人工使用软件对图片标注害虫种类信息构建数据集，标注文件为图片同名
TXT
文件，标注文件的每行数据代表同名图片中的一个目标；数据标注内容为（
classX1Y1X2Y2），其中的
class
为整数代表目标种类序号，（
X1Y1）代表标注框左上角在对应图片中的像素位置，（
X2Y2）代表标注框右下角在对应图片的像素位置；优选的，使用小目标增强技术对数据集进行数据增强操作具体如下：将数据集中的目标对象根据标注框尺寸筛选小尺寸目标，针对小尺寸目标，使用双线性插值算法对图像进行
1.5
倍缩放，同时按比例缩放标注框坐标，生成缩放增强后的数据样本；为小尺寸目标添加均值
μ
=0
，标准差为
σ
的高斯噪声，提高模型对复杂背景的适应性，其中标准差
σ
取数据集中图像的平均灰度值的
10%
；步骤二：使用处理好的数据集和原版完整的
YOLOV7
算法训练一个教师模型，训练到较高的检测精度，作为知识蒸馏的教师模型；优选的，网络选择原始的
YOLOv7
模型结构，无需修改，
backbone
选用
CSPDarkNet
，保证强大的特征提取能力；训练时
batchsize
根据数据集大小和目标种类数量来确定，学习率采用余弦退火策略，训练轮数足够大，确保教师模型收敛充分，精度足够高；优选的，学习率采用余弦退火策略，具体方法为：设定学习率的初始值
lr_init
和终止值
lr_end
；训练过程分为
n
个周期
(cycle)
，每个周期内学习率按照余弦函数变化：
lr=lr_end+(lr_init
‑
lr_end)*(1+cos(t/T*
π
))/2
其中
t
为当前迭代数，
T
为一个周期的总迭代数，这样学习率会随着每个周期的迭代逐渐从
lr_init
减小到
lr_end
，然后新的周期又重新增大到
lr_init
，周期性地波动；相比固定学习率和阶段性衰减策略，这种余弦退火学习率可以让模型在不同学习率下均匀收敛，并有周期性的再
warmup
过程，可以获得较优的收敛效果；步骤三：修改
YOLOV7
原始网络结构，构建一个轻量化的
YOLOV7
，使用处理好的数据集和轻量化
YOLOV7
训练生成模型，作为知识蒸馏的学生模型；步骤四：对得到的教师模型和学生模型进行知识蒸馏操作；优选的，知识蒸馏的操作具体如下：第一步，使用教师模型输出的预测框
、
类别概率作为软标签，与
groundtruth
一同作为学生模型的监督信号，进行知识蒸馏训练；第二步，在损失函数中加入对软标签拟合的项，同时保留原有的分类
、
回归损失
。
权重控制不同损失项的
tradeoff
；第三步，通过蒸馏，学生模型可以模仿教师模型的预测行为，提升检测精度，并保持较高的推理速度；步骤五：对知识蒸馏后的模型文件进行裁剪和量化实现轻量化；
优选的，使用
MobileNetV2
作为
backbone
，
FCOS
作为预测头，构建了轻量化的
YOLOv7
检测模型，并进行模型裁剪和量化；步骤六：将模型文件转换为
RKNN
模型文件并部署到
RK3588
嵌入式设备上进行
NPU
加速推理
。2.
根据权利要求1中步骤三所述的修改
YOLOV7
原始网络结构，构建一个轻量化的
YOLOV7
，其特征在于，对
YOLOv7
的网络结构进行如下修改：使用更轻量的骨干网络<...

【专利技术属性】
技术研发人员：李念强，聂顺，
申请(专利权)人：济南大学，
类型：发明
国别省市：