一种用于垄间果蔬计数的视觉检测计数方法技术

本发明专利技术公开了一种用于垄间果蔬计数的视觉检测计数方法，本发明专利技术的技术方案在YOLOv8网络的基础上添加自动计数功能，将YOLOv8网络原有的CIoU损失函数优化为Alpha

【技术实现步骤摘要】
一种用于垄间果蔬计数的视觉检测计数方法


[0001]本专利技术属于视觉检测
，具体地说，本专利技术涉及一种用于垄间果蔬计数的视觉检测计数方法。

技术介绍

[0002]垄间栽培是通过建立高于周围地面的小高坡，以此克服平原低洼地区果蔬生长不良等情况，垄间栽培具有土壤保温性能好、促进根系下扎，提高吸水吸肥能力、提高果实产量等优点。果蔬作为十分重要的经济作物，对其进行准确检测和计数，是实现果蔬智能化技术的关键，同时也为农民进行产量预估提供参考价值，以提高经济效益。我国作为世界最大的果蔬生产国与消费国，对果蔬进行视觉检测及产量预估，对于有效进行资源分配，避免设备资源损失具有重要的意义。
[0003]近年来，随着人工智能的不断发展，人工智能逐渐应用到农业领域，大大加快农业智能化进程。基于视觉检测技术的果蔬产量估计成为研究的热点，即利用计算机视觉代替人工，对果蔬进行精准检测计数。目前，深度学习被应用到目标检测领域，能够实现果实的自动检测与计数。
[0004]魏超宇提出将YOLOv3与DeepSort结合，基于ResNet50的回归计数模型对小番茄进行跟踪计数，测试结果较好，但其网络检测速度较慢，难以达到实时检测的要求(中国计量大学,2021)。
[0005]Liu等提出了一种果实计数方案，将语义分割、视频跟踪和三维定位结合，首先利用语义分割将拍摄的视频每一帧进行分割处理，然后结合匈牙利算法和卡尔曼滤波对目标果实进行跟踪计数，但对于果实目标较多的场景时，存在较多果实跟踪失败的情况，效果较差(IEEE,2018:1045
‑
1052)。
[0006]高芳芳等提出基于轻量级目标检测网络YOLOv4
‑
tiny和卡尔曼滤波跟踪算法对苹果进行跟踪检测计数，其平均检测精度可以达到94.47％，在果园中拍摄视频的检测精度可以达到96.15％，但其检测精度仍可进一步提升(农业工程学报,2021,37(21):217
‑
224)。
[0007]综上所述，虽然一些学者在果蔬检测与跟踪计数上已经取得了较好的效果，但仍存在无法同时保证检测精度和检测速度的问题。因此，如何在保证检测精度的同时，提升网络的检测速度具有重要的研究意义和实用价值。

技术实现思路

[0008]本专利技术提供一种用于垄间果蔬计数的视觉检测计数方法，以解决上述
技术介绍
中存在的问题。
[0009]为了实现上述目的，本专利技术采取的技术方案为：一种用于垄间果蔬计数的视觉检测计数方法，具体包括以下步骤：
[0010]步骤S1：利用机械小车移动平台上的移动工业相机在果园中采集不同果蔬的大小、不同枝条上果蔬数量、不同枝叶遮挡的果蔬图像，以便增加数据的多样性；
[0011]步骤S2：基于Pycharm操作平台，利用Python脚本对采集的数据进行数据增强，丰富数据集，提高检测网络模型的鲁棒性，同时本专利技术基于Pytorch框架使用图像去雾技术对数据集图片进行处理，以此增加图片对比度；
[0012]步骤S3：利用Labelimg对数据集进行标注并生成xml标签，利用Python脚本将xml标签转换成txt文件，以便网络训练时读取目标果蔬的具体位置坐标，同时设置比例为1:1:8，将数据集分为验证集(val)、测试集(text)、训练集(train)；
[0013]步骤S4：调整YOLOv8网络三种损失函数的权重参数，以便达到更高的识别精度；
[0014]步骤S5：将文件夹中track.py文件添加代码以获取目标的宽和高信息，同时定义计数功能函数count_obj，将视频中出现的所有目标ID进行统计，在track.py文件中定义显示的字体颜色、大小、字号、厚度；
[0015]步骤S6：调整YOLOv8网络的参数，图像输入尺寸为640像素
×
640像素，batch
‑
size大小为16，最大迭代次数130，imgsz大小为320，选择迁移训练模型权重为yolov8n.pt；
[0016]步骤S7：将YOLOv8网络中原CIoU损失函数更改为Alpha
‑
IoU损失函数；
[0017]步骤S8：将FasterNet与YOLOv8网络深度融合；
[0018]步骤S9：自定义数据集的yaml文件，检测目标类型为fruit，修改数据路径；
[0019]步骤S10：运行train.py文件训练果蔬数据集，在训练完成后停止训练并获取网络训练的权重；
[0020]步骤S11：在track.py文件中，将yolov8n.pt预训练权重换成训练完成后得到的最佳训练权重best.pt，将另采集的视频传入网络中，查看计数效果。
[0021]优选的，所述步骤S1中，机械小车移动平台包括履带式底座、检测显示装置、控制装置、平台升降装置和图像采集系统；所述检测显示装置设置在机械小车移动平台前端，用来实时观测检测结果；所述控制装置用于实现对履带式底座行驶路径的控制，对图像采集系统中的工业相机自动、同步拍摄的控制，并根据果蔬生长状况控制平台升降装置进行升降操作。
[0022]优选的，所述步骤S2中，图像去雾技术具体可以表示为：
[0023]I(x)＝J(x)t(x)+A(1
‑
t(x))；
[0024]其中：I(x)表示雾化图像；J(x)表示原图像；t(x)表示转移矩阵；A表示大气光；t(x)＝e
‑
χd(x)
，d(x)表示场景的深度，χ表示大气散射系数。
[0025]优选的，所述步骤S4中，YOLOv8网络中分类分支中采用BCE Loss损失函数，回归分支中采用DF Loss损失函数和CIoU Loss损失函数，上述三种损失函数在YOLOv8网络中所占的权重分别为7.5、1.5、0.5。
[0026]优选的，所述BCE Loss损失函数，具体可表示为：
[0027]L(pt,target)＝
‑
w*(target*ln(pt)+(1
‑
target)*ln(1
‑
pt))；
[0028]其中：pt代表模型预测值；target代表标签值；w为权重值，一般设置为1；
[0029]所述DF Loss损失函数，具体可表示为：
[0030]DFL(S
i
,S
i+1
)＝
‑
((y
i+1
‑
y)log(S
i
)+(y
‑
y
i
)log(S
i+1
))；
[0031]其中：y
i
和y
i+1
是浮点值y的左右整数值；S
i
和S
i+1
为y
i
和y
i+1
对应的概率；
[0032]所述CIo本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于垄间果蔬计数的视觉检测计数方法，其特征在于：具体包括以下步骤：步骤S1：利用机械小车移动平台上的移动工业相机在果园中采集不同果蔬的大小、不同枝条上果蔬数量、不同枝叶遮挡的果蔬图像，以便增加数据的多样性；步骤S2：基于Pycharm操作平台，利用Python脚本对采集的数据进行数据增强，丰富数据集，提高检测网络模型的鲁棒性，同时本发明基于Pytorch框架使用图像去雾技术对数据集图片进行处理，以此增加图片对比度；步骤S3：利用Labelimg对数据集进行标注并生成xml标签，利用Python脚本将xml标签转换成txt文件，以便网络训练时读取目标果蔬的具体位置坐标，同时设置比例为1:1:8，将数据集分为验证集(val)、测试集(text)、训练集(train)；步骤S4：调整YOLOv8网络三种损失函数的权重参数，以便达到更高的识别精度；步骤S5：将文件夹中track.py文件添加代码以获取目标的宽和高信息，同时定义计数功能函数count_obj，将视频中出现的所有目标ID进行统计，在track.py文件中定义显示的字体颜色、大小、字号、厚度；步骤S6：调整YOLOv8网络的参数，图像输入尺寸为640像素
×
640像素，batch
‑
size大小为16，最大迭代次数130，imgsz大小为320，选择迁移训练模型权重为yolov8n.pt；步骤S7：将YOLOv8网络中原CIoU损失函数更改为Alpha
‑
IoU损失函数；步骤S8：将FasterNet与YOLOv8网络深度融合；步骤S9：自定义数据集的yaml文件，检测目标类型为fruit，修改数据路径；步骤S10：运行train.py文件训练果蔬数据集，在训练完成后停止训练并获取网络训练的权重；步骤S11：在track.py文件中，将yolov8n.pt预训练权重换成训练完成后得到的最佳训练权重best.pt，将另采集的视频传入网络中，查看计数效果。2.根据权利要求1所述的一种用于垄间果蔬计数的视觉检测计数方法，其特征在于：所述步骤S1中，机械小车移动平台包括履带式底座(4)、检测显示装置(3)、控制装置(5)、平台升降装置(1)和图像采集系统(2)；所述检测显示装置(3)设置在机械小车移动平台前端，用来实时观测检测结果；所述控制装置(5)用于实现对履带式底座(4)行驶路径的控制，对图像采集系统(2)中的工业相机自动、同步拍摄的控制，并根据果蔬生长状况控制平台升降装置(1)进行升降操作。3.根据权利要求1所述的一种用于垄间果蔬计数的视觉检测计数方法，其特征在于：所述步骤S2中，图像去雾技术具体可以表示为：I(x)＝J(x)t(x)+A(1
‑
t(x))；其中：I(x)表示雾化图像；J(x)表示原图像；t(x)表示转移矩阵；A表示大气光；t(x)＝e
‑
χd(x)
，d(x)表示场景的深度，χ表示大气散射系数。4.根据权利要求1所述的一种用于垄间果蔬计数的视觉检测计数方法，其特征在于：所述步骤S4中，YOLOv8网络中分类分支中采用BCE Loss损失函数，...

【专利技术属性】
技术研发人员：曹子昂，侯文慧，周传起，杨智杰，梅芳芳，王玉伟，刘路，
申请(专利权)人：安徽农业大学，
类型：发明
国别省市：