一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法技术

本发明专利技术涉及一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法，与现有技术相比解决了难以定位出葡萄图像中茎位置的缺陷

【技术实现步骤摘要】
一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法


[0001]本专利技术涉及农业采摘
，具体来说是一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法
。

技术介绍

[0002]目前，葡萄采摘主要依靠自动化低
、
时效性差
、
成本高的人工操作
。
随着机器视觉
、
人工智能和机器人技术在园艺中的应用，自动采摘已成为一种新兴趋势
。
葡萄采摘通常是通过切割茎来执行的，以避免软皮肤的损伤
。
在这个过程中，茎中切割位置的测量，称为采摘点位置，是自动选择中必不可少的关键步骤
。
[0003]采摘点位置通常采用颜色和形态学的阈值方法来检测水果，然后利用统计计算得到采摘点
。
使用
Otsu
阈值来分离水果和茎，然后使用
Harris
角在茎上获得
。Otsu
阈值和颜色直方图分离用于识别番茄，然后将形态学和几何计算结合起来定位采摘点
。
泛化和容易噪声的能力是水果检测阈值方法的弱点之一，在复杂环境中导致鲁棒性较差和精度较低
。
随着深度学习
(DL)
的快速发展，将基于区域的卷积神经网络
(MASK R
‑
CNN)、Swin Transformer
和
You Only Look Once(YOLO)
等检测网络应用于水果检测，取得了较好的性能
。
[0004]尽管深度学习提高了水果检测的准确性，但由于需要为可变场景设计特定的模式，基于统计计算的采摘点确定仍然容易受到异常数据的影响，并且难以处理可变性
。
当主轴和茎部不对齐时，采摘点很难在茎部上定位
。
通过计算树干的弯曲度获得采摘点，如果树干是直的，则取其中点，如果树干弯曲，则取图像灰度值最大的点
。
在葡萄采摘过程中，葡萄簇的形状和方向的变化，如倒置或平行于重力矢量，以及复杂的光照和遮挡，限制了统计计算的成功
。
同时，重新访问采摘点位置时，两阶段解决方案既麻烦又高效
。
[0005]YOLOv5
是目前流行的检测网络之一，因为它具有出色的准确性和实时检测能力
。YOLOv5s
与点回归相结合，可以同时确定葡萄枝干检测和采摘点候选
。
此外，
YOLOv5s
使用的跨步卷积或池化会导致小目标信息的丢失不利于定位葡萄干和采摘点的小尺寸
。
空间到深度
(SPD)
在关注小物体方面表现出优秀的性能，因为
SPD
替代跨步卷积和池化以在下采样期间保留通道信息
。

技术实现思路

[0006]本专利技术的目的是为了解决现有技术中难以定位出葡萄图像中茎位置的缺陷，提供一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法来解决上述问题
。
[0007]为了实现上述目的，本专利技术的技术方案如下：
[0008]一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法，包括以下步骤：
[0009]葡萄图像的获取及预处理：获取园内葡萄图像并进行预处理；
[0010]葡萄采摘点定位模型的构建：基于
YOLOv5s
与点回归相结合构建葡萄采摘点定位模型；
[0011]葡萄采摘点定位模型的训练：将预处理后的葡萄图像输入葡萄采摘点定位模型进行训练；
[0012]待定位葡萄图像的获取：获取待定位葡萄图像并进行预处理；
[0013]葡萄图像采摘点位置的定位：将预处理后的待定位葡萄图像输入训练后的葡萄采摘点定位模型，获得葡萄图像采摘点位置
。
[0014]所述葡萄采摘点定位模型的构建包括以下步骤：
[0015]设定葡萄采摘点定位模型包括分为主干模块
、
颈部模块和头部模块；
[0016]设定主干模块为
CSPDarknet53
；
[0017]设定颈部模块包括特征金字塔网络
FPN
和像素聚合网络
PAN
，
FPN
结合低特征图和高特征图来传达深度语义信息，
PAN
使特征图包含图像语义和位置信息；
[0018]设定头部模块包括为三点头部结构，其中的非最大抑制用于消除冗余边界框并保留最相关的边界框进行目标检测，三点头部结构提供了三个不同的尺度来检测不同大小的对象，分别为
20
×
20、40
×
40
和
80
×
80
，具有
12
维向量的头部输出标签包括置信度
、
分类
、
边界框和三个点；附加点使检测器输出候选采摘点
。
[0019]所述葡萄采摘点定位模型的训练包括以下步骤：
[0020]设定葡萄采摘点定位模型的损失函数由三部分组成：边界盒损失
、
分类损失和置信度损失；
[0021]其中，损失函数
L
yolo
表示为：
[0022]L
yolo
＝
α
•
L
conf
+
β
·
L
class
+
γ
•
L
bbox
[0023]其中
α
、
β
、
γ
为置信度损失
、
分类损失和边界盒损失的权重因子；采用
Wing
‑
loss
计算积分损失：
[0024][0025]非负
w
将非线性部分的范围设置为
(
‑
w,w)
，并且
e
限制了非线性区域的曲率，并且
C
＝
w
‑
w
•
ln(1+w/e)
是平滑连接分段定义的线性和非线性部分的常数；
[0026]点向量的损失函数
s
＝
{s
i
}
，其基本真值
s'
＝
{s
i
'}
，定义为：
[0027][0028]其中
i
＝
1,2,...,6
；
[0029]将葡萄采摘点定位模型的新损失函数设为：
[0030]Loss(s)
＝
L
yolo
+
λ
gL
wing
(s)
，
[0031]其中
λ<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法，其特征在于，包括以下步骤：
11)
葡萄图像的获取及预处理：获取园内葡萄图像并进行预处理；
12)
葡萄采摘点定位模型的构建：基于
YOLOv5s
与点回归相结合构建葡萄采摘点定位模型；
13)
葡萄采摘点定位模型的训练：将预处理后的葡萄图像输入葡萄采摘点定位模型进行训练；
14)
待定位葡萄图像的获取：获取待定位葡萄图像并进行预处理；
15)
葡萄图像采摘点位置的定位：将预处理后的待定位葡萄图像输入训练后的葡萄采摘点定位模型，获得葡萄图像采摘点位置
。2.
根据权利要求1所述的一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法，其特征在于，所述葡萄采摘点定位模型的构建包括以下步骤：
21)
设定葡萄采摘点定位模型包括分为主干模块
、
颈部模块和头部模块；
22)
设定主干模块为
CSPDarknet53
；
23)
设定颈部模块包括特征金字塔网络
FPN
和像素聚合网络
PAN
，
FPN
结合低特征图和高特征图来传达深度语义信息，
PAN
使特征图包含图像语义和位置信息；
24)
设定头部模块包括为三点头部结构，其中的非最大抑制用于消除冗余边界框并保留最相关的边界框进行目标检测，三点头部结构提供了三个不同的尺度来检测不同大小的对象，分别为
20
×
20、40
×
40
和
80
×
80
，具有
12
维向量的头部输出标签包括置信度
、
分类
、
边界框和三个点；附加点使检测器输出候选采摘点
。3.
根据权利要求1所述的一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法，其特征在于，所述葡萄采摘点定位模型的训练包括以下步骤：

【专利技术属性】
技术研发人员：张寒苏，苌浩宇，张盛羽，陈旭，占子朝，李海东，芦奇宝，李士昌，沈瓒骏，侯芷萌，
申请(专利权)人：安徽大学，
类型：发明
国别省市：