一种农作物果实采摘的果实识别定位方法技术

本发明专利技术公开了一种农作物果实采摘的果实识别定位方法。本发明专利技术引入Ghostnet轻量化模块，得到GN

【技术实现步骤摘要】
一种农作物果实采摘的果实识别定位方法


[0001]本专利技术涉及一种果实识别定位方法，特别是一种农作物果实采摘的果实识别定位方法。

技术介绍

[0002]当前采摘机器人广泛应用于农业领域，作为采摘机器人的关键技术，研究人员对农作物的果实目标检测与定位开展了大量研究。目标检测与定位的功能使采摘机器人能够对环境进行感知并指导采摘机器人末端执行器运动，从而完成采摘任务。
[0003]然而，现有的目标检测与定位方法在农业领域的应用存在以下缺陷。一是现有的目标检测模型比较复杂，存在参数量较多，计算量大等问题。因此，现有模型对硬件要求较高，可移植性较差，难以部署到算力有限的嵌入式平台。同时，目前采摘机器人的采摘效率还不够高，主要原因是在目标检测过程中，对图像处理的速度不够；二是自然环境下大多数农作物的果实呈类球形，果实比较密集，受树枝遮挡、果实重叠的现象普遍存在，常规果实识别算法是利用果实的颜色空间将果实与背景进行区分，经过进一步处理，识别出完整的果实，但这种算法无法准确的识别密集型果实；三是目前应用于农业领域的目标检测算法缺乏同时检测与定位的能力。
[0004]所以针对以上技术问题，本专利技术提出一种农作物果实采摘的果实识别定位方法。

技术实现思路

[0005]本专利技术的目的在于，提供一种农作物果实采摘的果实识别定位方法。本专利技术具有能够降低网络复杂度，提升检测效率，使其能够部署到算力较小的嵌入式平台，并获得农作物密集果实的定位信息，为采摘机器人后续的动作规划奠定基础的特点。
[0006]本专利技术的技术方案：一种农作物果实采摘的果实识别定位方法，包括有以下步骤：
[0007]步骤一、对农作物果实进行图像采集，建立果实数据集，为后续农作物果实识别奠定基础；
[0008]步骤二、将原始YOLOv5s模型中的C3_x结构替换为Ghostnet模块，得到GN
‑
YOLOv5s模型，降低模型的参数量和计算量；
[0009]步骤三、将步骤二中得到的GN
‑
YOLOv5s模型进行稀疏训练，得到GS
‑
YOLOv5s模型，且稀疏训练首先以BN层的缩放因子γ作为评价通道重要性指标，为GS
‑
YOLOv5s模型剪枝提供依据；
[0010]步骤四、设置剪枝率，将步骤三得到的GS
‑
YOLOv5s模型中γ值为0
‑
0.005的通道进行剪枝，移除被剪枝的通道的输入输出，然后对剪枝后的模型权重进行调整，最后调整剪枝率训练并重复这个过程，得到GP
‑
YOLOv5s模型，进一步降低了模型参数量；
[0011]步骤五、将步骤二中的原始YOLOv5s检测模型作为教师模型，将步骤四得到的GP
‑
YOLOv5s模型作为学生模型，通过步骤一中的原始YOLOv5s模型的完整输出，让步骤四得到的GP
‑
YOLOv5s模型掌握步骤一中原始YOLOv5s模型的推理方式，步骤四得到的GP
‑
YOLOv5s
模型的分类损失函数如式(4)所示,坐标框损失函数如式(5)所示.最终蒸馏总体损失函数如式(6)所示；
[0012][0013][0014][0015]其中，式4中为步骤四得到的GP
‑
YOLOv5s模型模型对应的目标、类别概率、坐标框,为各自的真实值,f
obj
、f
class
、f
bb
分别为目标、分类以及坐标框的损失函数；
[0016]其中，式5中为目标损失,为蒸馏损失,λ
D
为权重系数,为教师模型预测目标；
[0017]其中，式6中:对应原始分类损失,为蒸馏分类损失,λ
D
为权重系数,为更新后的教师模型预测目标，得到PD
‑
YOLOv5s模型，使得最终得到的PD
‑
YOLOv5s模型识别精度高于剪枝后的GP
‑
YOLOv5s模型，降低替换原始YOLOv5s模型中的C3_x结构与剪枝对识别精度的影响，并且得到的GP
‑
YOLOv5s模型能够部署到算力较小的嵌入式平台；
[0018]步骤六；相机标定：将双目相机水平固定，确保标定板在相机视野内，不断的改变标定板的位置和姿态，采集40
‑
50组标定图片，选择不同角度的14
‑
20组图片，使用MATLAB标定工具箱进行标定，得到双目相机参数，为农作物果实能够准确定位提供硬件支持；
[0019]步骤七、完成步骤六的相机标定后，利用步骤五中得到的PD
‑
YOLOv5s模型输入双目相机，使双目相机的左右摄像头分别识别出的农作物果实检测框，将农作物检测框中心点作为目标点，记为P点，左相机的在像素坐标系下目标点P的坐标(X
L
,Y
L
)，记为P
L
(X
L
,Y
L
)；右相机的在像素坐标系下目标点P的坐标(X
R
,Y
R
)，记为P
R
(X
R
,Y
R
)；
[0020]步骤八、将步骤七中得到农作物果实目标点P的二维坐标使用SGBM立体匹配算法对双目相机左右摄像头获取的图片逐行进行匹配；步骤七中得到的P点在左右相机的投影平面上的像素坐标分别为P
L
(X
L
,Y
L
)和P
R
(X
R
,Y
R
)，两相机的图像平面在同一水平面上，步骤七中得到的P点的坐标中Y＝Y
L
＝Y
R
，由三角关系可以得到如式(9)所示：
[0021][0022]其中：f为相机焦距，b为左右相机光心距离，(X
C
,Y
C
,Z
C
)为世界坐标系下点P的坐标；
[0023]将步骤七中得到的P点的视差X
L
‑
X
R
记为d，以左相机的坐标系作为世界坐标系，利用视差值，计算得到P点在左相机坐标系下的坐标，如式(10)所示为：
[0024][0025]其中：b为左右相机光心距离,d为P点的视差，X
L
为左相机中目标点P在像素坐标系下的横坐标，Y为左相机与相机中目标点P在像素坐标系下的纵坐标；
[0026]根据式(10)计算得到的坐标(Xc,Yc，Zc)即为步骤七中得到的P点的三维坐标，因此解决了对农作物果实研究缺乏空间定位能力的问题。
[0027]前述的农作物果实采摘的果实识别定位方法中，所述步骤一中，对农作物果实进行图像采集后，然后对果实图像进行人工标注，绘制果实目标的外接矩形框，并标注被遮挡果实与未被遮挡果实两类，标注后完本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种农作物果实采摘的果实识别定位方法，其特征在于：包括有以下步骤：步骤一、对农作物果实进行图像采集，建立果实数据集；步骤二、将原始YOLOv5s模型中的C3_x结构替换为Ghostnet模块，得到GN
‑
YOLOv5s模型；步骤三、将步骤二中得到的GN
‑
YOLOv5s模型进行稀疏训练，得到GS
‑
YOLOv5s模型，且稀疏训练首先以BN层的缩放因子γ作为评价通道重要性指标；步骤四、设置剪枝率，将步骤三得到的GS
‑
YOLOv5s模型中γ值为0
‑
0.005的通道进行剪枝，移除被剪枝的通道的输入输出，然后对剪枝后的模型权重进行调整，最后调整剪枝率训练并重复这个过程，得到GP
‑
YOLOv5s模型；步骤五、将步骤二中的原始YOLOv5s检测模型作为教师模型，将步骤四得到的GP
‑
YOLOv5s模型作为学生模型，通过步骤一中的原始YOLOv5s模型的完整输出，让步骤四得到的GP
‑
YOLOv5s模型掌握步骤一中原始YOLOv5s模型的推理方式，步骤四得到的GP
‑
YOLOv5s模型的分类损失函数如式(4)所示,坐标框损失函数如式(5)所示.最终蒸馏总体损失函数如式(6)所示；如式(6)所示；如式(6)所示；其中，式4中为步骤四得到的GP
‑
YOLOv5s模型模型对应的目标、类别概率、坐标框,为各自的真实值,f
obj
、f
class
、f
bb
分别为目标、分类以及坐标框的损失函数；其中，式5中为目标损失,为蒸馏损失,λ
D
为权重系数,为教师模型预测目标；其中，式6中:对应原始分类损失,为蒸馏分类损失,λ
D
为权重系数,为更新后的教师模型预测目标，得到PD
‑
YOLOv5s模型；步骤六；相机标定：将双目相机水平固定，确保标定板在相机视野内，不断的改变标定板的位置和姿态，采集40
‑
50组标定图片，选择不同角度的14
‑
20组图片，使用MATLAB标定工具箱进行标定，得到双目相机参数；步骤七、完成步骤六的相机标定后，利用步骤五中得到的PD
‑
YOLOv5s模型输入双目相机，使双目相机的左右摄像头分别识别出的农作物果实检测框，将农作物检测框中心点作为目标点，记为P点，左相机的在像素坐标系下目标点P的坐标(X
L
,Y
L
)，记为P
L
(X
L
,Y
L
)；右相机的在像素坐标系下目标点P的坐标(X
R
,Y
R
)，记为P
R
(X
R
,Y
R
)；步骤八、将步骤七中得到农作物果实目标点P的二维坐标使用SGBM立体匹配算法对双目相机左右摄像头获取的图片逐行进行匹配；步骤七中得到的P点在左右相机的投影平面上的像素坐标分别为P
L
(X
L
,X
L
)和P
R
(X
R
,Y
R
)，两相机的图像平面在同一水平面上，步骤七中得到的P点的坐标中Y＝Y
L
＝Y
R
，由三角关系可以得到如式(9)所示：
其中：f为相机焦距，b为左右相机光心距离，(X
C
,Y
C
,Z
C
)为世界坐标系下点P的坐标；将步骤七中得到的P点的视差X
L
‑
X
R
记为d，以左相机的坐标系作为世界坐标系，利用视差值，计算得到P点在左相机坐标系下的坐标，如式(10)所示为：其中：b为左右相机光心距离,d为P点的视差，X
L
为左相机中目标点P在像素坐标系下的横坐标，Y为左相机与相机中目标点P在像素坐标系下的纵坐标；根据式(10)计算得到的坐标(Xc,Yc，Zc)即为步骤七中得到的P点的三维坐标。2.根据权利要求1所述的农作物果实采摘的果实识别定位方法，其特征在于：所述步骤一中，对农作物果实进行图像采集后，然后对果实图像进行人工标注，绘制果实目标的外接矩形框，并标注被遮挡果实与未被遮挡果实两类，标注后完成后，建立果实数据集。3.根据权利要求1所述的农作物...

【专利技术属性】
技术研发人员：谢明山，张松，邓艳芳，贾伟，
申请(专利权)人：贵州大学，
类型：发明
国别省市：