一种基于制造技术

本发明专利技术公开了一种基于

【技术实现步骤摘要】
一种基于3D点云拓扑结构的茶叶嫩梢定位方法


[0001]本专利技术属于智能采摘以及计算机视觉
，特别是一种基于
3D
点云拓扑结构的名优茶嫩梢精准识别与定位方法
。

技术介绍

[0002]中国是茶叶生产大国，茶叶种植面积大
、
分布广
、
产量高
。
茶产业属于劳动密集型产业，季节性强，劳动强度大，尤其采摘环节是茶叶生产中最耗时且费力的一个环节
。
名优茶作为产业价值的绝对担当，对内销额贡献率长期保持在
70
％～
75
％
。
名优茶是指主要以单芽
、
一芽一叶以及少部分鲜嫩的一芽两叶为原料制作品质较优的茶叶
。
目前往返式的采茶机无法分辨其采摘的芽叶种类，芽叶完整性难以保证，使得采摘茶叶的品质低下，无法达到名优茶的要求
。
因此急切需要一种能够准确
、
快速实现名优茶嫩梢的识别与定位方法
。
[0003]目前已出现利用计算机视觉和图像处理技术应用于茶叶领域的研究，具体如下：
[0004]专利文献
CN111784764A
公开了一种茶叶嫩芽识别与定位算法，该方法通过人工提取超绿特征，采用类间方差最大的方式对茶叶嫩芽进行图像分割
。
人工提取特征组建的模型难以将模型迁移至其他品种的茶叶中，泛化性能较弱
。
深度网络模型提取物体特征的能力要远超于人工选择
。
[0005]专利文献
CN113674226A
公开了一种基于深度学习的采茶机茶叶芽尖检测方法，其主要是利用
YOLOv4
网络获取茶叶嫩梢，再通过图像分割与凸包检测获得采摘点坐标
。
[0006]专利文献
CN113901874A
公开了一种基于改进
R3Det
旋转目标检测算法的茶叶嫩芽识别与采摘点定位方法，该方法使用旋转目标检测倾斜框的方法，粗略的将预测框下短边中点作为采摘点，这种方法与实际采摘点位置存在较大的偏差
。
[0007]专利文献
CN112861654A
公开了一种基于机器视觉的名优茶采摘点位置信息获取方法，该方法首先利用传统算法提取茶叶嫩梢骨架，再通过角点检测算法搜索特征角点从而确定采摘点的方法
。
该方法的泛化性能较差，而且对于呈现
I
型的茶叶嫩芽无法检测出角点，导致无法确定采摘点
。

技术实现思路

[0008]本专利技术的目的在于针对上述现有技术存在的不足，提供一种基于
3D
点云拓扑结构的茶叶嫩梢定位方法，能够实现对名优茶的嫩梢进行快速准确的识别，并能对嫩梢进行品级分类，同时能给出采摘点的三维坐标
。
[0009]实现本专利技术目的的技术解决方案为：一种基于
3D
点云拓扑结构的茶叶嫩梢定位方法，所述方法包括以下步骤：
[0010]步骤1，通过深度相机采集茶叶嫩梢的
RGB
图像和点云；
[0011]步骤2，基于茶叶嫩梢的
RGB
图像，利用目标检测网络模型对茶叶嫩梢进行识别和粗定位；
[0012]步骤3，基于步骤1的点云和步骤2的结果，结合目标区域提取目标点云；
[0013]步骤4，对目标点云进行预处理，包括下采样和去噪处理；
[0014]步骤5，对预处理后的目标点云进行聚类分割；
[0015]步骤6，基于步骤5得到的聚类区域进行骨架点提取，获得茶叶嫩梢骨架；
[0016]步骤7，对所述茶叶嫩梢骨架的骨架点进行近邻搜索，得到茶叶嫩梢的品级以及采摘部位的定位点
。
[0017]进一步地，步骤2中目标检测网络模型具体为基于
YOLOv8
改进的轻量化目标检测网络模型，包括依次连接的
Input
层
、Backbone
层
、Neck
层和
Head
层；
[0018]用
G_GhostRegNet
结构替换
YOLOv8
中的
CSPDarkNet53
特征提取网络，将
GhostNet
网络的
Bottleneck
与
C2f
模块结合，代替
Backbone
层中所有的
C2f
模块；
[0019]在所述
Neck
层中引入交叉特征传递模块
GFPN
代替双向特征传递模块，进行多特征融合；
[0020]在所述
Backbone
层的
SPPF
模块中引入一层
CBAM
注意力机制模块
。
[0021]进一步地，步骤3所述基于步骤1的点云和步骤2的结果，结合目标区域提取目标点云，具体过程包括：
[0022]步骤3‑1，从步骤2获得的茶叶嫩梢检测框中获取目标嫩梢区域的边界框信息
(x,y,w,h)
；
[0023]步骤3‑2，利用所述边界框信息对步骤1的点云信息进行裁取，保留茶叶嫩梢的局部点云
。
[0024]进一步地，步骤4中下采样具体采用体素点云下采样
。
[0025]进一步地，步骤4中对目标点云进行去噪，具体采用混合滤波算法对目标点云进行去噪，过程包括：
[0026]步骤4‑1，基于密度因子改进的
kd
‑
tree
空间索引去噪方法去除离群噪声点，具体过程包括：
[0027](1)
读取目标点云，基于
kd
‑
tree
构建点云拓扑空间索引，记作
P
＝
{p
i
|i
＝0，1，2，
...
，
n}
，
p
i
表示第
i
个点云采样点；
[0028](2)
利用
kd
‑
tree
搜索算法，求取点云采样点
p
i
的
k
邻域点，记作
N(p
i
)
；
[0029](3)
计算点云采样点
p
i
的密度因子
[0030][0031]其中，
[0032][0033]式中，和分别表示点云采样点
p
i
及其邻域点
x
j
的
k
邻域密度，
N(p
i
)
表示点云采样点
p
i
的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
3D
点云拓扑结构的茶叶嫩梢定位方法，其特征在于，所述方法包括以下步骤：步骤1，通过深度相机采集茶叶嫩梢的
RGB
图像和点云；步骤2，基于茶叶嫩梢的
RGB
图像，利用目标检测网络模型对茶叶嫩梢进行识别和粗定位；步骤3，基于步骤1的点云和步骤2的结果，结合目标区域提取目标点云；步骤4，对目标点云进行预处理，包括下采样和去噪处理；步骤5，对预处理后的目标点云进行聚类分割；步骤6，基于步骤5得到的聚类区域进行骨架点提取，获得茶叶嫩梢骨架；步骤7，对所述茶叶嫩梢骨架的骨架点进行近邻搜索，得到茶叶嫩梢的品级以及采摘部位的定位点
。2.
根据权利要求1所述的基于
3D
点云拓扑结构的茶叶嫩梢定位方法，其特征在于，步骤2中目标检测网络模型具体为基于
YOLOv8
改进的轻量化目标检测网络模型，包括依次连接的
Input
层
、Backbone
层
、Neck
层和
Head
层；用
G_Ghost RegNet
结构替换
YOLOv8
中的
CSPDarkNet53
特征提取网络，将
GhostNet
网络的
Bottleneck
与
C2f
模块结合，代替
Backbone
层中所有的
C2f
模块；在所述
Neck
层中引入交叉特征传递模块
GFPN
代替双向特征传递模块，进行多特征融合；在所述
Backbone
层的
SPPF
模块中引入一层
CBAM
注意力机制模块
。3.
根据权利要求1所述的基于
3D
点云拓扑结构的茶叶嫩梢定位方法，其特征在于，步骤3所述基于步骤1的点云和步骤2的结果，结合目标区域提取目标点云，具体过程包括：步骤3‑1，从步骤2获得的茶叶嫩梢检测框中获取目标嫩梢区域的边界框信息
(x,y,w,h)
，其中
x
，
y
，
w
，
h
分别表示边界框的中心点横坐标，边界框的中心点纵坐标，边界框宽度和边界框高度；步骤3‑2，利用所述边界框信息对步骤1的点云信息进行裁取，保留茶叶嫩梢的局部点云
。4.
根据权利要求1所述的基于
3D
点云拓扑结构的茶叶嫩梢定位方法，其特征在于，步骤4中下采样具体采用体素点云下采样
。5.
根据权利要求4所述的基于
3D
点云拓扑结构的茶叶嫩梢定位方法，其特征在于，步骤4中对目标点云进行去噪，具体采用混合滤波算法对目标点云进行去噪，过程包括：步骤4‑1，基于密度因子改进的
kd
‑
tree
空间索引去噪方法去除离群噪声点，具体过程包括：
(1)
读取目标点云，基于
kd
‑
tree
构建点云拓扑空间索引，记作
P
＝
{p
i
|i
＝0，1，2，
...
，
n}
，
p
i
表示第
i
个点云采样点；
(2)
利用
kd
‑
tree
搜索算法，求取点云采样点
p
i
的
k
邻域点，记作
N(p
i
)
；
(3)
计算点云采样点
p
i
的密度因子的密度因子
其中，式中，和分别表示点云采样点
p
i
及其邻域点
x
j
的
k
邻域密度，
N(p
i
)
表示点云采样点
p
i
的
k
近邻域点集；
(4)
设定阈值
Γ
λ
，判断是否大于
Γ
λ
，若是则判定点云采样点
p
i
为离群噪声点，将其剔除，反之则保留；
(5)
更新全部点云数据，得到去除离群噪声点后的新点云数据模型；步骤4‑2，采用改进的双边滤波对点云进行光顺处理；所述改进的双边滤波具体包括：将采...

【专利技术属性】
技术研发人员：郭健，王晓燕，蔡云飞，张旭东，陈舒琳，陈欢，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：