一种基于特征融合图神经网络的茶叶嫩梢检测方法技术

本发明专利技术提供了一种基于特征融合图神经网络的茶叶嫩梢检测方法。涉及农业智能化领域，步骤(1):数据的获取，使用权利要求1所述光阱获得待检测目标的点云及RGB图像。步骤(2):使用CNN对二维图像进行特征提取。步骤(3):对点云应用关键点检测算法，检测关键点。步骤(4):将图像特征与点云特征相融合。步骤(5):建立图结构，使用步骤(3)检测到的关键点作为顶点并建图。步骤(6):使用图神经网络对于茶叶嫩梢位置进行预测。步骤(7):生成预测框。步骤(8):soft

【技术实现步骤摘要】
一种基于特征融合图神经网络的茶叶嫩梢检测方法


[0001]本专利技术属于农业智能化领域，具体涉及基于单TOF相机360度三维成像的茶叶嫩梢检测系统及方法。

技术介绍

[0002]茶叶的智能化采摘对减轻茶叶工作量具有重要的意义。目前对茶叶嫩芽检测的研究主要集中二维领域。主要是二维图像结合传统算法和二维图像与深度学习算法结合。在传统算法方面，通过提取茶叶嫩芽特征，再使用基于超绿特征的阈值，分割茶叶嫩芽图像，最后对茶叶嫩梢整体进行识别。在深度学习算法上，通过通用目标检测算法对茶叶嫩梢进行分类和定位。
[0003]但是以上技术仍存在一下缺陷：
①
由于茶叶的生长特性，基于二维图像的茶叶嫩梢检测方法在目标检测是对于遮挡目标的检测效果较差，无法检测到被遮挡的芽叶。
②
传统算法和深度学习算法在处理无序点云数据时表现差，无法获得很好的检测精度。

技术实现思路

[0004]本专利技术针对现有技术在三维重建时对于遮挡物体重建效果欠佳和只利用卷积神经网络在点云目标检测上精度有一定上限的问题进行了改进，提出了基于单TOF相机360度三维成像的茶叶嫩梢检测系统及方法。
[0005]本专利技术提出了一种基于特征融合图神经网络的茶叶嫩梢检测方法，技术方案包括如下步骤：
[0006]步骤(1):数据的获取，使用光阱获得待检测目标的点云及RGB图像；
[0007]步骤(2):使用卷积神经网络CNN对二维图像进行特征提取；
[0008]步骤(3):对点云应用关键点检测算法，检测关键点；
[0009]步骤(4):将图像特征与点云特征相融合；
[0010]步骤(5):建立图结构，使用步骤(3)检测到的关键点作为顶点并建图；
[0011]步骤(6):使用图神经网络对于茶叶嫩梢位置进行预测；
[0012]步骤(7):生成预测框；
[0013]步骤(8):soft
‑
NMS算法生成最佳预测框。
[0014]本专利技术目的是利用ToF相机联合光阱可以对遮挡物体进行三维重建测特点，并结合改进的特征融合图神经网络，改变传统茶叶嫩梢检测方法对于遮挡目标检测能力不佳的弱点，从而提高检测的精度。
[0015]具体步骤如下：
[0016]步骤(1):点云的获取
[0017]我们设计了一个由四个平面镜组成的倒金字塔型的光阱，倒金字塔的底部敞开，以便让足够多的光线可以进入到光阱中，在光阱上方以斜45
°
放置另一面平面镜，使用TOF传感器向平面镜发射光束，将被观测物体放置在倒金字塔的底部，光束经过多次反射可覆
盖物体表面99％以上的面积，并且得到所有点的三维坐标。
[0018][0019]d
total
表示从ToF传感器位置出发到触碰到目标物体表面光线走过的总路程。d
k
表示在两次反射之间光线走过的距离，d表示光束最后一次触碰到镜面到被测物体表面的距离。
[0020][0021]d
means
是由ToF传感器测量到的总距离。由于光的反射定理，光束会沿着原路径返回传感器，所以实际距离是所测量到的距离的一半。其中d
k
也可被计算为光束与下一次镜面反射的位置减去上一次镜面反射位置，即d
k
＝p
k+1
‑
p
k
，其中p
k
是光线在镜面第k次反射的反射点位置，而p
k+1
可由计算所得，是沿着光束反射方向的单位方向向量，我们可以由斯涅耳定律计算得到
[0022][0023]n
k
是镜面的法线方向，当我们知道ToF的初始位置p0和初始入射光线的方向向量r0即可递归的计算出所有k∈[1...K]的p
k
和由此便可得到被测物体的三维坐标，并进一步得到被测物体的三维点云。光线在光阱中的反射轨迹如图2所示。
[0024]步骤(2):使用CNN对二维图像进行特征提取
[0025]将二维图像输入预训练的resnet50网络进行图像特征的提取。Resnet50包括一个identity_block和一个conv_block。其在传统网络中加入了残差学习的思想，解决了深层网络中梯度弥散和精度下降的问题，使网络能够越来越深，既保证了精度，又控制了速度。本例使用resnet50对图像进行特征提取，最后得到一个深度为2048的特征向量。
[0026]步骤(3):对点云应用关键点检测算法，检测关键点
[0027]本方法使用一种基于点云显著性的关键点提取算法。该算法包括一个显著性计算模块和关键点生成模块。我们将显著性定义为预训练描述符特定层上的特征激活信号和同一层相对于输入点云的梯度的组合。我们利用预先训练好的描述符网络直接从3D数据生成鲁棒的关键点。然后将显著性投影到输入点云的球坐标系中，提取信息量最大的区域。我们将这些区域与原始描述符的特征相结合，以提取鲁棒且可重复的关键点。
[0028]关键点检测算法通过将点云显著性方法、每点原始特征以及点云上下文特征得到的特征向量融合后输入进两个全连接层来得到最终的关键点的预测。
[0029]步骤(4):将图像特征与点云特征相融合
[0030]将步骤(2)中利用resnet50得到的二维图像特征与步骤(3)中的点云特征通过concatenate函数融合在一起，得到新的特征向量。并把融合得到的新的特征向量作为后续图结构的初始特征。
[0031]步骤(5):建立图结构
[0032]一个图结构包括了边和顶点两个元素，即G＝(V,E)，其中V表示图结构的顶点 V＝{v1,v2,
…
,v
n
}，将步骤(2)检测到的关键点作为顶点v
i
。E是由顶点相互连接得到的边，我们
可以依据一定的条件来得到它：
[0033]E＝{(v
i
,v
j
)|||x
i
‑
x
j
||2＜r}
[0034]式中x
i
与x
j
分别为不同顶点的横坐标，r为两个顶点之间的距离。每个顶点的特征不仅包含了先前融合得到的初始特征还包含了与之相关联的边的特征，即顶点的特征由V
i
＝V0更新为
[0035]V
i
＝[V0,V1,V2,...,V
128
][0036]V0,V1,V2,...,V
128
为与顶点相关联的其余顶点，V
i
是更新后的顶点。通过不断地更新顶点的特征，我们可以根据顶点来判断局部区域物体的类别。
[0037]步骤(6):用图神经网络对于茶叶嫩梢及采摘点位置进行预测
[0038](a)首先对步骤(1)中所采集到三维点云中的茶叶嫩梢以进行手工标定目标框，使得目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征融合图神经网络的茶叶嫩梢检测方法，其特征在于，包括如下步骤：步骤(1):数据的获取，使用光阱获得待检测目标的点云及RGB图像；步骤(2):使用卷积神经网络CNN对二维图像进行特征提取；步骤(3):对点云应用关键点检测算法，检测关键点；步骤(4):将图像特征与点云特征相融合；步骤(5):建立图结构，使用步骤(3)检测到的关键点作为顶点并建图；步骤(6):使用图神经网络对于茶叶嫩梢位置进行预测；步骤(7):生成预测框；步骤(8):soft
‑
NMS算法生成最佳预测框。2.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法，其特征在于，步骤(1)具体包括：设计了一个由四个平面镜组成的倒金字塔型的光阱，倒金字塔的底部敞开，以便让足够多的光线可以进入到光阱中，在光阱上方以斜45
°
放置另一面平面镜，使用TOF传感器向平面镜发射光束，将被观测物体放置在倒金字塔的底部，光束经过多次反射可覆盖物体表面99％以上的面积，并且得到所有点的三维坐标：d
total
表示从ToF传感器位置出发到触碰到目标物体表面光线走过的总路程，d
k
表示在两次反射之间光线走过的距离，d表示光束最后一次触碰到镜面到被测物体表面的距离；d
means
是由ToF传感器测量到的总距离，由于光的反射定理，光束会沿着原路径返回传感器，所以实际距离是所测量到的距离的一半，其中d
k
也可被计算为光束与下一次镜面反射的位置减去上一次镜面反射位置，即d
k
＝p
k+1
‑
p
k
，其中p
k
是光线在镜面第k次反射的反射点位置，而p
k+1
可由计算所得，是沿着光束反射方向的单位方向向量，由斯涅耳定律计算得到耳定律计算得到n
k
是镜面的法线方向，当知道ToF的初始位置p0和初始入射光线的方向向量r0即可递归的计算出所有k∈[1...K]的p
k
和由此便可得到被测物体的三维坐标，并进一步得到被测物体的三维点云。3.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法，其特征在于，步骤(2)的具体过程为：将二维图像输入预训练的resnet50网络进行图像特征的提取，Resnet50包括一个identity_block和一个conv_block，最后得到一个深度为2048的特征向量。4.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法，其特征在于，步骤(3)具体包括：使用一种基于点云显著性的关键点提取算法，包括一个显著性计算模块和关键点生成
模块；将显著性定义为预训练描述符特定层上的特征激活信号和同一层相对于输入点云的梯度的组合，利用预先训练好的描述符网络直接从3D数据生成鲁棒的关键点；然后将显著性投影到输入点云的球坐标系中，提取信息量最大的区域，将这些区域与原始描述符的特征相结合，以提取鲁棒且可重复的关键点；关键点检测算法通过将点云显著性方法、每点原始特征以及点云上下文特征得到的特征向量融合后输入进两个全连接层来得到最终的关键点的预测。5.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法，其特征在于，步骤(4)的具体过程为：利用resnet50得到的二维图像特征与点云特征通过concatenate函数融合在一起，得到新的特征向量，并把融合...

【专利技术属性】
技术研发人员：邹荣，戴文杰，顾寄南，李金炎，张娱，
申请(专利权)人：江苏大学，
类型：发明
国别省市：