【技术实现步骤摘要】
本专利技术属于机器视觉与人工智能，特别是涉及一种茶叶嫩芽识别及其位姿确定方法及设备。
技术介绍
1、我国是茶叶种植和消费大国，茶叶以其较高的饮用价值和经济价值在国民生活中占据着重要的地位。茶叶的生产加工的流程主要包括采摘、杀青、揉捻和干燥等，其中采摘是所有工序流程之首，对后续茶叶的加工具有重要影响。
2、当前我国茶叶采摘主要依靠人工采摘和机械采摘两种方式。但是随着社会发展，茶叶采摘面临的问题越来越多，一方面随着城市化进程，农业劳动力人口发生转移，直接从事农业生产的刃口不断减少，同时从事农业生产的人员老龄化越来越严重。人工采摘的成本越来越不可持续，同时用工成本也不断增加。另一方面，当前的机械采茶多是通过“一刀切”的方式进行， 对茶叶和茶树破坏性大，所采摘的茶叶品质不高。
3、茶芽采摘点和采摘姿态的获得对于茶叶的采摘十分必要，由于待采摘的茶芽并非完全竖直向上生长，部分现有技术只确定茶芽的采摘点，然后将采摘设备运动至采摘点正上方，然后竖直向下运动至采摘点位置进行采摘，这种方法在实际使用中采摘效果欠佳。
技术实现思路
1、本专利技术的目的是提供一种茶叶嫩芽识别及其位姿确定方法及设备，以解决上述现有技术存在的问题。
2、一方面为实现上述目的，本专利技术提供了一种茶叶嫩芽识别及其位姿确定方法，包括以下步骤：
3、采集茶叶图像，对所述茶叶图像进行预处理；
4、基于预处理后的茶叶图像构建数据集，并采用实例分割网络进行训练，获取深度学习网络
5、对于待识别的茶叶采集rgb图像，并利用深度相机采集深度图像，基于所述深度学习网络模型对所述rgb图像进行识别，获取识别结果；
6、基于识别结果，采用实例分割网络获取茶叶采摘点，将rgb图像与深度图像进行匹配，获取茶叶采摘点基于相机光心的三维坐标；
7、基于识别结果获取茶芽边界框中心点，对茶叶采摘点与茶芽边界框中心点进行匹配；
8、基于匹配结果获取茶叶采摘方向。
9、可选地，对所述茶叶图像进行预处理的过程包括：
10、对无效图像进行剔除，对有效图像进行扩增，扩增方式包括旋转图片、灰度变化、镜像；
11、对扩增后茶叶图像中的整体茶芽及采摘区域进行标注。
12、可选地，所述识别结果包括茶叶品种、茶叶嫩芽区域、茶叶采摘区域；获取茶叶品种后，所述深度学习网络模型根据茶叶品种自动识别茶叶采摘区域。
13、可选地，基于所述深度学习网络模型对所述深度图像进行识别的过程中，可指定采摘区域，所述深度学习网络模型基于指定的采摘区域进行识别。
14、可选地，采用实例分割网络获取茶叶采摘点的方法如下式：
15、；
16、式中，p是深度图像中像素点被深度学习网络预测为采摘点的概率，x，y是像素点在深度图像上的像素横纵坐标，xc和yc是茶叶采摘点的横纵坐标值，i是计算过程中的每一个编号的像素点，c表示采摘区域的质心。
17、可选地，所述茶芽边界框中心点的获取过程包括：
18、基于识别结果获取茶叶嫩芽边界框，对所述茶叶嫩芽边界框的左上点和右下点求中间值，获取茶芽边界框中心点。
19、可选地，对茶叶采摘点与茶芽边界框中心点进行匹配的过程包括：
20、对茶叶采摘点和茶芽边界框中心点分别构建第一点集和第二点集，使第一点集中的点逐个寻找第二点集中距离最近的点，并进行匹配，将茶叶采摘点和相应的茶芽边界框中心点一一对应。
21、可选地，基于匹配结果获取茶叶采摘方向的过程包括：
22、将茶芽边界框中心点与茶叶采摘点进行连线，对连线穿过采摘区域部分的点进行提取，基于深度相机的深度信息获得提取点的空间三维坐标，将所述空间三维坐标拟合为直线，获取茶芽生长方向，将茶芽生长方向的反方向视为茶叶采摘方向。
23、另一方面为实现上述目的，本专利技术还提供一种茶叶嫩芽识别及其位姿确定设备，包括依次连接的采集模块、处理模块、输出模块；
24、所述采集模块用于同步采集茶园中待识别茶叶的rgb图片和深度信息；
25、所述处理模块用于对rgb图片和深度信息进行处理，获取茶芽的采摘点和采摘姿态；
26、所述输出模块用于将茶芽的采摘点和采摘姿态传输至采摘作业设备。
27、可选地，所述处理模块采用实例分割网络获取茶叶采摘点以及茶芽边界框中心点，将茶芽边界框中心点与茶叶采摘点进行连线，对连线穿过采摘区域部分的点进行提取，并根据深度信息获得提取点的空间三维坐标，将所述空间三维坐标拟合为直线，获取茶芽生长方向，将茶芽生长方向的反方向视为茶叶采摘方向。
28、本专利技术的技术效果为：
29、本专利技术通过深度学习的方式对茶叶的嫩芽及其采摘点进行识别，利用resnet（残差网络）和fpn（特征金字塔网络）融合的实例分割网络，能够对不同图片中不同大小实现准确的识别，而且实例分割网络可以方便用户更清晰的看到茶芽的形貌。
30、该技术方法的应用可以提高茶叶的机采效率和准确度，能够获得采摘姿态有助于茶芽的精准高效采摘，降低采茶作业中的劳动力成本。
本文档来自技高网...【技术保护点】
1.一种茶叶嫩芽识别及其位姿确定方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的茶叶嫩芽识别及其位姿确定方法，其特征在于，对所述茶叶图像进行预处理的过程包括：
3.根据权利要求1所述的茶叶嫩芽识别及其位姿确定方法，其特征在于，所述识别结果包括茶叶品种、茶叶嫩芽区域、茶叶采摘区域；获取茶叶品种后，所述深度学习网络模型根据茶叶品种自动识别茶叶采摘区域。
4.根据权利要求1所述的茶叶嫩芽识别及其位姿确定方法，其特征在于，基于所述深度学习网络模型对所述深度图像进行识别的过程中，可指定采摘区域，所述深度学习网络模型基于指定的采摘区域进行识别。
5.根据权利要求1所述的茶叶嫩芽识别及其位姿确定方法，其特征在于，采用实例分割网络获取茶叶采摘点的方法如下式：
6.根据权利要求1所述的茶叶嫩芽识别及其位姿确定方法，其特征在于，所述茶芽边界框中心点的获取过程包括：
7.根据权利要求1所述的茶叶嫩芽识别及其位姿确定方法，其特征在于，对茶叶采摘点与茶芽边界框中心点进行匹配的过程包括：
8.根据权利要求1所述的茶
9.一种茶叶嫩芽识别及其位姿确定设备，其特征在于，包括依次连接的采集模块、处理模块、输出模块；
10.根据权利要求9所述的茶叶嫩芽识别及其位姿确定设备，其特征在于，所述处理模块采用实例分割网络获取茶叶采摘点以及茶芽边界框中心点，将茶芽边界框中心点与茶叶采摘点进行连线，对连线穿过采摘区域部分的点进行提取，并根据深度信息获得提取点的空间三维坐标，将所述空间三维坐标拟合为直线，获取茶芽生长方向，将茶芽生长方向的反方向视为茶叶采摘方向。
...【技术特征摘要】
1.一种茶叶嫩芽识别及其位姿确定方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的茶叶嫩芽识别及其位姿确定方法，其特征在于，对所述茶叶图像进行预处理的过程包括：
3.根据权利要求1所述的茶叶嫩芽识别及其位姿确定方法，其特征在于，所述识别结果包括茶叶品种、茶叶嫩芽区域、茶叶采摘区域；获取茶叶品种后，所述深度学习网络模型根据茶叶品种自动识别茶叶采摘区域。
4.根据权利要求1所述的茶叶嫩芽识别及其位姿确定方法，其特征在于，基于所述深度学习网络模型对所述深度图像进行识别的过程中，可指定采摘区域，所述深度学习网络模型基于指定的采摘区域进行识别。
5.根据权利要求1所述的茶叶嫩芽识别及其位姿确定方法，其特征在于，采用实例分割网络获取茶叶采摘点的方法如下式：
6.根据权利要求1所述的茶叶嫩芽识别及其位姿...
【专利技术属性】
技术研发人员：董成举，吴伟斌，王锴，唐婷，黄靖凯，段雨欣，万晨阳，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。