【技术实现步骤摘要】
本专利技术涉及名优茶嫩芽采摘，更具体的说是涉及一种基于边端协同的智能采茶系统及方法。
技术介绍
1、茶叶起源于中国，具有悠久的历史。中国作为茶叶种植和销售大国，茶叶的产量高低和品质好坏对我国农业经济的发展至关重要。茶叶的生产大致可分为采摘、炒杀、做形和烘干四个过程。作为名优茶生产中最重要的环节，茶叶的采摘仍以劳动密集型的原生态手工采摘作业为主。人工采摘季节性强，采摘时间短、任务重，需要耗费大量的劳动力。近年来，劳动力成本与日俱增，劳动力资源严重短缺，一定程度上限制了名优茶产业的发展。因此，茶叶产业对革新采摘方式的需求也日益迫切，名优茶的机械自动化采摘成为必然趋势。
2、机械采茶虽然能够大幅提升采茶的效率，但由于茶叶嫩芽与老叶的形状和颜色差异较小、茶叶生长时互相遮挡的情况严重以及茶叶的叶片会随风产生位置移动和变形等情况，导致茶叶识别准确度较低，机械手容易误采或漏采，进而使得茶叶的品质降低。因此，只有做到在自然环境下对茶叶嫩芽进行快速准确的识别，才可以真正意义上实现茶叶的自动化采摘。
3、近年来，由于深度学习和人工神经网络的发展，计算机视觉取得了巨大的进步，为名优茶的自动化采摘提供了技术支持。图像采集设备可以获取茶叶生长过程中的各类图像信息，而图像语义分割技术的发展可以辅助采摘机器掌握采摘区域茶芽的分布情况，通过坐标位置的计算实现茶芽的智能定位采摘。通过分析和处理茶叶生产环节中的各类图像数据，可以为茶叶生产提供智能决策，实现茶叶生产的机械化、自动化和智能化。
4、但是，基于深度学习的神经网络计算量
5、因此，如何提高机械化茶叶采摘过程中的识别准确度和实时性是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于边端协同的智能采茶系统及方法，能够解决现有技术中边缘计算设备难以满足神经网络计算要求，而将图像数据传输到终端则通信时间长、实时性低进而影响机器的整体运行效率的问题。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一种基于边端协同的智能采茶系统，包括：图像采集模块、边缘计算模块、数据传输模块、终端计算模块、嫩梢定位模块和采摘模块；
4、其中，所述图像采集模块采集茶芽图像；所述边缘计算模块通过部署的编码器对所述茶芽图像进行特征提取；所述数据传输模块将编码器提取的茶芽特征进行特征压缩传输，并解压传输到终端计算模块；所述终端计算模块通过部署的解码器还原所述茶芽特征并得出分割结果；所述嫩梢定位模块根据所述分割结果快速计算嫩梢采摘点位置；所述采摘模块根据所述嫩梢采摘点位置计算目标采摘位置，生成采摘控制指令。
5、优选的，所述茶芽图像包括彩色信息和深度信息，利用采集所述茶芽图像时的彩色传感器和深度传感器的坐标位置关系，将所述深度信息对齐到彩色信息上，获得所述彩色信息上每一个像素的深度信息。
6、优选的，构建语义分割网络，并进行权重和激活值的训练感知量化；将训练后的语义分割网络的编码器加载至所述边缘计算模块，将训练后的语义分割网络的解码器加载至所述终端计算模块。
7、优选的，所述编码器包括卷积层、池化层和激活层，对所述茶芽图像进行特征提取，获得图像特征；所述卷积层提取所述茶芽图像的视觉特征图，所述池化层降低所述视觉特征图的尺寸，所述激活层对降低尺寸后的所述视觉特征图进行非线性变换获得所述图像特征。
8、优选的，所述数据传输模块在通讯首端通过bottlenet++将编码器提取的图像特征进行压缩获得压缩数据，并采用tcp通讯传输压缩数据，在通讯末端解压压缩数据并将其传输至所述终端计算模块。
9、优选的，所述终端计算模块对接收的数据进行处理，获得图像特征；所述解码器包括反卷积层、上采样层和激活层，对所述图像特征进行茶芽识别，获得分割结果和分割掩膜；所述反卷积层将所述图像特征还原成像素级的特征图，所述上采样层增加所述特征图的尺寸，所述激活层对增加尺寸后的所述特征图中的像素进行非线性变换并进行茶芽识别。
10、优选的，所述嫩梢定位模块对所述分割结果为茶芽的所述茶芽图像进行处理，根据所述茶芽图像中检测到的分割掩膜，提取所述分割掩膜内所有图像坐标系的像素点2d坐标，结合rgb-d相机深度映射模型生成掩膜区域所有点在相机坐标系下对应的3d坐标，得到所述嫩梢采摘点位置。
11、优选的，所述采摘模块包括机械臂、末端执行器和负压装置；根据所述控制指令控制所述机械臂携带所述末端执行器运动到目标采摘位置上方，沿竖直方向或沿嫩梢的生长方向控制所述末端执行器移动到目标采摘位置进行嫩梢的采摘，所述负压装置收集采摘的嫩梢。
12、优选的，所述采摘模块根据嫩梢采摘点位置和3d坐标，沿机械臂通过质心估计法进行定位，获得目标采摘位置。
13、一种基于边端协同的智能采茶方法，包括以下步骤：
14、步骤1：采集茶芽图像，并进行对齐处理；
15、步骤2：构建语义分割网络，并对权重和激活值进行训练感知量化；
16、步骤3：将训练好的所述语义分割模型的编码器部署在边缘计算模块，解码器部署在终端计算模块上；
17、步骤4：将对齐处理后的所述茶芽图像输入所述编码器进行特征提取，获得图像特征，经所述数据传输模型压缩后传输至末端解压恢复数据，解压后的数据传输至所述解码器；
18、步骤5：所述解码器接收数据并还原图像特征，进行茶芽识别，获得分割结果和分割掩膜；
19、步骤6：对所述分割结果的输出类别为茶芽的所述茶芽图像根据所述分割掩膜计算嫩梢采摘点位置；
20、步骤7：根据所述嫩梢采摘点位置计算目标采摘位置，生成采摘控制指令。
21、经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于边端协同的智能采茶系统及方法，基于边端协同实现名优茶嫩芽识别和采摘，对基础的编码-解码架构的语义分割网络进行网络优化，将编码器与解码器之间的传输低级特征图的跳层连接去除然后将编码、解码结构分别部署到终端计算模块和边缘计算模块上；采用bottlenet++的端到端架构对编-解码之间的神经网络中间层数据进行压缩处理以缩短数据传输时间；并对优化后的语义分割网络采用量化感知训练，将32位高精度浮点数转为定点8位整数，以加快运算速度，提高采茶算法在硬件平台上的运行效率。本专利技术的有益效果包括：
22、1)借助语义分割网络，可自动识别茶芽，提高了名优茶识别的准确度；
23、2)通过设置边缘计算模块、终端计算模块，实现边、端协同处理，解决了语义分割网络结构复杂，参数量大，农机硬件设备难以满足其计算要求的问题；
24、3)对分别部署语义分割网络的编码器和解码器的边缘设备、终端设备间的传输数据进行压缩，缩短了数据传输时间，提高了通信速度；...
【技术保护点】
1.一种基于边端协同的智能采茶系统，其特征在于，包括：图像采集模块、边缘计算模块、数据传输模块、终端计算模块、嫩梢定位模块和采摘模块；
2.根据权利要求1所述的一种基于边端协同的智能采茶系统，其特征在于，所述茶芽图像包括彩色信息和深度信息，利用采集所述茶芽图像时的彩色传感器和深度传感器的坐标位置关系，将所述深度信息对齐到彩色信息上，获得所述彩色信息上每一个像素的深度信息。
3.根据权利要求1所述的一种基于边端协同的智能采茶系统，其特征在于，构建语义分割网络，并进行权重和激活值的训练感知量化；将训练后的语义分割网络的编码器加载至所述边缘计算模块，将训练后的语义分割网络的解码器加载至所述终端计算模块。
4.根据权利要求1所述的一种基于边端协同的智能采茶系统，其特征在于，所述编码器包括卷积层、池化层和激活层，对所述茶芽图像进行特征提取，获得图像特征；所述卷积层提取所述茶芽图像的视觉特征图，所述池化层降低所述视觉特征图的尺寸，所述激活层对降低尺寸后的所述视觉特征图进行非线性变换获得所述图像特征。
5.根据权利要求1所述的一种基于边端协同的智
6.根据权利要求1所述的一种基于边端协同的智能采茶系统，其特征在于，所述终端计算模块对接收的数据进行处理，获得图像特征；所述解码器包括反卷积层、上采样层和激活层，对所述图像特征进行茶芽识别，获得分割结果和分割掩膜；所述反卷积层将所述图像特征还原成像素级的特征图，所述上采样层增加所述特征图的尺寸，所述激活层对增加尺寸后的所述特征图中的像素进行非线性变换并进行茶芽识别。
7.根据权利要求6所述的一种基于边端协同的智能采茶系统，其特征在于，所述嫩梢定位模块对所述分割结果为茶芽的所述茶芽图像进行处理，根据所述茶芽图像中检测到的分割掩膜，提取所述分割掩膜内所有图像坐标系的像素点2D坐标，结合RGB-D相机深度映射模型生成掩膜区域所有点在相机坐标系下对应的3D坐标，得到所述嫩梢采摘点位置。
8.根据权利要求1所述的一种基于边端协同的智能采茶系统，其特征在于，所述采摘模块包括机械臂、末端执行器和负压装置；根据所述控制指令控制所述机械臂携带所述末端执行器运动到目标采摘位置上方，沿竖直方向或嫩梢生长方向控制所述末端执行器移动到目标采摘位置进行嫩梢采摘，所述负压装置收集采摘的嫩梢。
9.根据权利要求8所述的一种基于边端协同的智能采茶系统，其特征在于，所述采摘模块根据所述嫩梢采摘点位置和3D坐标，沿所述机械臂通过质心估计法进行定位，获得目标采摘位置。
10.一种基于边端协同的智能采茶方法，其特征在于，应用于上述权利要求1-9任一项所述的一种基于边端协同的智能采茶系统，包括以下步骤：
...【技术特征摘要】
1.一种基于边端协同的智能采茶系统，其特征在于，包括：图像采集模块、边缘计算模块、数据传输模块、终端计算模块、嫩梢定位模块和采摘模块；
2.根据权利要求1所述的一种基于边端协同的智能采茶系统，其特征在于，所述茶芽图像包括彩色信息和深度信息，利用采集所述茶芽图像时的彩色传感器和深度传感器的坐标位置关系，将所述深度信息对齐到彩色信息上，获得所述彩色信息上每一个像素的深度信息。
3.根据权利要求1所述的一种基于边端协同的智能采茶系统，其特征在于，构建语义分割网络，并进行权重和激活值的训练感知量化；将训练后的语义分割网络的编码器加载至所述边缘计算模块，将训练后的语义分割网络的解码器加载至所述终端计算模块。
4.根据权利要求1所述的一种基于边端协同的智能采茶系统，其特征在于，所述编码器包括卷积层、池化层和激活层，对所述茶芽图像进行特征提取，获得图像特征；所述卷积层提取所述茶芽图像的视觉特征图，所述池化层降低所述视觉特征图的尺寸，所述激活层对降低尺寸后的所述视觉特征图进行非线性变换获得所述图像特征。
5.根据权利要求1所述的一种基于边端协同的智能采茶系统，其特征在于，所述数据传输模块的通讯首端通过bottlenet++将编码器提取的图像特征进行压缩获得压缩数据，并采用tcp通讯传输压缩数据，在所述数据传输模块的通讯末端解压压缩数据并将其传输至所述终端计算模块。
6.根据权利要求1所述的一种基于边端协同的智能采茶...
【专利技术属性】
技术研发人员：程景春，郭雯妍，刘晓欣，宋佳洁，王明，潘雄，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。