一种农业采摘机器人的视觉伺服系统及控制方法技术方案

本发明专利技术提供了一种农业采摘机器人的视觉伺服系统和控制方法，所述视觉伺服系统包括视觉传感器单元以及气枪单元；其中，视觉传感器单元安装于农业采摘机器人的肘部关节单元上，且能够随肘部关节单元进行运动；气枪单元设置于肘部关节单元上，所述气枪单元用于沿采摘方向进行吹气，以吹动所述采摘方向上的遮挡物，便于视觉传感器单元获取图像信息。本发明专利技术解决了现有的农业采摘机器人易漏采果实以及果实识别算法复杂从而造成算力资源紧张进而影响系统实时性能的问题。系统实时性能的问题。系统实时性能的问题。

【技术实现步骤摘要】
一种农业采摘机器人的视觉伺服系统及控制方法


[0001]本专利技术涉及农业机器人
，具体涉及一种农业采摘机器人的视觉伺服系统及控制方法。

技术介绍

[0002]农业采摘机器人是用以代替人力对农业果实进行自动化采摘，以节省人力提高农业果实的采摘效率的设备。传统的农业采摘机器人主要依靠各种类别的传感器进行辅助以采摘农业果实，如使用视觉传感器、激光传感器等传感器完成路径导航、果实识别、果实定位、果实采摘以及果实采放等操作任务。且传统的农业采摘机器人也会利用视觉传感器系统，完成对果实和果叶的识别区分，并利用视觉传感器或双目视觉传感器判断传感器和农业果实之间的空间距离。
[0003]现有技术中，农业采摘机器人在采摘农业果实期间，若农业果实被树叶遮挡，农业采摘机器人通常无法很好的识别或者无法识别位于树叶背后的果实，从而会造成漏采。且基于传统图像识别处理技术对农业果实进行识别的农业采摘机器人的末端结构在逼近目标农业果实的过程中，在不同的视觉范围内，农业采摘机器人往往是执行同样的果实识别算法，如在不必要识别果实成熟度的场景中仍然采用果实成熟度判断算法，这无疑造成农业采摘机器人控制器硬件算力资源浪费，影响控制器的性能。
[0004]目前，针对现有的农业采摘机器人易漏采果实以及果实识别算法复杂从而造成算力资源紧张进而影响系统实时性能的问题，尚未有有效的解决方案。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供一种农业采摘机器人的视觉伺服系统和控制方法，以解决现有的农业采摘机器人易漏采果实以及果实识别算法复杂从而造成算力资源紧张进而影响系统实时性能的问题。
[0006]本专利技术实施例的一种农业采摘机器人的视觉伺服系统，安装于农业采摘机器人的肘部关节单元，包括：
[0007]视觉传感器单元，所述视觉传感器单元安装于所述肘部关节单元上，且能够随所述肘部关节单元进行运动；
[0008]气枪单元，所述气枪单元设置于所述肘部关节单元上；
[0009]其中，所述气枪单元用于沿采摘方向进行吹气，以吹动所述采摘方向上的遮挡物；
[0010]所述视觉传感器单元用于在所述气枪单元吹气或不吹气的情况下，获取所述采摘方向上的图像信息，并将所述图像信息发送到所述农业采摘机器人；
[0011]所述农业采摘机器人用于对所述图像信息进行识别处理以形成图像处理结果，所述图像处理结果包括所述采摘方向上是否含有目标物、所述目标物与所述视觉传感器单元之间的距离，所述农业采摘机器人能够基于所述图像处理结果进行移动并采摘所述目标物。
[0012]进一步地，所述气枪单元包括：
[0013]阀门元件，所述阀门元件设置于所述气枪单元内，用于控制所述气枪单元沿所述采摘方向进行脉冲式吹气。
[0014]本专利技术实施例的一种农业采摘机器人的视觉伺服控制方法，包括：
[0015]获取位置指令，基于所述位置指令控制农业采摘机器人执行移动动作；
[0016]在所述移动动作中，基于视觉传感器单元获取的当前视觉信息获取视觉处理结果，在所述视觉处理结果大于预设阈值的情况下，判断所述农业采摘机器人位于远视场；
[0017]在所述农业采摘机器人位于所述远视场的情况下，基于所述视觉传感器单元获取的远视场图像序列识别目标物以及所述目标物的当前冠层深度信息，并基于所述目标物的当前冠层深度信息控制所述农业采摘机器人逼近所述目标物，其中，所述远视场图像序列包括N帧图像；
[0018]在所述农业采摘机器人逼近所述目标物的过程中，若基于所述视觉传感器单元获取的当前视觉信息得到的所述视觉处理结果小于或等于所述预设阈值，则判断所述农业采摘机器人位于近视场；
[0019]在所述农业采摘机器人位于所述近视场的情况下，基于所述视觉传感器单元获取的近视场图像序列识别所述目标物，并获取所述目标物的表面特征信息和所述目标物的当前冠层深度信息，其中，所述近视场图像包括M帧图像，且M大于N；
[0020]基于所述表面特征信息调节所述农业采摘机器人的末端执行器的位姿，并基于所述近视场图像序列识别的所述目标物和所述目标物的当前冠层深度信息控制所述末端执行器执行采摘动作。
[0021]进一步地，基于所述视觉处理结果判断所述农业采摘机器人位于所述远视场包括：
[0022]在所述移动动作中，基于所述视觉传感器单元获取远视场图像序列，并在基于所述远视场图像序列获取的当前冠层深度信息大于预设距离阈值的情况下，判断所述农业采摘机器人位于所述远视场。
[0023]进一步地，基于所述视觉处理结果判断所述农业采摘机器人位于所述近视场包括：
[0024]在所述农业采摘机器人逼近所述目标物的过程中，基于所述视觉传感器单元持续获取所述远视场图像序列，并在基于所述远视场图像序列获取的当前冠层深度信息小于或等于预设距离阈值的情况下，则判断所述农业采摘机器人位于所述近视场。
[0025]进一步地，基于所述视觉处理结果判断所述农业采摘机器人位于所述远视场包括：
[0026]在所述移动动作中，基于所述视觉传感器单元的视野范围获取所述视野范围内的分区的数量和所述分区内的目标物数量，在所述分区的数量大于预设分区数量阈值且所有所述分区内的目标物数量大于预设目标物数量阈值的情况下，则判断所述末端执行器位于所述远视场。
[0027]进一步地，基于所述视觉处理结果判断所述农业采摘机器人位于所述近视场包括：
[0028]在所述农业采摘机器人逼近所述目标物的过程中，基于所述视觉传感器单元的视
野范围获取所述视野范围内分区的数量和所有所述分区内的目标物数量，在所述分区的数量小于或等于预设分区数量阈值且所有所述分区内的目标物数量小于或等于预设目标物数量阈值的情况下，则判断所述末端执行器位于所述近视场。
[0029]进一步地，基于所述远视场图像序列识别所述目标物包括：
[0030]对所述远视场图像序列中的N帧图像分别进行图像边缘检测；
[0031]获取N帧图像中每一图像的梯度最大值，在所述梯度最大值大于设定值A的情况下，则粗检出所述目标物。
[0032]进一步地，在N帧图像中一图像的所述梯度最大值小于或等于所述设定值A的情况下，对所述N帧图像中的下一图像进行图像边缘检测。
[0033]进一步地，基于所述视觉传感器单元获取的近视场图像序列识别所述目标物包括：
[0034]对所述近视场图像序列中的M帧图像分别进行图像边缘检测；
[0035]获取M帧图像中每一图像的梯度最大值，在所述梯度最大值大于设定值B的情况下，则细检出所述目标物，其中，所述设定值B大于所述设定值A。
[0036]进一步地，在M帧图像中一图像的所述梯度最大值小于或等于所述设定值B的情况下，对M帧图像中的下一图像进行图像边缘检测。
[0037]进一步地，基于所述近视场图像序列获取所述目标物的表面特征信息包括：
[0038]对所述近视场图像序列中的M帧图像依次进行预处理，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种农业采摘机器人的视觉伺服系统，安装于农业采摘机器人的肘部关节单元，其特征在于，包括：视觉传感器单元，所述视觉传感器单元安装于所述肘部关节单元上，且能够随所述肘部关节单元进行运动；气枪单元，所述气枪单元设置于所述肘部关节单元上；其中，所述气枪单元用于沿采摘方向进行吹气，以吹动所述采摘方向上的遮挡物；所述视觉传感器单元用于在所述气枪单元吹气或不吹气的情况下，获取所述采摘方向上的图像信息，并将所述图像信息发送到所述农业采摘机器人；所述农业采摘机器人用于对所述图像信息进行识别处理以形成图像处理结果，所述图像处理结果包括所述采摘方向上是否含有目标物、所述目标物与所述视觉传感器单元之间的距离，所述农业采摘机器人能够基于所述图像处理结果进行移动并采摘所述目标物。2.根据权利要求1所述的视觉伺服系统，其特征在于，所述气枪单元包括：阀门元件，所述阀门元件设置于所述气枪单元内，用于控制所述气枪单元沿所述采摘方向进行脉冲式吹气。3.一种农业采摘机器人的视觉伺服控制方法，其特征在于，包括：获取位置指令，基于所述位置指令控制农业采摘机器人执行移动动作；在所述移动动作中，基于视觉传感器单元获取的当前视觉信息获取视觉处理结果，在所述视觉处理结果大于预设阈值的情况下，判断所述农业采摘机器人位于远视场；在所述农业采摘机器人位于所述远视场的情况下，基于所述视觉传感器单元获取的远视场图像序列识别目标物以及所述目标物的当前冠层深度信息，并基于所述目标物的当前冠层深度信息控制所述农业采摘机器人逼近所述目标物，其中，所述远视场图像序列包括N帧图像；在所述农业采摘机器人逼近所述目标物的过程中，若基于所述视觉传感器单元获取的当前视觉信息得到的所述视觉处理结果小于或等于所述预设阈值，则判断所述农业采摘机器人位于近视场；在所述农业采摘机器人位于所述近视场的情况下，基于所述视觉传感器单元获取的近视场图像序列识别所述目标物，并获取所述目标物的表面特征信息和所述目标物的当前冠层深度信息，其中，所述近视场图像包括M帧图像，且M大于N；基于所述表面特征信息调节所述农业采摘机器人的末端执行器的位姿，并基于所述近视场图像序列识别的所述目标物和所述目标物的当前冠层深度信息控制所述末端执行器执行采摘动作。4.根据权利要求3所述的视觉伺服控制方法，其特征在于，基于所述视觉处理结果判断所述农业采摘机器人位于所述远视场包括：在所述移动动作中，基于所述视觉传感器单元获取远视场图像序列，并在基于所述远远视场图像序列获取的当前冠层深度信息大于预设距离阈值的情况下，判断所述农业采摘机器人位于所述远视场；或者基于所述视觉处理结果判断所述农业采摘机器人位于所述近视场包括：在所述农业采摘机器人逼近所述目标物的过程中，基于所述视觉传感器单元持续获取所述...

【专利技术属性】
技术研发人员：董易，张建政，韦鲲，李亮华，李方保，
申请(专利权)人：上海飒智智能科技有限公司，
类型：发明
国别省市：