一种采摘机器人的视觉伺服激光定位系统及方法技术方案

本发明专利技术提供了一种采摘机器人的视觉伺服激光定位系统及相应的方法，控制器对现有深度学习网络算法进行训练，单目相机获取采摘环境的二维图像，输入到算法中识别目标物体、输出相对单目相机的方向角度信息，二维云台指向待测物体方向、由激光测距模块进行测距；控制器最后根据测量结果计算出待测物体的实际空间信息。该系统及方法结合了深度视觉和激光测距的优势，采用单目深度视觉结合带有二维伺服结构的单点激光测距模块来对户外环境中有限个目标的空间位置进行测定，从而得以在非结构化环境中对所需特定目标物体进行空间定位，并能有效提高测量精度、减少数据处理量、降低成本，适用于室内、室外环境下多种果蔬的采摘。

【技术实现步骤摘要】
一种采摘机器人的视觉伺服激光定位系统及方法
本专利技术属于物体识别定位领域，特别涉及一种采摘机器人的视觉伺服激光定位系统及方法。
技术介绍
随着农业生产的现代化程度逐渐提高，越来越多的传统人力劳动都可以被机器所代替。采摘作业是农业生产链中最耗时、劳动量最大、季节性最强的一个环节，因此提高采摘环节的自动化程度将会大大提高农业生产的效率。自动采摘必然会涉及对作物上的果实等可采摘部位的识别和定位，现有的对物体进行空间定位的方法有：双目视觉、激光雷达、结构光相机和TOF相机。其中基于对检测点匹配原理的双目视觉，通过三角形测量的方法对目标进行定位，此种方法存在角点数据过度稀疏或过度密集的情况下，对角点匹配算法的要求非常高，准确获取物体的空间位置较为困难；面扫激光雷达由于其扫描分辨率过低，不适用于对小物体的空间定位要求；结构光相机和TOF相机均通过主动发出辅助光源的方式进行测量，其中结构光相机发出的带有编码的红外光，通过识别投射到物体表面红外光的编码变化来定位，而TOF相机则发出带有一定信息的红外光，通过计算光线在打到物体表面反射所用的时间来实现对物体距离的获取，但这两种方式由于主动发光的缘故，在户外环境下很容易受到太阳光线的干扰，从而获取不到物体的准确信息。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种采摘机器人的视觉伺服激光定位系统及方法。本专利技术具体技术方案如下：本专利技术提供了一种采摘机器人的视觉伺服激光定位系统，包括控制器、单目相机以及激光测距模块，所述单目相机和所述激光测距模块均与所述控制器通讯连接；所述激光测距模块安装在二维云台上，所述二维云台包括控制所述激光测距模块水平旋转的X轴伺服电机，以及控制所述激光测距模块竖直旋转的Y轴伺服电机，所述二维云台的旋转角度范围大于所述单目相机的视场角度范围；所述激光测距模块的测距中心与所述单目相机的距离小于目标物体的半径；所述控制器对现有深度学习网络算法进行调整和训练，以适应所述目标物体的高精度识别；所述单目相机获取采摘环境的二维图像，输入到训练好的深度学习网络算法中识别目标物体，并输出多个所述目标物体的图像像素坐标；所述控制器将所述图像像素坐标转换为所述物体相对所述单目相机的方向角度信息，并控制所述二维云台指向所述待测物体方向的角度，由所述激光测距模块进行测距；所述控制器最后根据测出的距离和转换坐标得到的角度，计算出所述待测物体的实际空间信息。进一步地，所述控制器包括如下部分：训练模块，用于以所述单目相机在采摘环境中拍摄的多幅样本图像作为样本集进行训练、验证及测试，得到训练好的深度学习网络算法；图像定位模块，用于在所述单目相机获取采摘环境的二维图像中对所述目标物体进行定位，并获得所述目标物体相对于所述单目相机的空间位置坐标，根据所述深度学习网络算法定位所述目标物体在所述二维图像中的位置；测距控制模块，用于根据所述目标物体在所述二维图像中的位置，计算出所述目标物体相对所述单目相机成像法线的横轴偏差角度α和纵轴偏差角度β，即为所述目标物体相对所述单目相机的方向角度，并控制所述二维云台转向所述方向角度；空间坐标计算模块，用于控制所述激光测距模块测得所述目标物体与所述激光测距模块之间的距离，并据此计算出所述目标物体相对所述单目相机的空间位置坐标。进一步地，所述控制器还包括如下部分：空间坐标校正模块，用于计算所述单目相机识别所述目标物体的分辨率盲区，并转换成三维直角坐标系下的误差区间，据此对计算出的所述空间位置坐标进行校正。本专利技术另一方面提供了一种应用所述系统的采摘机器人的视觉伺服激光定位方法，包括如下步骤：S1：对现有深度学习网络算法进行调整和训练；S2：通过所述单目相机获取采摘环境的二维图像，输入到训练好的深度学习网络算法中识别目标物体，并输出多个所述目标物体的图像像素坐标；将所述目标物体的坐标转换为所述目标物体相对所述单目相机的方向角度信息；S3：控制所述二维云台指向待测物体方向的角度，通过所述激光测距模块进行测距；根据测出的距离和角度，计算出所述待测物体的实际空间信息；S4：依次对图像中识别到的多个待测物体进行测定，以得到图像中所有待测物体的空间位置信息。进一步地，步骤S1的具体方法如下：S1.1：分别于不同光照条件下在采摘环境中拍摄多幅样本图像，包括光照不均图像、前背景相似图像、待测物体遮挡图像、阴影图像以及过度曝光图像；S1.2：将所述样本图像以7:1:2的比例随机分成训练集、验证集以及测试集，使用端到端训练方式对所述训练集进行训练、验证及测试，得到训练好的深度学习网络算法。进一步地，步骤S2的具体方法如下：通过所述单目相机获取采摘环境的二维图像，所述目标物体相对所述单目相机的空间位置坐标为(xs,ys,zs)，所述二维图像的中心坐标为(x0,y0)，通过深度学习算法定位所述目标物体在所述二维图像中的位置(xc,yc)；根据公式(1)和(2)计算出所述目标物体相对所述单目相机成像法线的横轴偏差角度α和纵轴偏差角度β：其中：所述单目相机的焦距为F，单位像素长Sx、宽Sy，单位为毫米。进一步地，步骤S3的具体方法如下：控制所述二维云台转向至步骤S2计算出的角度，用所述激光测距模块测得所述目标物体与所述激光测距模块的有效测距点之间的距离d，并通过公式(3)、(4)和(5)计算出所述目标物体相对所述单目相机的空间位置坐标(xs,ys,zs)：xs＝dsin(α)(3)ys＝dsin(β)(4)zs＝dcos(α)(5)。进一步地，步骤S3还包括：根据所述单目相机识别所述目标物体的分辨率盲区，对计算出的所述空间位置坐标进行校正。进一步地，对所述空间位置坐标进行校正的方法如下：(1)根据公式(6)和(7)计算所述相机对所述物体识别的分辨率盲区距离Dmissc和分辨率盲区角度αmisc：其中：Dd为所述目标物体相对所述单目相机的实际距离，f为所述单目相机的焦距，ap为单位像素边长；(2)根据公式(8)计算所述云台带动所述激光测距模块转向所述目标物体的方向角度时的球面测量盲区长度Dmissg：Dmissg＝Ddtan(0.1°)(8)其中：0.1°为所述云台的电机双闭环角度控制精度；(3)根据所述激光测距传感器的精度以及所述云台的电机控制精度最大误差区间范围，计算得到球坐标系的误差区间，通过公式(9)、(10)和(11)将所述球坐标系的误差区间转换成三维直角坐标系下的误差区间：Δx＝±Ddmaxsin(Δα/2)(9)Δy＝±2Ddmaxsin(Δβ/2)(10)Δz＝±Ddmaxcos(0)-Ddmincos(α/2)(11)。本专利技术还提供了所述的采摘机器人的视觉伺服激光定位系统在果实采摘中的应用。本专利技术的有益效果如下：本专利技术提供了一种采摘机器人的视觉伺服激光定位系统及相应的方法，结合了深度视觉和激光测距的优势，采用单目深度视觉结合带有二维伺服结构的红外单点激光测距模块来对户外环境中有限个目标的空间位置进行测定，从而得以在非结构化环境中对所需特定目标物体进行空间定位，并能有效提高测量精度、减少数据处理量、降低成本，适用于室内、室外环境下多种果蔬的采摘。附图说明图1为实施例1所述的一种采摘机器人的视觉伺服激光定位系统的结构示意图；图2为实施例2所述的一种采摘机器人的本文档来自技高网...

【技术保护点】
1.一种采摘机器人的视觉伺服激光定位系统，其特征在于，包括控制器、单目相机以及激光测距模块，所述单目相机和所述激光测距模块均与所述控制器通讯连接；所述激光测距模块安装在二维云台上，所述二维云台包括控制所述激光测距模块水平旋转的X轴伺服电机，以及控制所述激光测距模块竖直旋转的Y轴伺服电机，所述二维云台的旋转角度范围大于所述单目相机的视场角度范围；所述激光测距模块的测距中心与所述单目相机的距离小于目标物体的半径；所述控制器对现有深度学习网络算法进行调整和训练，以适应所述目标物体的高精度识别；所述单目相机获取采摘环境的二维图像，输入到训练好的深度学习网络算法中识别目标物体，并输出多个所述目标物体的图像像素坐标；所述控制器将所述图像像素坐标转换为所述物体相对所述单目相机的方向角度信息，并控制所述二维云台指向所述待测物体方向的角度，由所述激光测距模块进行测距；所述控制器最后根据测出的距离和转换坐标得到的角度，计算出所述待测物体的实际空间信息。

【技术特征摘要】
1.一种采摘机器人的视觉伺服激光定位系统，其特征在于，包括控制器、单目相机以及激光测距模块，所述单目相机和所述激光测距模块均与所述控制器通讯连接；所述激光测距模块安装在二维云台上，所述二维云台包括控制所述激光测距模块水平旋转的X轴伺服电机，以及控制所述激光测距模块竖直旋转的Y轴伺服电机，所述二维云台的旋转角度范围大于所述单目相机的视场角度范围；所述激光测距模块的测距中心与所述单目相机的距离小于目标物体的半径；所述控制器对现有深度学习网络算法进行调整和训练，以适应所述目标物体的高精度识别；所述单目相机获取采摘环境的二维图像，输入到训练好的深度学习网络算法中识别目标物体，并输出多个所述目标物体的图像像素坐标；所述控制器将所述图像像素坐标转换为所述物体相对所述单目相机的方向角度信息，并控制所述二维云台指向所述待测物体方向的角度，由所述激光测距模块进行测距；所述控制器最后根据测出的距离和转换坐标得到的角度，计算出所述待测物体的实际空间信息。2.如权利要求1所述的采摘机器人的视觉伺服激光定位系统，其特征在于，所述控制器包括如下部分：训练模块，用于以所述单目相机在采摘环境中拍摄的多幅样本图像作为样本集进行训练、验证及测试，得到训练好的深度学习网络算法；图像定位模块，用于在所述单目相机获取采摘环境的二维图像中对所述目标物体进行定位，并获得所述目标物体相对于所述单目相机的空间位置坐标，根据所述深度学习网络算法定位所述目标物体在所述二维图像中的位置；测距控制模块，用于根据所述目标物体在所述二维图像中的位置，计算出所述目标物体相对所述单目相机成像法线的横轴偏差角度α和纵轴偏差角度β，即为所述目标物体相对所述单目相机的方向角度，并控制所述二维云台转向所述方向角度；空间坐标计算模块，用于控制所述激光测距模块测得所述目标物体与所述激光测距模块之间的距离，并据此计算出所述目标物体相对所述单目相机的空间位置坐标。3.如权利要求2所述的采摘机器人的视觉伺服激光定位方法，其特征在于，所述控制器还包括如下部分：空间坐标校正模块，用于计算所述单目相机识别所述目标物体的分辨率盲区，并转换成三维直角坐标系下的误差区间，据此对计算出的所述空间位置坐标进行校正。4.一种应用权利要求1～3中任一项所述系统的采摘机器人的视觉伺服激光定位方法，其特征在于，包括如下步骤：S1：对现有深度学习网络算法进行调整和训练；S2：通过所述单目相机获取采摘环境的二维图像，输入到训练好的深度学习网络算法中识别目标物体，并输出多个所述目标物体的图像像素坐标；将所述目标物体的坐标转换为所述目标物体相对所述单目相机的方向角度信息；S3：控制所述二维云台指向待测物体方向的角度，通过所述激光测距模块进行测距；根据测出的距离和角度，计算出所述待测物体的实际空间信息；S4：依次对图像中识别到的多个待测物体进行测定，以得到图像中所有待测...

【专利技术属性】
技术研发人员：张潞，陈俊文，王康，
申请(专利权)人：北京禾泽方圆智能科技有限公司，
类型：发明
国别省市：北京,11