一种基于视觉融合的农业采摘机器人训练方法及系统技术方案

本发明专利技术涉及自动化生产技术领域，具体为一种基于视觉融合的农业采摘机器人训练方法及系统，通过多个信号数据的采集处理，可使机器人实现不同条件的动作；同时设有两个不同方式模拟机器人的输出信号，实现机器人各种动作的执行操作。尤其是针对有果实的树枝，强化了视觉信息感知，机器人编程实现果实采摘及放置框中的动作，适应多种农作物果实的采摘，位置获取精准，采摘高效，也能模拟多种环境中的采摘操作，达到高效率采摘的效果。达到高效率采摘的效果。

【技术实现步骤摘要】
一种基于视觉融合的农业采摘机器人训练方法及系统


[0001]本专利技术属于自动化生产
，具体为一种基于视觉融合的农业采摘机器人训练方法及系统。

技术介绍

[0002]随着科学技术的不断进步，我国工业机器人在农业中的使用越来越频繁，这样标志着农业自动化走向了新的里程碑，是智慧农业发展中的关键一环。按照机器人的关键技术发展过程其可分为三代：
[0003]第一代是示教再现机器人，主要由机器人本体、运动控制器和示教盒组成，操作过程比较简单。第一代机器人使用示教盒在线示教编程，并保存示教信息。当机器人自动运行时，由运动控制器解析并执行存储的示教程序，使机器人实现预定动作。这类机器人通常采用点到点运动，连续轨迹再现的控制方法，可以完成直线和圆弧的连续轨迹运动，然而复杂曲线的运动则由多段圆弧和直线组合而成。由于操作的容易性、可视性强，所以在当前农业中应用最多，但是针对复杂多变的农业环境，其实际使用中的限制性因素较多，难以大范围使用。
[0004]第二代是离线编程机器人，该机器人编程系统是采用离线式计算机实体模型仿真技术，首先建立起机器人及其工作环境的实体模型，再采用实际的正逆解算法，通过对实体模型的控制和操作，在离线的情况下进行路径规划，然后通过编程对实体模型进行三维动画仿真，以检验编程的正确性，最后将正确的代码传递给机器人控制柜，以控制机器人运动，完成了离线编程。其具备一定的独立环境适应能力，但是自身的决策较为简单，对于复杂的农业操作而言还是不能完全胜任。
[0005]第三代是智能机器人，它除了具有第一代和第二代的特点以外可带有各种传感器，这类机器人对外界环境不但具有感觉能力，而且具有独立判断、记忆、推理和决策的能力。能适应外部对象、环境协调地工作，能完成更加复杂的动作。在工作时通过传感器获得外部的信息，并进行信息反馈，然后灵活调整工作状态。其在农业中的适应性强，可以在一定改装下适应多种农业操作，但是具体到高精细度的农业采摘操作，专用机器人研究较少，缺乏实用性好，能独立训练操作的产品。

技术实现思路

[0006]基于以上问题，本专利技术提供了一种基于视觉融合的农业采摘机器人训练方法及系统，以视觉技术为基础，配合距离感应，通过高度的数据获取能力达到精准的采摘操作。具体技术方案如下：
[0007]一种基于视觉融合的农业采摘机器人训练方法，包括：
[0008]采摘目标信息搜集，采用视觉捕捉相机收集采集目标的图像信息，通过图像关键要素分析确定采摘目标是否达到采摘标准，将采摘目标分级，定位采摘对象的大致信息；用超声波距离感应器逐一确定视觉捕捉相机确定的采摘目标的距离位置；
[0009]采摘目标信息甄别，视觉捕捉相机以要采摘的目标为中心，确定采摘目标周围的特征物，针对特征物进行数据图像采集；超声波距离感应器针对特征物进行距离位置采集，计算机根据采摘目标的位置特征和周围特征物计算采摘操作，生成柔性机械臂的行走路径和采摘动作；
[0010]采摘操作，将得到的行走路径和采摘动作传输到采摘设备，由采摘设备按照设置好的程序进行操作，将采摘到的目标放置到果盘；视觉捕捉相机实时捕捉柔性机械臂对果实的接近过程，超声波距离感应器实时测量机械臂与果实的距离，评估采摘动作的完成情况。
[0011]进一步的，所述采摘目标信息搜集包括：通过颜色区分特征和Otsu方法从采摘目标区域获取采摘目标及周围特征物的位置，通过超声波距离感应器将采摘目标及特征物的相对位置，形成纵深距离数据；
[0012]通过色区分特征和Otsu方法区分出采摘目标周围的绿叶、枝条、果实，确定出操作者指定的采摘目标，对所观察区域的目标进行检测，视觉相机标记处距离远近的采摘目标，以距离关系标记为M1、M2、M3、M4
……
Mn，再针对M1、M2、M3、M4
……
Mn进行独立拍摄，检测每一个采摘目标周围的色彩差异，以最近的位点M1为例，视觉相机标记出特征位点M1i1、M1i2、M1i3、M1i4
……
M1in,由超声波距离探测器检测M1周围的特征，对应探测出M1i1、M1i2、M1i3、M1i4
……
M1in的相对距离；
[0013]视觉捕捉相机连续获取机械臂接近采摘目标的照片，得到采摘目标和周围特征物的图像信息，由超声波距离感应器定位距离参数，计算采摘路径中的特征物和阻挡物距离；通过颜色区分特征和Otsu方法区分采摘目标与周围枝叶等障碍物，简化采摘过程的路径数据；
[0014]采摘过程中，随着采摘设备的移动，视觉相机对采摘目标进行多次拍摄，针对同一个目标的多次拍摄，在每一个拍摄中由视觉相机检测其采摘目标的鲜艳度，记为X，多次拍摄后取X的平均值，针对M1、M2、M3、M4
……
Mn的X1、X2、X3、X4
……
Xn从大到小进行排序，数值最大的优先采摘；
[0015]采摘过程中，随着采摘设备的移动，超声波距离探测器对M1、M2、M3、M4
……
Mn的距离进行多次校准，检测不同方向上采摘目标的障碍物数量，标记出障碍物最少的角度。
[0016]进一步的，所述采摘目标信息甄别，具体包括通过显著性特征区分不同采摘目标，将采摘目标进行分级，决策出优先采摘对象，由超声波距离感应器针对每一个采摘目标区域进行精度距离检测，由视觉捕捉得到的采摘目标点与超声波距离得到的区域目标物距离形成空间坐标位点，将位点数据传输到处理中心由机械臂执行。
[0017]进一步的，采摘操作具体包括，设置好视觉捕捉相机和超声波距离探测器，检测视觉捕捉相机、超声波距离探测器采摘机械臂之间的距离，用视觉捕捉相机拍摄采摘目标位置照片，获取空间区域信息，再由超声波距离探测器针对视觉捕捉相机获取的位点精确探测采摘目标周围特征数据，通过所得数据计算出采摘路径中的障碍物与采摘目标之间的位置；
[0018]机械臂接近采摘目标，检测采摘目标的图像特征与采摘要求的符合程度，选取满足要求的采摘位置，进行采摘姿态的调整，调整机械臂与采摘目标的贴合程度，执行采摘操作；
[0019]一种基于视觉融合的农业采摘机器人训练系统，包括：
[0020]采摘目标感应模块，采集采摘目标信息、距离数据信息；
[0021]采摘目标信息甄别模块，计算视觉捕捉位点中关键特征的具体位置，形成具体距离的空间建模，形成采摘轨迹路径；
[0022]采摘模块，通过获得的空间数据结合自身参数调配采摘机构执行采摘操作，将采摘到的物品放到托盘中。
[0023]进一步的，所述目标感应模块包括视觉捕捉相机、超声波距离感应器。
[0024]进一步的，所述采摘模块包括柔性机械臂和果盘。
[0025]与现有技术相比，本专利技术的有益效果是：
[0026]本专利技术适应多种农作物果实的采摘，位置获取精准，采摘高效，也能模拟多种环境中的采摘操作。通过在农作物采摘设备运行过程中数据采集，采摘目标的特征信息和图像细腻的数据分析，基于优化的采摘逻辑，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉融合的农业采摘机器人训练方法，其特征在于，包括：采摘目标信息搜集，采用视觉捕捉相机收集采集目标的图像信息，通过图像关键要素分析确定采摘目标是否达到采摘标准，将采摘目标分级，定位采摘对象的大致信息；用超声波距离感应器逐一确定视觉捕捉相机确定的采摘目标的距离位置；采摘目标信息甄别，视觉捕捉相机以要采摘的目标为中心，确定采摘目标周围的特征物，针对特征物进行数据图像采集；超声波距离感应器针对特征物进行距离位置采集，计算机根据采摘目标的位置特征和周围特征物计算采摘操作，生成柔性机械臂的行走路径和采摘动作；采摘操作，将得到的行走路径和采摘动作传输到采摘设备，由采摘设备按照设置好的程序进行操作，将采摘到的目标放置到果盘；视觉捕捉相机实时捕捉柔性机械臂对果实的接近过程，超声波距离感应器实时测量机械臂与果实的距离，评估采摘动作的完成情况。2.根据权利要求1所述的基于视觉融合的农业采摘机器人训练方法，其特征在于，所述采摘目标信息搜集包括：通过颜色区分特征和Otsu方法从采摘目标区域获取采摘目标及周围特征物的位置，通过超声波距离感应器将采摘目标及特征物的相对位置，形成纵深距离数据；视觉捕捉相机连续获取机械臂接近采摘目标的照片，得到采摘目标和周围特征物的图像信息，由超声波距离感应器定位距离参数，计算采摘路径中的特征物和阻挡物距离；通过颜色区分特征和Otsu方法区分采摘目标与周围枝叶等障碍物，简化采摘过程的路径数据。3.根据权利要求1所述的基于视觉融合的农业采摘机器人训练方法，其特征在于，所述采摘目标信息甄别，具体包括通过显...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：苏州博田自动化技术有限公司，
类型：发明
国别省市：