农业场景无标定机器人运动视觉协同伺服控制方法与设备技术

本发明专利技术公开了农业场景无标定机器人运动视觉协同伺服控制方法与设备，该设备的机械臂在臂末端安装有机械抓手，目标抓取物处在机械臂的可抓取范围内；控制模块驱动机械抓手抓取目标抓取物，并控制图像传感器对机械臂抓取目标抓取物的过程进行图像采样；图像传感器将采样的图像数据发送给控制模块。本发明专利技术无需对于场景内的目标抓取物及相关环境进行精确的空间标注，机械臂将按照训练好的网络进行策略引导完成抓取任务，对于空间感知设备的要求更低，环境适应性强，并可迁移至多种任务。

Control Method and Equipment of Motion Vision Cooperative Servo for Uncalibrated Robot in Agricultural Scene

【技术实现步骤摘要】
农业场景无标定机器人运动视觉协同伺服控制方法与设备
本申请涉及机器人领域，特别涉及农业场景无标定机器人运动视觉协同伺服控制方法与设备。
技术介绍
机器人作为精密高效的执行机械在军事、医学、制造业等领域有着广泛的应用，集成了电子、传感、控制等多种技术，机器人得以在工业场景中实现不同的功能；为了应对更为复杂多变的任务需求、提升机器人的性能与智能，智能型机器人的概念被提了出来，即应用了如强化学习控制、规划模式识别等学习型控制算法与图像视觉计算或深度神经网络的智能感知技术，具备自适应、自学习功能的一类机器人，在保障了机器人的工作精度与鲁棒性的同时，环境适应性与任务柔性得以提升。经过对现有技术的检索发现，中国专利文献号CN106041941A，公开日2016.10.26，公开了一种工业机械臂的轨迹规划方法与装置，为同样领域内实现工业机械臂驱动的方法，该技术针对SCARA机械臂的每个关节构建坐标系与工作区域，通过预先计算输入控制方向射线与工作区域边界的交点，优化机械臂的速度规划过程。但该技术需要精确标定场景，获得目标终点的空间坐标后进行模式化的轨迹规划驱动，对于标定设备及技术要求高，对于不同场景适应能力差，尤其无法适应复杂多变的农业非结构化场景。对于另一项现有技术文献，中国专利文献号CN105353772A，公开日2016.02.24，公开了一种无人机定位跟踪的视觉伺服控制方法，该技术通过在无人机上安装定位装置，惯性测量单元与摄像机获得大地、机体、相机与图像坐标系数据，通过运算各坐标系之间的相对过渡关系，以控制无人机拍摄目标物位于图像中心。该技术结合了视觉传感实现基于视觉伺服的无人机控制，但该技术仅能计算简单场景下无人机的目标姿态规划问题，难以迁移应用至农业机器人的应用领域，给出无标定农业场景下的执行策略。
技术实现思路
本专利技术的目的在于提供对空间感知设备的要求更低，环境适应性强的农业场景无标定机器人运动视觉协同伺服控制方法和设备。为了解决上述问题，本专利技术提供了一种农业场景无标定机器人运动视觉协同伺服控制设备，包括机械臂、目标抓取物、图像传感器和控制模块，其中，所述机械臂在臂末端安装有机械抓手；所述目标抓取物处在所述机械臂的可抓取范围内；所述控制模块分别与所述机械臂和图像传感器电连接，所述控制模块驱动所述机械抓手抓取所述目标抓取物，并控制所述图像传感器对所述机械臂抓取所述目标抓取物的过程进行图像采样；所述图像传感器将采样的图像数据发送给所述控制模块。优选地，所述机械臂为六自由度机械臂。本专利技术还提供了一种农业场景无标定机器人运动视觉协同伺服控制方法，包括如下步骤：构建场景空间特征向量获取网络，获取场景空间特征特征向量；获取示教动作样本；构建逆强化回报值策略网络；逆强化回报值策略网络迁移训练；基于视觉特征提取网络与逆强化回报值策略网络，采用策略引导驱动算法获得正向引导规划结果。优选地，所述场景空间特征向量获取网络为视觉卷积神经网络。优选地，所述获取场景空间特征特征向量具体为：图像传感器对机械臂抓取目标抓取物的过程进行图像采样，并提取RGB图像信息；以所述图像信息作为所述场景空间特征向量获取网络的输入量，输出向量即为场景空间特征特征向量。优选地，所述获取示教动作样本具体为：牵引机械臂完成对目标抓取物的抓取，获取一次示教抓取的示教抓取动作数据；驱动机械臂模拟示教抓取动作数据，自主完成对目标抓取物的抓取动作，用以拍摄获取示教抓取场景图像特征数据；基于所述示教抓取动作数据和示教抓取场景图像特征数据整合得到示教动作样本。优选地，所述构建逆强化回报值策略网络具体为：构建用于拟合表示回报值的逆强化回报值策略网络；通过仿真域随机化算法生成仿真参数；使用ROS规划库规划模拟虚拟抓取动作，并采样得到模拟抓取路径；逆强化回报值策略网络仿真预训练。优选地，所述逆强化回报值策略网络迁移训练具体为：使用所述示教动作样本进行所述逆强化回报值策略网络的优化训练。与现有技术相比，本专利技术存在以下技术效果：1、本专利技术实施例农业场景无标定机器人运动视觉协同伺服控制方法无需对于场景内的目标抓取物及相关环境进行精确的空间标注，机械臂将按照训练好的网络进行策略引导完成抓取任务，对于空间感知设备的要求更低，环境适应性强，并可迁移至多种任务。2、本专利技术实施例农业场景无标定机器人运动视觉协同伺服控制方法构建了场景空间特征向量获取网络用于获取场景特征，并在仿真环境内通过域随机化算法模拟抓取，使用仿真数据进行逆强化回报值策略网络的预训练；场景空间特征向量获取网络和逆强化回报值策略网络分别的进行预训练，将传统复杂视觉运动伺服问题解耦处理，降低了训练网络的复杂度。3、本专利技术实施例农业场景无标定机器人运动视觉协同伺服控制方法域随机化算法可以快速的生成大量的训练数据，减少示教员的示教操作数量，在有限的时间与资源内提升网络的训练效果。当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：图1为本专利技术实施例农业场景无标定机器人运动视觉协同伺服控制设备结构示意图；图2为本专利技术实施例农业场景无标定机器人运动视觉协同伺服控制设备硬件连接示意图；图3为本专利技术实施例农业场景无标定机器人运动视觉协同伺服控制设备软件配置层次图；图4为本专利技术实施例农业场景无标定机器人运动视觉协同伺服控制方法流程图；图5为本专利技术实施例场景空间特征向量获取网络的网络结构。具体实施方式以下将结合附图对本专利技术提供的农业场景无标定机器人运动视觉协同伺服控制方法与设备进行详细的描述，本实施例在以本专利技术技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例，本领域技术人员在不改变本专利技术精神和内容的范围内，能够对其进行修改和润色。本专利技术实施例构建场景空间特征向量获取网络，即视觉卷积神经网络，用于提取场景与目标抓取物的空间特征；构建逆强化回报值策略网络间接描述可能的驱动抓取策略；同时，在仿真环境内通过域随机化算法模拟抓取，使用仿真数据进行逆强化回报值策略网络的预训练，场景空间特征向量获取网络与逆强化回报值策略网络可以分别的进行预训练，将传统复杂视觉运动伺服问题解耦处理，降低了网络预训练的复杂度。其中，域随机化算法可以快速的生成大量的训练数据，减少了人工示教的操作数量，在有限的时间与资源内提升网络的训练效果。最后，通过真实场景与示教数据的融合，修正系统网络以使其适应真实的场景与任务。在网络训练完成后，通过引导性策略搜索算法给出规划结果。在最终的应用过程中，无需对场景内的目标抓取物及相关环境进行精确的空间标注，机械臂只需按照训练好的网络进行策略引导，完成抓取任务，训练好的网络对空间感知设备的要求更低，环境适应性强，并可迁移至多种任务。实施例一本专利技术实施例提供了农业场景无标定机器人运动视觉协同伺服控制设备，包括机械臂、目标抓取物、图像传感器和控制模块，请参考图1，机械臂为UR5机械臂6，UR5机械臂6为六自由度机械臂，并在臂末端安装本文档来自技高网...

【技术保护点】
1.一种农业场景无标定机器人运动视觉协同伺服控制设备，其特征在于，包括机械臂、目标抓取物、图像传感器和控制模块，其中，所述机械臂在臂末端安装有机械抓手；所述目标抓取物处在所述机械臂的可抓取范围内；所述控制模块分别与所述机械臂和图像传感器电连接，所述控制模块驱动所述机械抓手抓取所述目标抓取物，并控制所述图像传感器对所述机械臂抓取所述目标抓取物的过程进行图像采样；所述图像传感器将采样的图像数据发送给所述控制模块。

【技术特征摘要】
1.一种农业场景无标定机器人运动视觉协同伺服控制设备，其特征在于，包括机械臂、目标抓取物、图像传感器和控制模块，其中，所述机械臂在臂末端安装有机械抓手；所述目标抓取物处在所述机械臂的可抓取范围内；所述控制模块分别与所述机械臂和图像传感器电连接，所述控制模块驱动所述机械抓手抓取所述目标抓取物，并控制所述图像传感器对所述机械臂抓取所述目标抓取物的过程进行图像采样；所述图像传感器将采样的图像数据发送给所述控制模块。2.根据权利要求1所述的农业场景无标定机器人运动视觉协同伺服控制设备，其特征在于，所述机械臂为六自由度机械臂。3.一种农业场景无标定机器人运动视觉协同伺服控制方法，其特征在于，包括如下步骤：构建场景空间特征向量获取网络，获取场景空间特征特征向量；获取示教动作样本；构建逆强化回报值策略网络；逆强化回报值策略网络迁移训练；基于视觉特征提取网络与逆强化回报值策略网络，采用策略引导驱动算法获得正向引导规划结果。4.根据权利要求3所述的农业场景无标定机器人运动视觉协同伺服控制方法，其特征在于，所述场景空间特征向量获取网络为视觉卷积神经网络。5.根据权利要求3所述的农业场景无标定机器人运动视觉协同伺服控制方法，其特征在...

【专利技术属性】
技术研发人员：刘成良，贡亮，李旭东，汪韬，沈晓晔，林晨晖，陶建峰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31