一种基于深度强化学习的机器人工件抓取方法技术

本发明专利技术提供一种基于深度强化学习的机器人工件抓取方法，涉及机器人抓取技术领域。该基于深度强化学习的机器人工件抓取方法，包括对无序不规则工件进行三维建模、对工件进行识别与位姿计算、对机器人的手眼进行标定以及抓取轨迹、对机器人智能抓取软硬件系统进行研究。本发明专利技术，通过利用结构光相机传感器获取目标零件的三维信息，通过三维目标识别定位技术估计目标零件的位姿，根据手眼标定确定的转换关系变换零件位姿并反馈给机械臂，机械臂根据反馈信息执行最后的抓取动作。反馈信息执行最后的抓取动作。反馈信息执行最后的抓取动作。

【技术实现步骤摘要】
一种基于深度强化学习的机器人工件抓取方法


[0001]本专利技术涉及机器人抓取
，具体为一种基于深度强化学习的机器人工件抓取方法。

技术介绍

[0002]工业生产领域大量引入机器人代替手工作业，以便适应产品更新以及多样化的需求。将机器人技术应用到实际生产中，不仅提高了产品的质量和效率，而且改善了生产环境、降低了人力资源的浪费。在实际自动化生产线中，绝大部分机器人抓取零件的技术仍繁琐地使用示教编程法。虽然机器人的作业位置基本是固定的，且工作速度快，但如果目标零件的位置发生改变就会导致抓取失败，这种方式实际效率较低。近年来，将机器视觉和机器人结合应用在工业生产中已经成为一种趋势，利用机器视觉技术能够快速检测获取目标零件的空间位置，引导机器人完成抓取任务。目前，在产品分拣、缺陷检测、自动化装配等各个领域得到广泛的应用。
[0003]实际应用中，目标零件可能在平面上且整齐摆放，但在某些其他领域中，检测目标零件可能是散乱堆放。传统方法采用震动筛选、擒纵机构等把目标零件通过机械的方式按顺序排列，然后采用算法编程引导机器人完成抓取任务。但传统的方法只能对特定的零件进行排序、不能实时满足大量自动化生产的需求，无法广泛适应柔性化自动化生产。因此，在实际生产中能够实现对零件散乱堆放的识别与位姿的估计有迫切需要。实现机器人自动化操作需要面临很多挑战，尤其是自身的感知系统以及复杂的现场环境。传统的物体识别主要基于二维图像，然而物体的二维图像不能提供空间位置信息，而且由于光照变换、视角变换等因素，目标零件的特征信息不能被稳定的检测出来，大大增加检测结果的不确定性。
[0004]高性能视觉传感器组成的三维检测系统可以获得目标零件的几何信息，但是昂贵的价格制约其在实际生产生活中普及应用。近年来，廉价结构光相机传感器及相关技术的出现，为降低基于3D视觉的检测系统的成本带来曙光。同时，大量稳健的三维视觉算法的提出，降低视觉检测系统对传感器精度的要求，弥补廉价传感器精度上的不足。在上述背景下，本课题将以结构光相机传感器作为信息提供源，研究深度数据的滤波去噪、复杂环境下的三维物体检测与位姿估计问题，为实现机器人自动化操作提供可能，对促进智能制造的进一步发展，具有重要现实意义。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种基于深度强化学习的机器人工件抓取方法，通过利用结构光相机传感器获取目标零件的三维信息，通过三维目标识别定位技术估计目标零件的位姿，根据手眼标定确定的转换关系变换零件位姿并反馈给机械臂，机械臂根据反馈信息执行最后的抓取动作。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于深度强化学习的机器人工件抓取方法，包括以下步骤：
[0009]步骤一：对无序不规则工件进行三维建模：
[0010]采用双目立体成像和面结构光的3D相机，获取工件的三维坐标和灰度数据，并基于这些数据对工件进行三维建模；
[0011]步骤二：对工件进行识别与位姿计算：
[0012]在工件三维建模基础上，利用工件局部特征的不变特性，采用基于卷积神经网络框架，研究工件的识别与定位，并基于三维视觉的视差原理，研究工件位姿计算；
[0013]步骤三：对机器人的手眼进行标定以及抓取轨迹：
[0014]采用小球标定方法，对机器人手眼标定方面进行研究；采用基于深度强化学习理论，对机器人抓取轨迹规划进行研究；
[0015]步骤四：对机器人智能抓取软硬件系统进行探究：
[0016]研发一套机器人智能抓取万向轮产业无序不规则工件的软硬件系统。
[0017]优选的，步骤四中，所述软硬件系统包括硬件层系统和软件层系统。
[0018]优选的，所述硬件层系统包括机器人、3D相机、计算机、气动夹具、空压机。
[0019]优选的，所述软件层系统包括标定模块、图像处理模块、点云处理模块、通信模块、显示模块。
[0020]优选的，所述标定模块用于对相机的内外参数、镜头畸变参数的标定，以及相机与机器人坐标系之间位置关系的标定。
[0021]优选的，所述图像处理模块用于对图像进行获取，并对获取的图像进行滤波、分割操作，分离背景与工件图像，分割投影在工件表面的投影光栅，并匹配相同编码区域，控制投影仪与相机的时序，三维重建点云。
[0022]优选的，所述点云处理模块用于提取三维的点云关键点，并通过描述该关键点；建立模板库，通过匹配模板点云的关键点与现实场景中工件点云关键点，估算模板工件与现实工件旋转平移关系，最后通过坐标转换得到机器人抓取位姿。
[0023]优选的，所述通信模块用于把点云处理模块计算得到的工件的真实位姿作为输入，通过坐标变换，计算得出机器人末端夹具的最终的拾取位姿，并通过WiFi通信向机器人发送规划的离散轨迹点，驱动机器人到达相应位姿，最后通过Modbus通信控制气动夹具的闭合抓取零件。
[0024]优选的，所述显示模块用于采集图像的实时显示和点云处理模块的显示。
[0025](三)有益效果
[0026]本专利技术提供了一种基于深度强化学习的机器人工件抓取方法。具备以下
[0027]有益效果：
[0028]1、利用结构光相机传感器获取目标零件的三维信息，通过三维目标识别定位技术估计目标零件的位姿，根据手眼标定确定的转换关系变换零件位姿并反馈给机械臂，机械臂根据反馈信息执行最后的抓取动作。
附图说明
[0029]图1为本专利技术的方法流程示意图；
[0030]图2为本专利技术的三维建模流程示意图；
[0031]图3为本专利技术的工件定位与位姿计算示意图；
[0032]图4为本专利技术的手眼标定与抓取轨迹示意图；
[0033]图5为本专利技术的软件层系统结构示意图。
具体实施方式
[0034]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0035]实施例：
[0036]本专利技术实施例提供一种基于深度强化学习的机器人工件抓取方法，如图1
‑
4所示，包括以下步骤：
[0037]步骤一：对无序不规则工件进行三维建模：
[0038]为了实现零件位姿计算与抓取轨迹规划，必须对零件进行完整的三维建模，拟采用双目立体成像+面结构光的3D相机，获取零件三维坐标和灰度数据，并基于这些数据对零件进行三维建模；
[0039]步骤二：对工件进行识别与位姿计算：
[0040]在零件三维建模基础上，利用零件局部特征的不变特性，拟采用基于卷积神经网络框架，研究零件的识别与定位，并基于三维视觉的视差原理，研究零件位姿计算；
[0041本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的机器人工件抓取方法，其特征在于：包括以下步骤：步骤一：对无序不规则工件进行三维建模：采用双目立体成像和面结构光的3D相机，获取工件的三维坐标和灰度数据，并基于这些数据对工件进行三维建模；步骤二：对工件进行识别与位姿计算：在工件三维建模基础上，利用工件局部特征的不变特性，采用基于卷积神经网络框架，研究工件的识别与定位，并基于三维视觉的视差原理，研究工件位姿计算；步骤三：对机器人的手眼进行标定以及抓取轨迹：采用小球标定方法，对机器人手眼标定方面进行研究；采用基于深度强化学习理论，对机器人抓取轨迹规划进行研究；步骤四：对机器人智能抓取软硬件系统进行探究：研发一套机器人智能抓取万向轮产业无序不规则工件的软硬件系统。2.根据权利要求1所述的一种基于深度强化学习的机器人工件抓取方法，其特征在于：步骤四中，所述软硬件系统包括硬件层系统和软件层系统。3.根据权利要求2所述的一种基于深度强化学习的机器人工件抓取方法，其特征在于：所述硬件层系统包括机器人、3D相机、计算机、气动夹具、空压机。4.根据权利要求2所述的一种基于深度强化学习的机器人工件抓取方法，其特征在于：所述软件层系统包括标定模块、图像处理模块、点云处理模块、通信模块、显示模块。5.根据权利要求4所述的一种基于深度强化学习的机器人工...

【专利技术属性】
技术研发人员：陈科尹，熊珍连，罗军建，刘伟忠，冯广强，
申请(专利权)人：嘉应学院，
类型：发明
国别省市：