一种基于ROS的自主移动抓取系统与方法技术方案

本发明专利技术涉及一种基于ROS的自主移动抓取系统与方法。本发明专利技术可以分为图像采集模块、视觉算法处理模块、位姿检测模块以及抓取控制模块。本方法实现了移动机器人在陌生环境下的环境感知，视觉导航以及实时的物体位姿估计并抓取的功能。将移动机器人与机器视觉相结合，使得机器人可以完成更智能的任务，提供良好的服务，减轻了不必要的负担。本发明专利技术具有效率高、检测精度高、可实时检测、良好的适应能力等优点，可以在很大程度上释放日常工作上的人力投入，具有很强的市场潜力。大大方便服务人们工作和生活，有助于促进生活水平的提高。

An autonomous mobile grab system and method based on ROS

The invention relates to an autonomous mobile grab system and method based on ROS. The invention can be divided into an image acquisition module, a vision algorithm processing module, a posture detection module and a grab control module. This method realizes the functions of environment perception, visual navigation and real-time object pose estimation and grasping of mobile robot in unfamiliar environment. By combining mobile robot with machine vision, the robot can complete more intelligent tasks, provide good services and reduce unnecessary burden. The invention has the advantages of high efficiency, high detection accuracy, real-time detection, good adaptability, etc., can largely release the human investment in daily work, and has strong market potential. It is greatly convenient to serve people's work and life, and helps to promote the improvement of living standards.

【技术实现步骤摘要】
一种基于ROS的自主移动抓取系统与方法
本专利技术属于机器视觉领域，具体涉及种基于ROS的自主移动抓取系统与方法。
技术介绍
随着日趋严重的老龄化问题、迫使社会转移更多的人力，物力到老年人的生活照顾上，服务机器人能够很大程度上释放日常工作的人力投入，但是目前来说大多数服务机器人都是功能单一、对话型机器人，而对于具备拟人化，自主环境感知、视觉指导任务的移动机器人还尚处于研究阶段，不够成熟，难以完成复杂集成的任务。除此之外，移动机器人在灾害救援、军事侦查等场所应用越来越广。对于高危场所，移动机器人的使用很大程度上可以减轻人员的伤亡，但是在如何将视觉传感技术与自动控制、运动规划、视觉导航等方法融合，完美实现自主抓取是移动机器人领域的关键技术。因此研究出一种可以自主感知环境、实时检测、自主移动并执行相关任务的自主移动抓取系统，减轻人工的劳动，提高高危作业的安全性，具有很重要的理论价值和实际意义。
技术实现思路
鉴于上述
技术介绍
的不足，本专利技术的目的在于提供一种基于ROS的自主移动抓取系统，该系统通过图像采集、视觉算法处理、视觉导航本文档来自技高网...

【技术保护点】
1.一种基于ROS的自主移动抓取系统，其特征在于：该系统分为四部分：图像采集模块、视觉导航模块、位姿检测模块以及抓取控制模块；图像采集模块由RGB-D相机、NVIDIAJetson TX2和转动云台模块构成，RGB-D相机和NVIDIA Jetson TX2负责采集彩色图像和深度图像，转动云台控制模块由电机和蓝牙控制板组成，在执行视觉导航任务时，控制云台控制相机转到水平方向，在执行位姿检测任务时，控制云台控制相机转到竖直方向；视觉导航模块由移动小车、红外传感器和NVIDIA GeForce GTX 1080Ti服务器构成；RGB-D相机采集场景彩色图像和深度图像并传输到服务器，服务器执行SLA...

【技术特征摘要】
1.一种基于ROS的自主移动抓取系统，其特征在于：该系统分为四部分：图像采集模块、视觉导航模块、位姿检测模块以及抓取控制模块；图像采集模块由RGB-D相机、NVIDIAJetsonTX2和转动云台模块构成，RGB-D相机和NVIDIAJetsonTX2负责采集彩色图像和深度图像，转动云台控制模块由电机和蓝牙控制板组成，在执行视觉导航任务时，控制云台控制相机转到水平方向，在执行位姿检测任务时，控制云台控制相机转到竖直方向；视觉导航模块由移动小车、红外传感器和NVIDIAGeForceGTX1080Ti服务器构成；RGB-D相机采集场景彩色图像和深度图像并传输到服务器，服务器执行SLAM算法进行建图并基于ROS使用move_base库控制移动小车进行导航，红外传感器用于导航过程中的避障；位姿检测模块由NVIDIAGeForceGTX1080Ti服务器完成，RGB-D相机采集目标彩色图像和深度图像并传输到服务器，服务器执行像素投票神经网络PVnet回归关键点的坐标，并基于PnP算法对物体的6D姿态进行计算；抓取控制模块包括5自由度的机械臂及其控制器，控制器接收目标抓取位姿，使用ROS的Moveit运动规划算法库规划机械臂运动路径，执行抓取任务；其中的ROS为机器人操作系统RobotOperatingSystem；6D姿态包括3D位置和3D方向。


2.根据权利要求1所述的一种基于ROS的自主移动抓取系统的抓取方法，其特征在于：
步骤一：将小车放入陌生环境，图像采集模块采集到的彩色图像和深度图像；
步骤二：图像采集模块采集到的彩色图像和深度图像通过ROS传输到视觉导航模块并执行SLAM算法，构建地图；利用二维码图标标记目标位置区域，通过检测二维码图标的位姿确定目标区域，移动小车根据ROS的move_base运动导航库规划的路径自主移动到目标区域附近；
其中地图构建基于RGBD-SLAM-V2框架，前端视觉里程计从每一帧彩色图像中提取特征，借助ORB特征描述子，使用RANSAC+ICP算法计算两帧图像之间的位姿关系，之后进行基于g2o优化库的后端以及回环检测优化，优化后的位姿结合彩色图和深度图，生成稠密地图；然后通过二维码图标标记找到目标区域位姿移动小车接收到使用ROS的move_base运动导航库导航到目标区域；
步骤三：到达指定区域之后，通过消息队列遥测传输协议发送指令给蓝牙控制板控制摄像头转向，接下来将图像采集模块采集到的彩色图像进行预处理，将预处理后的彩色图像通过ROS发送到位姿检测模块；
对彩色图像进行预处理具体为：
f(x,y,z)表示大小为H×W的一帧图像，x,y表示图像的横像素坐标和纵像素坐标，z表示通道数，彩色图z＝3，用于位姿检测时，对彩色图，使用数据集的平均值和方差标准化处理：
f(x,y,z)＝(f(x,y,z)-mean[z])/std[z]z＝3(1)
其中mean＝[0.485,0.456,0.406]std＝[0.229,0.224,0.225]；
步骤四：位姿检测模块通过位姿检测算法计算得到物体的6D位姿，并转换为目标抓取位姿，通过ROS系统将目标抓取位姿发送给抓取控制模块；
其中位姿检测模块通过位姿检测算法计算得到物体的6D位姿，具体为：
(a)将输入图片f(x,y,z)送入像素级投票神经网络PVnet回归得到语义分割结果和像素级预测方向向量，具体方向向量的定义为：
对于一个像素p，网络输出与其相关联的对象标签和代表从像素p到物体2D关键点的单位方向向量；vk(p)定义为：



(b)投票定位关键点坐标
给定语义标签和单位向量，使用基于RANSAC的投票方案生成关键点假设，首先使...

【专利技术属性】
技术研发人员：杨宇翔，孙卫军，高明煜，董哲康，林辉品，曾毓，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33