一种基于MaskR-CNN和双目相机的机器人目标定位和抓取方法技术

一种基于Mask R

【技术实现步骤摘要】
一种基于Mask R
‑
CNN和双目相机的机器人目标定位和抓取方法


[0001]本专利技术属于机器人
，具体涉及一种基于Mask R
‑
CNN和双目相机的机器人目标定位和抓取方法。

技术介绍

[0002]机器人是一种仿生智能机器，一般具有移动能力、感知能力、动作能力和协调能力，机器人配置感知镜头和机械臂可以完成特定的识别任务和动作任务，可以对指定目标物体进行识别和抓取。当前常用的目标抓取方法是通过机器人携带的摄像机寻找目标，找到目标后通过模板匹配方法或者其他图像处理方法对目标物体进行提取，再通过机器人搭载的双目相机或者激光雷达计算目标物体相对摄像机的距离，最后控制机械臂抓取目标物体。
[0003]这类方法中，对目标物体的检测和测距分别使用不同的传感器进行处理，增加了设备要求和机器人负载量，在目标检测中，使用传统图像处理方法误差较大，不能精准确定目标物体边缘信息，同时处理过程速度较慢，使得机械臂动作产生延迟，难以满足实时抓取目标的需求。在目标测距中，针对背景信息复杂，噪声点过滤不完全，导致距离测量精度较差。

技术实现思路

[0004]本专利技术的目的是针对现有的机器人在复杂环境下存在的目标检测误差大以及测距精度不高的技术问题，而提供的一种可实现机器人对目标物体的精确定位和抓取，能降低机器人机械臂抓取目标物体的失误率的方法。
[0005]一种基于Mask R
‑
CNN和双目相机的机器人目标定位和抓取方法，它包括以下步骤：
[0006]步骤1：进行相机的标定；
[0007]步骤2：进行目标的识别与分割；
[0008]步骤3：进行目标的定位；
[0009]步骤4：进行目标的位姿计算；
[0010]步骤5：进行目标的抓取；
[0011]在步骤2中，将双目相机采集的RGB图像作为输入图像送入预先训练好的卷积神经网络Mask R
‑
CNN模型中，通过模型输出图像中目标物体的检测框和Mask，通过对目标物体进行像素点分割，提取目标区域，过滤背景干扰信息。
[0012]在步骤2中，目标识别与分割使用Mask R
‑
CNN模型对目标物体识别及分割，模型构建及识别步骤如下：
[0013]2‑
1)进行目标物体数据集的采集，根据需要抓取的目标物体类别，从不同的环境、不同的角度、不同的亮度、不同的姿态下对目标物体进行图像采集；
[0014]2‑
2)数据增强，由于可以获得的数据集样本较少,采用传统图像几何变换数据增强和利用GAN进行生成式数据增强相结合的方法对数据集进行扩充。对于传统的图像几何变换方法，采用随机裁剪、水平翻转、图像倾斜、添加噪声、图像缩放的对采集的数据集通过亮度变换、添加噪声、剪切、旋转等操作扩充数据集；
[0015]2‑
3)进行目标数据集的标注，使用图像标注工具对采集的图像进行标注；
[0016]2‑
4)Mask RCNN网络模型优化；
[0017]2‑
5)进行模型迁移学习训练，使用迁移学习方法，将自制好的数据集载入优化后的网络模型中，同时载入使用COCO数据集预训练的模型，提高模型收敛，通过参数优化，对模型进行迭代训练，生成目标检测及分割模型；
[0018]2‑
6)对目标进行检测及分割，从双目相机拍摄的视频流中截取RGB图像传入Mask R
‑
CNN模型中，通过模型识别待抓取的目标物体类别及目标位置，对目标进行分割，输出目标的Mask区域。
[0019]在步骤2
‑
4)中，在进行Mask R
‑
CNN网络模型的优化时，采用以下步骤：
[0020](1)进行特征提取网络的修改，通过减小网络层次提高目标识别的速度；
[0021](2)进行RPN区域建议网络的修改，修改锚点尺寸，使模型集中在指定比例中计算，把超出原图尺寸的anchor boxes剔除，通过非极大值抑制(NMS)方法进一步筛选得到感兴趣区域；
[0022](3)进行损失函数的修改；Mask R
‑
CNN损失函数为
[0023]L＝L
cls
+L
box
+L
mask
，
[0024]其中，L
cls
为分类损失函数，L
box
为检测损失函数，L
mask
为分割损失函数，在L
mask
中加入边界损失函数，利用距离损失对分割的位置、形状和连续性进行正则化，使其更加接近目标边界；L
mask
‑
edge
优化后的损失函数为
[0025][0026]其中，L
edge
为边界损失函数，y表示标注的目标边缘，表示预测边界，α是权重系数，B为分割结果的边界，M
dist
为对ground
‑
truth分割边界的距离变换。
[0027]在步骤1中，进行相机的标定以通过二维的图像信息来获取三维空间位置信息；具体包括以下步骤：
[0028]1‑
1)进行标定板制作；
[0029]1‑
2)进行图像的采集，改变标定板相对摄像机的位置和角度，使用待标定的摄像机从不同角度、不同位置、不同姿态，拍摄标定板多张照片；
[0030]1‑
3)进行标定板角点的检测，得到标定板角点的像素坐标值，根据已知的棋盘格大小和世界坐标系原点，计算标定板角点的物理坐标值；
[0031]1‑
4)进行相机内部参数和外部参数的求解。
[0032]在步骤3中，在进行目标定位时，将双目相机采集的DEPTH图像和RGB图像对齐，计算RGB图像中的目标Mask区域像素点在DEPTH图像中距离双目相机的红外镜头的平均距离，从而得到目标物体相对相机的距离。同时通过双目相机测距原理，测量目标的宽度，判断机械臂抓取器张合宽度是否可以抓取目标物体。
[0033]在步骤3中，具体包括以下步骤：
[0034]3‑
1)获取RGB图像和DEPTH图像；
[0035]3‑
2)将DEPTH图像和RGB图像对齐，使得RGB图像中的像素点与DEPTH图像目标点一一对应；
[0036]3‑
3)对目标图像背景信息进行过滤，根据步骤2
‑
4)输出的目标物体的Mask区域对图像背景区域进行过滤；
[0037]3‑
4)计算目标距离，计算目标物体Mask区域内的像素点到双目相机的距离，通过计算像素点距离的平均值为目标物体到相机的距离。
[0038]3‑
5)计算目标宽度，计算Mask区域边缘像素对应DEPTH图像中目标物体边缘的最大宽度为目标物体的宽度。通过计算的宽度值判断目标是否在机械臂抓取范围本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Mask R
‑
CNN和双目相机的机器人目标定位和抓取方法，其特征在于，它包括以下步骤：步骤1：进行相机的标定；步骤2：进行目标的识别与分割；步骤3：进行目标的定位；步骤4：进行目标的位姿计算；步骤5：进行目标的抓取；在步骤2中，将双目结构光相机采集的RGB图像作为输入图像送入预先训练好的卷积神经网络Mask R
‑
CNN模型中，通过模型输出图像中目标物体的检测框和Mask，通过对目标物体进行像素点分割，提取目标区域，过滤背景干扰信息。2.根据权利要求1所述的方法，其特征在于，在步骤2中，目标识别与分割使用Mask R
‑
CNN模型对目标物体识别与分割，模型构建及识别步骤如下：2
‑
1)进行目标物体数据集的采集，根据需要抓取的目标物体类别，从不同的环境、不同的角度、不同的亮度、不同的姿态下对目标物体进行数据集采集；2
‑
2)数据增强，采用传统图像几何变换数据增强和利用GAN进行生成式数据增强相结合的方法对数据集进行扩充，对于传统的图像几何变换方法，采用随机裁剪、水平翻转、图像倾斜、添加噪声、图像缩放的对采集的数据集通过亮度变换、添加噪声、剪切、旋转等操作扩充数据集；2
‑
3)进行目标数据集的标注，使用图像标注工具对采集的图像进行标注；2
‑
4)进行Mask R
‑
CNN网络模型的优化；2
‑
5)进行模型迁移学习训练，使用迁移学习方法，将自制好的数据集载入优化后的网络模型中，同时载入使用COCO数据集预训练的模型，提高模型收敛，通过参数优化，对模型进行迭代训练，生成目标识别及分割模型；2
‑
6)对目标进行识别与分割，从双目相机拍摄的视频流中截取RGB图像传入Mask R
‑
CNN模型中，通过模型识别待抓取的目标物体类别及目标位置，对目标进行分割，输出目标的Mask区域。3.根据权利要求2所述的方法，其特征在于，在步骤2
‑
4)中，在进行Mask R
‑
CNN网络模型的优化时，采用以下步骤：(1)进行特征提取网络的修改，通过减小网络层次提高目标识别的速度；(2)进行RPN区域建议网络的修改，修改锚点尺寸，使模型集中在指定比例中计算，把超出原图尺寸的anchor boxes剔除，通过非极大值抑制(NMS)方法进一步筛选得到感兴趣区域；(3)进行损失函数的修改；Mask R
‑
CNN损失函数为L＝L
cls
+L
box
+L
mask
，其中，L
cls
为分类损失函数，L
box
为检测损失函数，L
mask
为分割损失函数，在L
mask
中加入边界损失函数，利用距...

【专利技术属性】
技术研发人员：周登科，史凯特，汤鹏，于傲，郑开元，张亚平，李哲，
申请(专利权)人：中国长江三峡集团有限公司，
类型：发明
国别省市：