具有旋转补偿的对象料箱拾取制造技术

一种用于识别待被机器人拾取的对象的系统和方法。该方法包括使用3D相机来获得对象的2D红

【技术实现步骤摘要】
具有旋转补偿的对象料箱拾取


[0001]本公开一般涉及用于识别待被机器人拾取的对象的系统和方法，并且更具体地，涉及用于识别待被机器人从多个对象的料箱中拾取的对象(诸如透明对象)的系统和方法，其中该方法采用图像分割过程，该图像分割过程使用神经网络来从由相机捕获的图像提取特征以提供提取特征图像，识别提取特征图像中的各个像素的x和y坐标并且识别在分割图像中该多个对象的定向。

技术介绍

[0002]机器人执行包括拾取和放置操作的多个任务，其中机器人从例如为料箱的一个位置拾取和移动对象至例如为传送带的另一位置。为了识别正从料箱中拾取的对象，一些机器人系统采用产生料箱的2D红
‑
绿
‑
蓝(RGB)彩色图像和料箱的2D灰度深度图图像的3D相机，其中在深度图图像中的每个像素具有限定从相机到具体对象的距离的值，即像素越靠近对象其值越低。深度图图像识别到相机视场中点云中的点的距离测量值，其中点云是由某个坐标系限定的数据点的集合，每个点都有x、y和z值。
[0003]为此目的，有两种常规类型的点云分析，即无模型点云分析和基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于从多个对象的组中拾取对象的方法，所述方法包括：使用相机获得所述多个对象的图像；通过执行图像分割过程来生成所述多个对象的分割图像，所述图像分割过程包括使用神经网络从所述图像中提取多个特征以提供提取特征图像、识别所述提取特征图像中的各个像素的x和y坐标以及识别在所述提取特征图像中所述多个对象的定向；使用所述分割图像识别用于拾取所述对象的位置；以及使用在所述分割图像中所述对象的所述定向来旋转所述对象。2.根据权利要求1所述的方法，其中，所述神经网络是深度学习掩码R
‑
卷积神经网络(CNN)。3.根据权利要求1所述的方法，其中，生成分割图像包括提供多个边界框，将所述多个边界框与所提取的多个特征对准，以及提供包括围绕所述多个对象的边界框的边界框图像。4.根据权利要求3所述的方法，其中，所述多个边界框具有各种尺寸，并且每种尺寸的多个边界框被定向在不同方向上。5.根据权利要求4所述的方法，其中，被定向在不同方向上的相同尺寸的所述多个边界框相对于彼此定向0
°
、30
°
、45
°
、90
°
、120
°
、150
°
和180
°
。6.根据权利要求3所述的方法，其中，将所述多个边界框对准包括使用滑动窗口模板。7.根据权利要求3所述的方法，其中，生成分割图像包括确定对象存在于每个边界框中的概率。8.根据权利要求1所述的方法，其中，生成分割图像包括向所述分割图像中的各个像素分配标签，使得所述分割图像中的每个对象具有相同的标签。9.根据权利要求1所述的方法，其中，生成分割图像包括识别在所述多个边界框中每个对象的中心像素，并且其中，识别用于拾取所述对象的位置包括识别在所述分割图像中所述多个对象中的一个的中心像素，并且使用所述中心像素的位置和深度图图像来计算所述中心像素的x
‑
y
‑
z坐标。10.根据权利要求9所述的方法，其中，识别用于拾取所述对象的位置包括确定用于拾取所述对象的x
‑
y
‑
z抓取位置。11.根据权利要求9所述的方法，其中，识别用于拾取所述对象的位置包括识别用于拾取所述对象的抓取定向，所述抓取定向由从所述相机到所述中心像素的射线方向限定。12.根据权利要求11所述的方法，其中，所述射线方向由针孔相机模型确定。13.根据权利要求11所述的方法，其中，识别用于拾取所述对象的位置包括使用所述抓取位置和所述抓取定向来确定用于拾取所述对象的抓取姿势。14.根据权利要求13所述的方法，其中，所述对象由机器人拾取，并且所述抓取姿势确定机器人末端执行器的姿势。15.根据权利要求1所述的方法，其中，所述多个对象是透明的。16.一种用于使用机器人从多个透明...

【专利技术属性】
技术研发人员：汤特，加藤哲朗，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：