一种基于三维点云的定位抓取系统及其使用方法技术方案

本发明专利技术公开了一种基于三维点云的定位抓取系统及其使用方法，定位抓取系统包括：图像采集单元：用于捕获抓取对象表面成像图像并将所述表面成像图像传送至上位机控制单元；上位机控制单元：用于接收所述表面成像图像并生成包含定位信息的三维点云，向所述图像采集单元和抓取单元提供指令；抓取单元：用于接收所述指令，根据所述指令抓取对象；定位抓取系统的使用方法包括自动控制和人工控制两种操控模式。本发明专利技术提供的定位抓取系统点云算法简单、操作方式灵活，适用性高，且设置了安全限位和滤波程序，抗干扰性强，避免抓取过程产生碰撞。

A Location and Grabbing System Based on Three-Dimensional Point Cloud and Its Application

The invention discloses a positioning and grabbing system based on three-dimensional point cloud and its use method. The positioning and grabbing system includes: an image acquisition unit for capturing and transmitting the surface imaging image of the grabbing object to the upper computer control unit; and a upper computer control unit for receiving the surface imaging image and generating a three-dimensional point cloud containing positioning information to the upper computer control unit. The image acquisition unit and the grabbing unit provide instructions; the grabbing unit is used to receive the instructions and grab objects according to the instructions; and the method of using the positioning and grabbing system includes automatic control and manual control. The point cloud algorithm of the positioning and grabbing system provided by the invention is simple, the operation mode is flexible, the applicability is high, and the safety limit and filtering program are set up, which has strong anti-interference and avoids collision in the grabbing process.

【技术实现步骤摘要】
一种基于三维点云的定位抓取系统及其使用方法
本专利技术涉及智能控制
，具体涉及一种基于三维点云的定位抓取系统及其使用方法。
技术介绍
随着人工智能技术的发展，在工业自动化生产中，越来越多的使用机械手或机器人进行工件的移动和取放，对机械手和机器人的智能化控制中，抓取对象定位是至关重要的一环，现有技术中基于机器视觉定位的抓取系统，一般是通过采集待抓取物体的二维图像后进行图像特征提取分析进行目标识别与定位，这种方法算法较为复杂，运算时间较长，且这种定位方法对于待抓取物体的表面形状较为敏感，对于不同形状的待抓取物体需要运行不同算法进行特征提取，严重影响了生产效率。在工业生产中，抓取对象随意堆放且无需顺序抓取时，现有技术的视觉定位方法存在运算复杂，应用要求高的问题。
技术实现思路
本专利技术为克服现有技术中存在的运算复杂、应用要求高的问题，提供了一种基于三维点云的定位抓取系统及其使用方法，能够实现对待测物体的安全定位，且提供了自动控制和人工控制两种操控模式，实现定位抓取系统的高智能化和人工控制的灵活定位抓取。本专利技术提供一种基于三维点云的定位抓取系统，包括：图像采集单元：用于捕获抓取对象表面成像图像并将所述表面成像图像传送至上位机控制单元；上位机控制单元：用于接收所述表面成像图像并生成包含定位信息的三维点云，向所述图像采集单元和抓取单元提供指令；抓取单元：用于接收所述指令，根据所述指令抓取所述抓取对象。本专利技术提供一种基于三维点云的定位抓取系统，作为优选方式，图像采集单元包括激光发生器和相对激光发生器位置固定的相机，激光发生器发射激光照射在抓取对象上，相机能采集到当前位置抓取对象一定区间内完整纵向表面成像图像；图像采集单元位于抓取对象纵向边缘一侧开始并沿抓取对象横向边缘水平移动，同时图像采集单元以固定频率连续拍摄，直至完成对抓取对象完整的表面成像图像采集。确定激光发生器和相机的相对位置可以通过相机在不同拍照高度捕获的照射在标定板的激光点成像，根据几何关系带入两次拍照高度，计算出常量α和b值，即可确定相机和激光发生器的相对位置，其中：θ为当前点与成像点连线与激光线的夹角；α为相机镜头轴线与激光线的夹角；b为相机镜头中心到激光线的水平距离；a为相机芯片的1/2尺寸；f为相机的焦距；h为拍照高度；x为成像点到芯片边界的距离；u为芯片边界长度；t为成像点到图像边界的像素数；z为图像中长度方向总像素数。本专利技术提供一种基于三维点云的定位抓取系统，作为优选方式，上位机控制单元包括PC端后台程序和人机交互界面，预先存储有标定板成像图像和标定数据的后台程序用于接收并存储表面成像图像，将表面成像图像运行预先编制好的处理程序后生成三维点云并显示在人机交互界面上；人机交互界面基于LabVIEW运行，包括主界面和标定界面，主界面用于向图像采集单元发送拍照指令，同时显示操控模式、三维点云图像和三维点云当前最高点坐标，并将当前最高点坐标发送给抓取单元，标定界面用于对标定板成像图像进行标定和详细参数设置，选择不同标定板成像图像标定影响三维点云与现实坐标系的转换关系；人机交互界面基于LabVIEW开发运行，简化点云算法，提高三维点云定位的运算效率，更方便进行点云图像的重新标定和参数设置。本专利技术提供一种基于三维点云的定位抓取系统，作为优选方式，详细参数设置包括图像采集单元拍摄频率、三维点云安全限位坐标范围、三维点云滤波条件；通过重新调整参数设置，本专利技术提供的定位抓取系统可以适用于不同形状尺寸的抓取对象，并调整点云安全范围及滤波条件，提高点云数据精确度，避免发生碰撞故障。本专利技术提供一种基于三维点云的定位抓取系统，作为优选方式，抓取单元至少包括机械臂和为机械臂提供动力的驱动部件；本专利技术提供的定位抓取系统中，抓取单元既可以为机械臂本体，也可以是机器人，图像采集单元可以与抓取单元分类，也可以共同安装于机器人上。本专利技术提供一种基于三维点云的定位抓取系统，作为优选方式，上位机控制单元与图像采集单元和抓取单元通过TCP/IP协议相互连接并完成图像和信号传输。本专利技术提供一种基于三维点云的定位抓取系统使用方法，作为优选方式，定位抓取系统的使用方法包括自动控制和人工控制两种方式。两种操控模式既能保证定位抓取系统的高智能化，又能通过人工操控的方式，精确点云定位，灵活选择抓取对象。本专利技术提供一种基于三维点云的定位抓取系统使用方法，作为优选方式，自动控制使用方法包括以下步骤：S1、将图像采集单元和抓取单元设置于抓取对象纵向边缘一侧，打开上位机控制单元，调整至自动控制模式，并将上位机控制单元与图像采集单元和抓取单元连接；S2、抓取单元向上位机控制单元发送拍照命令，上位机控制单元向图像采集单元发送拍照指令，图像采集单元开始采集抓取对象表面成像图像，并将表面成像图像发送至上位机控制单元，主界面上显示三维点云图像及当前位置最高点坐标，将最高点坐标发送给抓取单元，抓取单元移动到最高点坐标所示位置完成抓取；若不采用表面成像图像则再次发送拍照命令，图像采集单元重新采集抓取对象表面成像图像；S3、完成一次抓取后，图像采集单元再次采集剩余抓取对象表面成像图像，重复步骤S2，直至无抓取对象可选择。本专利技术提供一种基于三维点云的定位抓取系统使用方法，作为优选方式，人工控制使用方法包括以下步骤：S1、将图像采集单元和抓取单元设置于抓取对象纵向边缘一侧，打开上位机控制单元，调整至人工控制模式，并将上位机控制单元与图像采集单元和抓取单元连接；S2、人工在主界面上发送拍照命令，图像采集单元开始采集抓取对象表面成像图像，并将表面成像图像发送至上位机控制单元，采用数据，则表面成像图像经预先编制好的处理程序处理后，主界面上显示三维点云图像及当前位置最高点坐标；若不采用表面成像图像则再次发送拍照命令，图像采集单元重新采集抓取对象表面成像图像；S3、打开标定界面，重现选择标定板成像图像进行标定，并重新调整详细参数设置，参数调整完成后，重新发送拍照命令，重复步骤S2；S4、将当前最高点坐标送给抓取单元，抓取单元移动到最高点坐标所示位置完成抓取；S5、完成一次抓取后，再次发送拍照命令，图像采集单元再次采集剩余抓取对象表面成像图像，重复步骤S2至S4，直至无抓取对象可选择。本专利技术提供一种基于三维点云的定位抓取系统，作为优选方式，表面成像图像处理程序包括以下步骤：S1、图像畸变矫正：将图像采集单元捕获的畸变标定板成像图像输入LabVIEW进行畸变矫正，生成畸变矫正关系，根据畸变矫正关系编制畸变矫正程序；畸变矫正关系如下：其中：m为矫正前像素点所在行数；n为矫正前像素点所在行列数；m矫为矫正后像素点所在行数；n矫为矫正后像素点所在列数；km为第m行像素的矫正系数；kn为第n列像素的矫正系数；S2、三维点云定位：以图像采集单元所在平面的抓取对象中心位置为现实坐标系原点，以坐标系原点指向待抓取对象为Z向，以图像采集单元移动拍摄方向为X向，以坐标系原点指向图像采集单元方向为Y向建立现实坐标系，表面成像图像按拍照顺序合成可获得M行N列的二维矩阵A，根据二维矩阵A中第m行n列点与现实坐标的映射关系编制三维点云定位程序；二维矩阵A中第m行n列点在现实坐标系中具有如下表示：其中：amn为二维矩阵A第m行n列的高度值；X为起拍点到结束本文档来自技高网...

【技术保护点】
1.一种基于三维点云的定位抓取系统，其特征在于：包括：图像采集单元：用于捕获抓取对象表面成像图像并将所述表面成像图像传送至上位机控制单元；上位机控制单元：用于接收所述表面成像图像并生成包含定位信息的三维点云，向所述图像采集单元和抓取单元提供指令；抓取单元：用于接收所述指令，根据所述指令抓取所述抓取对象。

【技术特征摘要】
1.一种基于三维点云的定位抓取系统，其特征在于：包括：图像采集单元：用于捕获抓取对象表面成像图像并将所述表面成像图像传送至上位机控制单元；上位机控制单元：用于接收所述表面成像图像并生成包含定位信息的三维点云，向所述图像采集单元和抓取单元提供指令；抓取单元：用于接收所述指令，根据所述指令抓取所述抓取对象。2.根据权利要求1所述的一种基于三维点云的定位抓取系统，其特征在于：所述图像采集单元包括激光发生器和相对所述激光发生器位置固定的相机，所述激光发生器发射激光照射在所述抓取对象上，所述相机能采集到当前位置所述抓取对象一定区间内完整纵向表面成像图像；所述图像采集单元位于所述抓取对象纵向边缘一侧开始并沿所述抓取对象横向边缘水平移动，同时所述图像采集单元以固定频率连续拍摄，直至完成对所述抓取对象完整的所述表面成像图像采集。3.根据权利要求1所述的一种基于三维点云的定位抓取系统，其特征在于：所述上位机控制单元包括PC端的后台程序和人机交互界面，预先存储有标定数据的所述后台程序用于接收并存储所述表面成像图像，将所述表面成像图像运行预先编制好的处理程序后生成所述三维点云并显示在所述人机交互界面上；所述人机交互界面基于LabVIEW运行，包括主界面和标定界面，所述主界面用于向所述图像采集单元发送拍照指令，同时显示操控模式、所述三维点云图像和所述三维点云当前最高点坐标，并将所述当前最高点坐标发送给所述抓取单元，所述标定界面用于对所述标定板成像图像进行标定和详细参数设置，选择不同所述标定板成像图像标定影响所述三维点云与现实坐标系的转换关系。4.根据权利要求3所述的一种基于三维点云的定位抓取系统，其特征在于：所述详细参数设置包括所述图像采集单元拍摄频率、所述三维点云安全限位坐标范围、所述三维点云滤波条件。5.根据权利要求1所述的一种基于三维点云的定位抓取系统，其特征在于：所述抓取单元至少包括机械臂和为所述机械臂提供动力的驱动部件。6.根据权利要求1～5其中任意一项所述的一种基于三维点云的定位抓取系统，其特征在于：所述上位机控制单元与所述图像采集单元和所述抓取单元通过TCP/IP协议相互连接并完成图像和信号传输。7.一种基于三维点云的定位抓取系统的使用方法，其特征在于：所述定位抓取系统的使用方法包括自动控制和人工控制两种方式。8.根据权利要求7所述的一种基于三维点云的定位抓取系统的使用方法，其特征在于：所述自动控制使用方法包括以下步骤：S1、将所述图像采集单元和所述抓取单元设置于所述抓取对象纵向边缘一侧，打开所述上位机控制单元，调整至自动控制模式，并将所述上位机控制单元与所述图像采集单元和所述抓取单元连接；S2、所述抓取单元向上位机控制单元发送拍照命令，所述上位机控制单元向图像采集单元发送拍照指令，所述图像采集单元开始采集所述抓取对象表面成像图像，并将所述表面成像图像发送至所述上位机控制单元，所述主界面上显示所述三维点云图像及当前位置最高点坐标，将所述最高点坐标发送给所述抓取单元，所述抓取单元移动到所述最高点坐标所示位置完成抓取；若不采用所述表面成像图像则再次发送拍照命令，所述图像采集单元重新采集所述抓取对象表面成像图像；S3、完成一次抓取后，所述图像采集单元再次采集剩余所述抓取对象表面成像图像，重复所述步骤S2，直至无所述抓取对象可选择。9.根据权利要求7所述的一种基于三维点云的定位抓取系统的使用方法，其特征在于：所述人工控制使用方法包括以下步骤：S1、将所述图像采集单元和所述抓取单元设置于所...

【专利技术属性】
技术研发人员：靳开轩，郭强，
申请(专利权)人：宁夏巨能机器人股份有限公司，
类型：发明
国别省市：宁夏,64