基于视觉引导的机械臂定位方法及装置制造方法及图纸

本发明专利技术适用于计算机视觉技术领域，提供了一种基于视觉引导的机械臂定位方法及装置。该方法包括：通过图像采集设备采集镂空注塑件不同角度的完整样本；对采集的样本进行预处理，并获取多组镂空注塑件样本的物理中心在固定棋盘格坐标系中的坐标信息；通过埃尔米特插值算法对多组坐标信息进行拟合，得到图像采集设备的坐标系与固定棋盘格坐标系之间的关系；基于所述关系，模拟移动机械臂抓取镂空注塑件的场景，并估算机械臂抓取到镂空注塑件的平移和旋转矩阵，建立机械臂与镂空注塑件样本所在的固定棋盘格坐标系之间的空间矩阵关系，以及图像采集设备的坐标系与机械臂的坐标系的对应关系。通过本发明专利技术可简化计算过程并提高机械臂抓取目标物体的精度。

【技术实现步骤摘要】

本专利技术属于计算机视觉及工业自动化
，尤其涉及基于视觉引导的机械臂定位方法及装置。
技术介绍
近年来，基于视觉引导的自动化无人生产线得到了越来越广泛的关注，其中基于视觉引导的机械臂成为自动化生产线上必不可少的环节。为了更精确的完成自动化生产线任务和减少人工操作，提高生产效率，需要解决视觉系统与机械臂之间的匹配问题。现有解决上述匹配问题一般是采用相机标定方法：即通过标定获取相机的外参，由相机的外参获知机械臂与所述外参之间的关系，从而建立起视觉系统与机械臂之间的关系，并将所述关系反馈给机械臂，引导机械臂在实际的物理空间中抓取目标物体。然而，由于相机标定获取的外参容易存在误差，从而会很大程度上影响视觉系统与机械臂之间的关系，进而影响机械臂抓取目标物体的精度。
技术实现思路
鉴于此，本专利技术实施例提供一种基于视觉引导的机械臂定位方法及系统，以提高机械臂抓取目标物体的精度。第一方面，本专利技术实施例提供了一种基于视觉引导的机械臂定位方法，所述方法包括：通过图像采集设备采集镂空注塑件不同角度的完整样本；对采集的镂空注塑件样本进行预处理，并获取多组预处理后的镂空注塑件样本的物理中心在预先建立的固定棋盘格坐标系中的坐标信息；通过埃尔米特插值算法对获取的所述多组坐标信息进行拟合，得到图像采集设备的坐标系与固定棋盘格坐标系之间的关系；基于所述图像采集设备的坐标系与固定棋盘格坐标系之间的关系，模拟移动机械臂抓取所述镂空注塑件的场景，并估算机械臂从初始位置到抓取到所述镂空注塑件的平移和旋转矩阵，建立所述机械臂与镂空注塑件样本所在的固定棋盘格坐标系之间的空间矩阵关系；根据所述机械臂与镂空注塑件样本所在的固定棋盘格坐标系之间的空间矩阵关系，建立所述图像采集设备的坐标系与机械臂的坐标系的对应关系。第二方面，一种基于视觉引导的机械臂定位装置，所述装置包括：样本采集模块，用于通过图像采集设备采集镂空注塑件不同角度的完整样本；预处理模块，用于对采集的镂空注塑件样本进行预处理，并获取多组预处理后的镂空注塑件样本的物理中心在预先建立的固定棋盘格坐标系中的坐标信息；拟合模块，用于通过埃尔米特插值算法对获取的所述多组坐标信息进行拟合，得到图像采集设备的坐标系与固定棋盘格坐标系之间的关系；第一定位模块，用于基于所述图像采集设备的坐标系与固定棋盘格坐标系之间的关系，模拟移动机械臂抓取所述镂空注塑件的场景，并估算机械臂从初始位置到抓取到所述镂空注塑件的平移和旋转矩阵，建立所述机械臂与镂空注塑件样本所在的固定棋盘格坐标系之间的空间矩阵关系；第二定位模块，用于根据所述机械臂与镂空注塑件样本所在的固定棋盘格坐标系之间的空间矩阵关系，建立所述图像采集设备的坐标系与机械臂的坐标系的对应关系。本专利技术实施例与现有技术相比存在的有益效果是：本专利技术实施例通过插值法代替传统相机外参标定的方法，减小了外参标定带来的误差，提高了机械臂抓取目标物体的精度。另外，直接根据机械臂实际抓取的镂空注塑件建立图像采集设备的坐标系与机械臂的坐标系的对应关系，简化了计算过程，具有较强的易用性和实用性。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的基于视觉引导的机械臂定位方法的实现流程示意图；图2是本专利技术实施例提供的镂空注注塑件进行二值化、膨胀腐蚀的效果示例图；图3是本专利技术实施例提供的基于视觉引导的机械臂定位装置的组成结构示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透切理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。请参阅图1，图1示出了本专利技术实施例提供的基于视觉引导的机械臂定位方法的实现流程，该方法过程详述如下：步骤S101，通过图像采集设备采集镂空注塑件不同角度的完整样本。在本实施例中，所述图像采集设备包括但不限于摄像头等。本实施例通过所述图像采集设备采集镂空注塑件不同角度的完整样本，从而充分获取所述镂空注塑件的空间特征信息。采集到的图像不能够直接用于数据处理，需要先通过预先建立的固定棋盘格进行图像采集设备内参标定，并进行图像采集设备矫正，从而保证用于计算的图片不发生畸变。其中，所述畸变主要包括：径向畸变、切向畸变，其中径向畸变产生原因是光线在远离透镜中心的地方比靠近中心的地方更加弯曲，径向畸变主要包含桶形畸变和枕形畸变两种；切向畸变产生的原因是透镜不完全平行于图像平面，切向畸变经常发生于成像仪被粘贴在图像采集设备的时候。畸变矫正，首先应该知道畸变系数，然后做与畸变相反的变换，消除畸变。示例性的，本实施例采用张正友标定法进行畸变矫正。需要说明的是，图像采集设备在采集图像前，在棋盘格的物理空间中，以其左上角的第一个十字交叉点为原点，建立棋盘格坐标系。在步骤S102中，对采集的镂空注塑件样本进行预处理，并获取多组预处理后的镂空注塑件样本的物理中心在预先建立的固定棋盘格坐标系中的坐标信息。在本实施例中，所述预处理包括但不限于颜色空间转换、二值化、腐蚀和/或膨胀处理。本实施例为了简化过程，需要对镂空注塑件的样本图片进行二值化处理。由于二值化处理后的图片的噪点较多，还需要进行腐蚀和膨胀处理后得到最终的二值化图片，如图2所示。在步骤S103中，通过埃尔米特插值算法对获取的所述多组坐标信息进行拟合，得到图像采集设备的坐标系与固定棋盘格坐标系之间的关系。在本实施例中，在对采集的镂空注塑件样本进行预处理后，获取几组不同位置的镂空注塑件样本的物理中心在预先建立的固定棋盘格坐标系中的坐标信息，通过埃尔米特插值算法对获取的所述多组坐标信息进行拟合后，得到图像采集设备的坐标系与固定棋盘格坐标系之间的关系。其中，固定棋盘格坐标系需要映射到图像采集设备的坐标系中，本实施例采用哈里斯角点检测，自动检测固定棋盘格黑白格十字交叉点本文档来自技高网...

【技术保护点】
一种基于视觉引导的机械臂定位方法，其特征在于，包括：通过图像采集设备采集镂空注塑件不同角度的完整样本；对采集的镂空注塑件样本进行预处理，并获取多组预处理后的镂空注塑件样本的物理中心在预先建立的固定棋盘格坐标系中的坐标信息；通过埃尔米特插值算法对获取的所述多组坐标信息进行拟合，得到图像采集设备的坐标系与固定棋盘格坐标系之间的关系；基于所述图像采集设备的坐标系与固定棋盘格坐标系之间的关系，模拟移动机械臂抓取所述镂空注塑件的场景，并估算机械臂从初始位置到抓取到所述镂空注塑件的平移和旋转矩阵，建立所述机械臂与镂空注塑件样本所在的固定棋盘格坐标系之间的空间矩阵关系；根据所述机械臂与镂空注塑件样本所在的固定棋盘格坐标系之间的空间矩阵关系，建立所述图像采集设备的坐标系与机械臂的坐标系的对应关系。

【技术特征摘要】
1.一种基于视觉引导的机械臂定位方法，其特征在于，包括：
通过图像采集设备采集镂空注塑件不同角度的完整样本；
对采集的镂空注塑件样本进行预处理，并获取多组预处理后的镂空注塑件
样本的物理中心在预先建立的固定棋盘格坐标系中的坐标信息；
通过埃尔米特插值算法对获取的所述多组坐标信息进行拟合，得到图像采
集设备的坐标系与固定棋盘格坐标系之间的关系；
基于所述图像采集设备的坐标系与固定棋盘格坐标系之间的关系，模拟移
动机械臂抓取所述镂空注塑件的场景，并估算机械臂从初始位置到抓取到所述
镂空注塑件的平移和旋转矩阵，建立所述机械臂与镂空注塑件样本所在的固定
棋盘格坐标系之间的空间矩阵关系；
根据所述机械臂与镂空注塑件样本所在的固定棋盘格坐标系之间的空间矩
阵关系，建立所述图像采集设备的坐标系与机械臂的坐标系的对应关系。
2.如权利要求1所述的基于视觉引导的机械臂定位方法，其特征在于，所
述对采集的镂空注塑件样本进行预处理包括：
对采集的镂空注塑件样本进行颜色空间转换、二值化、腐蚀和/或膨胀处理。
3.如权利要求1所述的基于视觉引导的机械臂定位方法，其特征在于，所
述建立所述机械臂与镂空注塑件样本所在的固定棋盘格坐标系之间的空间矩阵
关系具体为：
通过最小二乘法建立所述机械臂与镂空注塑件样本所在的固定棋盘格坐标
系之间的空间矩阵关系。
4.如权利要求1所述的基于视觉引导的机械臂定位方法，其特征在于，所
述估算机械臂从初始位置到抓取到所述镂空注塑件的平移和旋转矩阵具体如
下：
uv1=RMXwYw1,R=cosθ,-sinθ,u0xsinθ,cosθ,v0y0,0,1]]>其中，u表示图像采集设备距离镂空注塑件的物距，v表示像距，[u,v,1]表示
像点的图像像素坐标系的齐次坐标，Xw、Yw表示世界坐标系的坐标，M表示机
械臂的比例因子，R表示机械臂与固定棋盘格坐标系的旋转矩阵，θ表示机械臂
坐标系与固定棋盘格坐标系的夹角，(u0x，v0y)表示图像采集设备光学中心在CCD
成像平面上的投影位置。
5.一种基于视觉引...

【专利技术属性】
技术研发人员：吴新宇，冯伟，陈利新，郭会文，孙健铨，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东;44