面向工业机器人的基于机器视觉和陀螺仪的示教方法及装置制造方法及图纸

本发明专利技术公开了一种面向工业机器人的基于机器视觉和陀螺仪的示教方法和装置。通过获取工业机器人末端执行器上背景颜色不同的深红色小球中心的陀螺仪的姿态角度数值序列{θRt}，{θPt}，{θYt}，以及深红色小球的坐标序列{(Xtc,Ytc,Ztc)}，并通过最小二乘法来对所获取的序列进行曲线拟合，并将拟合曲线的系数作为示教的动轨迹以及姿态轨迹的参数结果，从而避免单纯基于图像的解析算法的精度不高，计算复杂而且计算量大的问题，并且大大降低计算复杂度的同时也减少计算量，达到实时处理，提高系统的鲁棒性。

Teaching method and device for industrial robot based on machine vision and gyroscope

The invention discloses a teaching method and a device for an industrial robot based on machine vision and gyroscope. The attitude angle of the actuator to obtain a different background color of deep red ball center industrial robot gyro numerical sequence {theta theta {{Rt}, Pt}, Yt} and theta, deep red ball coordinate sequence {(Xtc, Ytc, Ztc)}, and the least square method to acquired sequence curve fitting, and the coefficient of curve fitting as teaching dynamic trajectory and attitude trajectory parameters results, so as to avoid the simple analysis based on the algorithm of image accuracy and computational complexity and huge computation, and greatly reduce the computational complexity but also reduce the amount of computation, to achieve real-time processing, improve the robustness of the system the.

【技术实现步骤摘要】
面向工业机器人的基于机器视觉和陀螺仪的示教方法及装置
本专利技术涉及工业机器人示教领域，特别涉及面向工业机器人的基于机器视觉和陀螺仪的示教方法及装置。
技术介绍
随着机器人技术的快速发展，机器人的机械结构变得越来越小型化、轻巧化以及柔性化，并且机器人的驱动系统控制系统以及编程语言也在不断优化，因此机器人越来越稳定性可靠、工作效率以及工艺精度也越来越高。此外，机器人在危险度高、环境恶劣的工作环境中表现出越来越不可代替的优越性。特别是机器人能够在打磨、焊接、装配、喷涂釉漆等传统的劳动密集型的工作环境之中长时间工作，并且无惧恶劣环境，所以机器人技术的应用对此类产业的转型升级发挥了关键作用。在工业应用领域，一般采用人工示教的方式使机器人重复再现动作从而完成指定的工作内容。所谓的人工示教的过程是指一种机器人执行通过示教编程存储起来的作业程序使其重复再现示教过程。而所述的示教编程是指由人工导引机器人末端执行器(安装于机器人关节结构末端的夹持器、工具、焊枪、喷枪等)，或由人工操作导引机械模拟装置，或用示教盒来使机器人完成预期的动作并存储为机器人可执行程序段。由于在机器人应用的大多数领域都需要借助人工示教的方式来指导和训练机器人，因此人工示教非常重要，是机器人在工业应用领域的一个关键步骤。一般人工示教是通过示教盒或示教臂方式来实施的，而这些方式的示教在操作上比较复杂，并且相关设备相对来说比较笨重，示教操作麻烦。其次，示教器械只能在有限空间进行示教，不能翻转到其对称面进行示教。最关键的是每一种机器人的机械臂长短不一，因此这些示教并不通用。此外，在示教末端体型大或产品曲面结构复杂(如在马桶等容器内壁喷涂)时，人工示教方式难以实施。另外一种较常用的人工示教方式是拖动柔顺示教。虽然这种示教方便，只需人手拖着末端执行器即可记录机器人移动轨迹，但是此类拖动示教系统复杂、需要高性能的力传感器配合。由于高性能传感器的价格以及整体系统开发成本相对于精度要求不是很高的喷釉、喷漆等喷涂作业而言过于高昂。为了解决上述方式所存在的问题，采用实时视觉位置姿态跟踪方式的示教系统通过采用对输入视频进行图像处理获取指定的定位点的三维坐标，并提取各个关节节点的控制信号从而现实对机器人进行人工示教。但是这种方式所采用的对输入视频的图像处理的计算复杂度高，需要的计算量较大，具有一定的延迟性，很难达到实时姿态跟踪，并且整个系统的鲁棒性容易受到工作环境的各种因素的影响。
技术实现思路
本专利技术的主要目的在于提供一种面向工业机器人的基于机器视觉和陀螺仪的示教方法及装置，旨在解决采用实时视觉位置姿态跟踪方式的示教系统对输入视频的图像处理的计算复杂度高，需要的计算量较大，具有一定的延迟性，很难达到实时姿态跟踪，并且整个系统的鲁棒性容易受到工作环境的各种因素的影响等，现有技术所存在的问题。为实现上述目的，本专利技术提供的一种面向工业机器人的基于机器视觉和陀螺仪的示教方法，包括：步骤S10、依据设定的时间间隔Td从T0时刻至Tf时刻的时间段之内获取：设置在工业机器人末端执行器上深红色小球中心的陀螺仪所采集的RPY姿态角度数值序列{θRt}，{θPt}，{θYt}，作为视频输入的相机所采集的包含所述深红色小球的图像序列{Bt}，与所述图像序列{Bt}对应的深度图像序列{Zt}，所述下标t为采样时间，所述下标R代表Roll轴,所述下标P代表Pitch轴,所述下标Y代表Yaw轴，所述深度图像序列{Zt}的每一幅深度图像Zt的像素值Zt(i,j)为对应所述图像序列{Bt}的图像Bt的像素Bt(i,j)的深度值，所述像素Bt(i,j)为包含RGB三通道灰度值的向量[BRt(i,j),BGt(i,j),BBt(i,j)]，所述BRt(i,j)为R通道的灰度值，所述BGt(i,j)为G通道的灰度值，所述BBt(i,j)为B通道的灰度值，所述下标(i,j)为所述像素Bt(i,j)在所述图像Bt对应像素位置，步骤S20、将所述图像序列{Bt}的每一幅所述图像Bt进行二值化处理，从而获取所述图像Bt内对应深红色小球的连通区域Dt，步骤S30、计算所述连通区域Dt的中心像素的位置(ipt,jpt)，通过公式Xtip＝(ipt-cx+Δx)*Zt(ipt,jpt)/f计算所述深红色小球的表面中心点的X轴坐标值Xtip，通过公式Ytjp＝(jpt-cy+Δy)*Zt(ipt,jpt)/f计算所述深红色小球的表面中心点的Y轴坐标值Ytjp，其中，所述cx和所述cy为所述相机的主点偏移量，所述Δx和所述Δy为径向畸变和切向畸变的补偿量，所述cx和所述cy，所述Δx和所述Δy由张氏标定法标定获得，将所述深红色小球的表面中心点的深度值Zt(ipt,jpt)设置为所述深红色小球的表面中心点的Z轴坐标值，所述f为所述相机的焦距，步骤S40、根据所述深红色小球的表面中心点的所述位置坐标(Xtip,Ytjp，Zt(ipt,jpt))随机选取所述深红色小球表面的不共线的四个点，所述四个点的位置坐标分别为：(Xt1,Yt1,Zt1),(Xt2,Yt2,Zt2),(Xt3,Yt3,Zt3),(Xt4,Yt4,Zt4)，通过克拉默法则求解下述线性方程组，从而获得所述深红色小球的球心坐标(Xtc,Ytc,Ztc),(Xtc-Xt1)2+(Ytc-Yt1)2+(Ztc-Zt1)2＝R2(Xtc-Xt2)2+(Ytc-Yt2)2+(Ztc-Zt2)2＝R2(Xtc-Xt3)2+(Ytc-Yt3)2+(Ztc-Zt3)2＝R2(Xtc-Xt4)2+(Ytc-Yt4)2+(Ztc-Zt4)2＝R2其中，所述R为所述深红色小球的半径，步骤S50、将从所述T0时刻至所述Tf时刻的时间段之内计算所得的所述深红色小球的球心坐标(Xtc,Ytc,Ztc)按所述采样时间t组合为所述深红色小球的球心坐标序列{(Xtc,Ytc,Ztc)}之后，依次采用二次多项式Xc(t)＝a0+a1*t+a2*t2Yc(t)＝b0+b1*t+b2*t2Zc(t)＝c0+c1*t+c2*t2对所述深红色小球的球心坐标序列{(Xtc,Ytc,Ztc)}进行拟合，依次采用三次多项式θR(t)＝d0+d1*t+d2*t2+d3*t3θP(t)＝e0+e1*t+e2*t2+e3*t3θY(t)＝f0+f1*t+f2*t2+f3*t3对所述RPY姿态角度数值序列{θRt}，{θPt}，{θYt}进行拟合。优选地，在所述步骤S10设定的所述时间间隔Td为40ms。优选地，所述步骤S20包括：步骤S21、将所述图像序列{Bt}的每一幅所述图像Bt转换为YUV颜色模式的图像Ct，所述图像Ct之内像素Ct(i,j)为包含YUV三通道灰度值的向量[CYt(i,j),CUt(i,j),CVt(i,j)]，所述CYt(i,j)为Y通道的灰度值,所述CUt(i,j)为U通道的灰度值,所述CVt(i,j)为V通道的灰度值，步骤S22、当判断所述图像Ct的所述V通道的所述灰度值CVt(i,j)大于设定阈值K，设定所述灰度值BRt(i,j)为255，设定所述灰度值BGt(i,j)和所述灰度值BBt(i,j)为0，步骤S23、当判断所述图像Ct的所述V通道的所述灰度值CVt(i,j)不大于所述设本文档来自技高网...

【技术保护点】
一种面向工业机器人的基于机器视觉和陀螺仪的示教方法，其特征在于，包括：步骤S10、依据设定的时间间隔Td从T0时刻至Tf时刻的时间段之内获取：设置在工业机器人末端执行器上深红色小球中心的陀螺仪所采集的RPY姿态角度数值序列{θRt}，{θPt}，{θYt}，作为视频输入的相机所采集的包含所述深红色小球的图像序列{Bt}，与所述图像序列{Bt}对应的深度图像序列{Zt}，所述下标t为采样时间，所述下标R代表Roll轴,所述下标P代表Pitch轴,所述下标Y代表Yaw轴，所述深度图像序列{Zt}的每一幅深度图像Zt的像素值Zt(i,j)为对应所述图像序列{Bt}的图像Bt的像素Bt(i,j)的深度值，所述像素Bt(i,j)为包含RGB三通道灰度值的向量[BRt(i,j),BGt(i,j),BBt(i,j)]，所述BRt(i,j)为R通道的灰度值，所述BGt(i,j)为G通道的灰度值，所述BBt(i,j)为B通道的灰度值，所述下标(i,j)为所述像素Bt(i,j)在所述图像Bt对应像素位置，步骤S20、将所述图像序列{Bt}的每一幅所述图像Bt进行二值化处理，从而获取所述图像Bt内对应深红色小球的连通区域Dt，步骤S30、计算所述连通区域Dt的中心像素的位置(ipt,jpt)，通过公式Xtip＝(ipt‑cx+Δx)*Zt(ipt,jpt)/f计算所述深红色小球的表面中心点的X轴坐标值Xtip，通过公式Ytjp＝(jpt‑cy+Δy)*Zt(ipt,jpt)/f计算所述深红色小球的表面中心点的Y轴坐标值Ytjp，其中，所述cx和所述cy为所述相机的主点偏移量，所述Δx和所述Δy为径向畸变和切向畸变的补偿量，所述cx和所述cy，所述Δx和所述Δy由张氏标定法标定获得，将所述深红色小球的表面中心点的深度值Zt(ipt,jpt)设置为所述深红色小球的表面中心点的Z轴坐标值，所述f为所述相机的焦距，步骤S40、根据所述深红色小球的表面中心点的所述位置坐标(Xtip,Ytjp，Zt(ipt,jpt))随机选取所述深红色小球表面的不共线的四个点，所述四个点的位置坐标分别为：(Xt1,Yt1,Zt1),(Xt2,Yt2,Zt2),(Xt3,Yt3,Zt3),(Xt4,Yt4,Zt4)，通过克拉默法则求解下述线性方程组，从而获得所述深红色小球的球心坐标(Xtc,Ytc,Ztc),(Xtc‑Xt1)...

【技术特征摘要】
1.一种面向工业机器人的基于机器视觉和陀螺仪的示教方法，其特征在于，包括：步骤S10、依据设定的时间间隔Td从T0时刻至Tf时刻的时间段之内获取：设置在工业机器人末端执行器上深红色小球中心的陀螺仪所采集的RPY姿态角度数值序列{θRt}，{θPt}，{θYt}，作为视频输入的相机所采集的包含所述深红色小球的图像序列{Bt}，与所述图像序列{Bt}对应的深度图像序列{Zt}，所述下标t为采样时间，所述下标R代表Roll轴,所述下标P代表Pitch轴,所述下标Y代表Yaw轴，所述深度图像序列{Zt}的每一幅深度图像Zt的像素值Zt(i,j)为对应所述图像序列{Bt}的图像Bt的像素Bt(i,j)的深度值，所述像素Bt(i,j)为包含RGB三通道灰度值的向量[BRt(i,j),BGt(i,j),BBt(i,j)]，所述BRt(i,j)为R通道的灰度值，所述BGt(i,j)为G通道的灰度值，所述BBt(i,j)为B通道的灰度值，所述下标(i,j)为所述像素Bt(i,j)在所述图像Bt对应像素位置，步骤S20、将所述图像序列{Bt}的每一幅所述图像Bt进行二值化处理，从而获取所述图像Bt内对应深红色小球的连通区域Dt，步骤S30、计算所述连通区域Dt的中心像素的位置(ipt,jpt)，通过公式Xtip＝(ipt-cx+Δx)*Zt(ipt,jpt)/f计算所述深红色小球的表面中心点的X轴坐标值Xtip，通过公式Ytjp＝(jpt-cy+Δy)*Zt(ipt,jpt)/f计算所述深红色小球的表面中心点的Y轴坐标值Ytjp，其中，所述cx和所述cy为所述相机的主点偏移量，所述Δx和所述Δy为径向畸变和切向畸变的补偿量，所述cx和所述cy，所述Δx和所述Δy由张氏标定法标定获得，将所述深红色小球的表面中心点的深度值Zt(ipt,jpt)设置为所述深红色小球的表面中心点的Z轴坐标值，所述f为所述相机的焦距，步骤S40、根据所述深红色小球的表面中心点的所述位置坐标(Xtip,Ytjp，Zt(ipt,jpt))随机选取所述深红色小球表面的不共线的四个点，所述四个点的位置坐标分别为：(Xt1,Yt1,Zt1),(Xt2,Yt2,Zt2),(Xt3,Yt3,Zt3),(Xt4,Yt4,Zt4)，通过克拉默法则求解下述线性方程组，从而获得所述深红色小球的球心坐标(Xtc,Ytc,Ztc),(Xtc-Xt1)2+(Ytc-Yt1)2+(Ztc-Zt1)2＝R2(Xtc-Xt2)2+(Ytc-Yt2)2+(Ztc-Zt2)2＝R2(Xtc-Xt3)2+(Ytc-Yt3)2+(Ztc-Zt3)2＝R2(Xtc-Xt4)2+(Ytc-Yt4)2+(Ztc-Zt4)2＝R2其中，所述R为所述深红色小球的半径，步骤S50、将从所述T0时刻至所述Tf时刻的时间段之内计算所得的所述深红色小球的球心坐标(Xtc,Ytc,Ztc)按所述采样时间t组合为所述深红色小球的球心坐标序列{(Xtc,Ytc,Ztc)}之后，依次采用二次多项式Xc(t)＝a0+a1*t+a2*t2Yc(t)＝b0+b1*t+b2*t2Zc(t)＝c0+c1*t+c2*t2对所述深红色小球的球心坐标序列{(Xtc,Ytc,Ztc)}进行拟合，依次采用三次多项式θR(t)＝d0+d1*t+d2*t2+d3*t3θP(t)＝e0+e1*t+e2*t2+e3*t3θY(t)＝f0+f1*t+f2*t2+f3*t3对所述RPY姿态角度数值序列{θRt}，{θPt}，{θYt}进行拟合。2.如权利要求1所述的面向工业机器人的基于机器视觉和陀螺仪的示教方法，其特征在于，在所述步骤S10设定的所述时间间隔Td为40ms。3.如权利要求1或2所述的面向工业机器人的基于机器视觉和陀螺仪的示教方法，其特征在于，所述步骤S20包括：步骤S21、将所述图像序列{Bt}的每一幅所述图像Bt转换为YUV颜色模式的图像Ct，所述图像Ct之内像素Ct(i,j)为包含YUV三通道灰度值的向量[CYt(i,j),CUt(i,j),CVt(i,j)]，所述CYt(i,j)为Y通道的灰度值,所述CUt(i,j)为U通道的灰度值,所述CVt(i,j)为V通道的灰度值，步骤S22、当判断所述图像Ct的所述V通道的所述灰度值CVt(i,j)大于设定阈值K，设定所述灰度值BRt(i,j)为255，设定所述灰度值BGt(i,j)和所述灰度值BBt(i,j)为0，步骤S23、当判断所述图像Ct的所述V通道的所述灰度值CVt(i,j)不大于所述设定阈值K，设定所述灰度值BRt(i,j)为0，设定所述灰度值BGt(i,j)和所述灰度值BBt(i,j)为0，步骤S24、将全部所述灰度值BRt(i,j)为255的像素归入所述深红色小球的连通区域Dt。4.如权利要求3所述的面向工业机器人的基于机器视觉和陀螺仪的示教方法，其特征在于，在所述步骤S20设定的所述阈值K为80。5.如权利要求1或2所述的面向工业机器人的基于机器视觉和陀螺仪的示教方法，其特征在于，在所述步骤S50所进行的所述拟合方法是最小二乘法。6.一种面向工业机器人的基于机器视觉和陀螺仪...

【专利技术属性】
技术研发人员：陈新度，罗坚铭，吴磊，熊勋，李延年，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44