一种基于3D视觉的自动穿鞋带方法及系统技术方案

本发明专利技术提供了一种基于3D视觉的自动穿鞋带方法及系统，属于智能制造技术领域，方法利用3D相机采集和构建待穿鞋孔目标工件3D点云，进行点云映射以及机械手眼坐标映射，并提出了一种精确的鞋孔3D位置提取方法，根据提取得到的鞋孔位置，规划穿孔路径规划，将路径发送给机器人；机器机械手按照上述得到的穿孔路径执行穿鞋带动作，将机械手臂携带的鞋带穿设于一鞋子的多个鞋孔中。实现了智能化的鞋带穿孔，大幅度提高穿设鞋带的效率。大幅度提高穿设鞋带的效率。大幅度提高穿设鞋带的效率。

【技术实现步骤摘要】
一种基于3D视觉的自动穿鞋带方法及系统


[0001]本专利技术属于智能制造
，具体涉及一种基于3D视觉的自动穿鞋带方法及系统。

技术介绍

[0002]鞋子在制造完成且欲包装出厂之前，必须先将一鞋带穿设于鞋子的鞋孔中。此工序在以往都是以人工来执行，然而人工执行的缺点在于效率低以致于影响产能表现。为了解决人工穿鞋带存在的问题，目前已有一种自动穿鞋带的方法，该方法是借由一接触式三维扫描装置触碰一鞋子的多个鞋孔，以量测所述鞋孔的坐标位置，并将所述坐标位置传输至一主机以供该主机根据所述坐标位置控制一机械手臂将鞋带穿设于所述鞋孔中。虽然上述自动穿设鞋带方法的效率以及产能相较于以往以人工穿设鞋带的方式大幅提高，但是有些鞋子的表面通常是以较柔软的材质所制成，在量测鞋孔的坐标位置时，鞋子的表面会因扫描装置的探测针头的触碰而造成形变。而待测物的形变会导致扫描装置所量测到的坐标位置产生误差，需反复扫描鞋子以确定鞋孔位置，导致作业时间增加。因此，需要进一步提升检测鞋孔坐标位置准确性，以提高自动穿设鞋带的效率是此
的相关技术人员所待克服的难题。

技术实现思路

[0003]本专利技术的目的在于解决上述现有技术中存在的难题，提供一种基于3D视觉的自动穿鞋带方法及系统。本专利技术是通过以下技术方案实现的：
[0004]一种基于3D视觉的自动穿鞋带方法，具体包含如下步骤：
[0005]步骤1，将待穿鞋孔的鞋上料到工位；
[0006]步骤2，对双目3D相机进行标定后对上述工位上目标进行图像采集，并对采集得到的图像执行畸变矫正预处理；定义双目3D相机其中一个相机为1号相机，另一个相机为2号相机；
[0007]步骤3，对两个3D相机的3D重建得到鞋目标工件的3D点云；具体包含：
[0008]步骤3.1目标工件有效区域提取，为减小计算量，在结构光解码与后续点云构建过程只考虑工件有效区域。对图像中的鞋子目标工件所在区域进行提取，剔除背景；
[0009]步骤3.2基于绝对相位的立体匹配，鞋子目标工件图像有效区域的像素经过解码后，依据图像像素的编码值，左相机图像的每个像素点找到右相机中与其相对应的点，作为视差计算与视差细化的输入；
[0010]视差计算：根据双目相机图像的对应点对坐标，计算初始视差值；根据初始视差值与其邻域信息，拟合二次曲线，计算亚像素视差；
[0011]步骤3.3像素与点云映射：将视差信息映射到深度信息，根据深度信息计算得到像素对应的空间坐标，多个三维空间点构成目标工件的3D点云集合。
[0012]步骤4，将3D点云对齐映射到1号相机；
[0013]得到的双目3D点云由于均是当前拍摄相机坐标系下得到的，因而3D点云数据是分散的，不是一个整体；将2号相机的数据变换映射至1号相机的坐标下，在一个坐标系下形成连续完整的3D点云数据；
[0014]步骤5：对采用的1号相机和机器手臂进行手眼标定；根据使用的1号相机与机械臂是相对分离的状态，通过设置标定板，利用机械手坐标系、相机坐标系、标定物坐标系确定相机得到的像素坐标系和空间机械手坐标系的坐标转化关系；该手眼标定为现有技术，本申请不做赘述。
[0015]步骤6：根据相机1拍摄得到的点云图像进行鞋孔3D位置提取；
[0016]步骤6.1利用1号相机得到得到的二维图像进行圆孔定位，对二维图像进行二值化处理得到鞋面二值图，之后经过Canny算子进行轮廓提取；
[0017]步骤6.2对提取得到的多个轮廓计算轮廓包含的面积S1，按照面积S1计算理论周长L1,计算轮廓的实际周长为L2，如果该轮廓为圆形，则L1与L2的偏差小于等于一定阈值M，若该轮廓为非圆形，则L1与L2的偏差大于一定阈值M。
[0018]在判断得到鞋孔圆形轮廓后，将属于同一区域且鞋孔连分别处于两排的多个圆形作为最终得到的鞋孔，其他区域的圆形作为误检测鞋孔进行剔除；将二维上的圆孔区域映射到对应的3D点云区域上，则提取出了鞋孔的3D位置；
[0019]进一步，判断如果利用二维图像无法得到有效的鞋孔位置时，如出现鞋孔位置偏差很大，分散在多个区域的情况下，可以直接在3D点云上做处理。首先预估鞋孔在3D点云中的位置，然后单独取出此部分点云。将此部分点云拟合成一个平面，再将点云映射到平面上成二维点云，再将映射后的二维点云网格化成二维图像，二维图像上有数据的位置为黑色(像素值为0)，没数据的位置为白色(像素值为255)。寻找二维图像中的白色封闭区域，因为鞋孔的中心数据是空的(即二维图像上体现为白色)，而其余位置都有数据(为黑色)。将属于同一区域且鞋孔连分别处于两排的多个圆形作为最终得到的鞋孔，其他区域的圆形作为误检测鞋孔进行剔除，得到提取出了鞋孔的3D位置。
[0020]步骤7：机器人机械手执行和完成穿鞋带，根据提取得到的鞋孔位置，规划穿孔路径规划，并将路径发送给机器人；机器机械手按照上述得到的穿孔路径执行穿鞋带动作，将机械手臂携带的鞋带穿设于一鞋子的多个鞋孔中。
[0021]与现有技术相比，本专利技术的有益效果是：本申请创新性提出基于人工智能的自动穿鞋带方法，方法利用3D相机采集和构建待穿鞋孔目标工件3D点云，进行点云映射以及机械手眼坐标映射，并提出了一种精确的鞋孔3D位置提取方法，根据提取得到的鞋孔位置，规划穿孔路径规划，将路径发送给机器人；机器机械手按照上述得到的穿孔路径执行穿鞋带动作，将机械手臂携带的鞋带穿设于一鞋子的多个鞋孔中。实现了智能化的鞋带穿孔，大幅度提高穿设鞋带的效率。
附图说明
[0022]图1本申请基于3D视觉的自动穿鞋带系统结构图；
[0023]图2本申请基于3D视觉的自动穿鞋带方法流程图；
具体实施方式
[0024]下面结合附图对本专利技术作进一步详细描述：
[0025]图1中自动穿鞋带系统中至少包含如下部件：穿鞋带工装(1)、机器手臂(2)、包含1号相机的3D视觉系统(3)以及包含2号相机的3D视觉系(4)，该系统用于执行以下方法：
[0026]步骤1，待穿鞋孔的鞋上料到工位；具体可通过
[0027]步骤2，利用双目3D相机进行标定，对上述工位上目标进行图像采集，并对采集得到的图像执行畸变矫正预处理；定义双目其中一个相机为1号相机，另一个相机为2号相机；
[0028]步骤3，对两个3D相机的3D重建得到鞋目标工件的3D点云；具体包含,
[0029]步骤3.1目标工件有效区域提取，为减小计算量，在结构光解码与后续点云构建过程只考虑工件有效区域。对图像中的鞋子目标工件所在区域进行提取，剔除背景；
[0030]步骤3.2基于绝对相位的立体匹配，鞋子目标工件图像有效区域的像素经过解码后，依据图像像素的编码值，左相机图像的每个像素点找到右相机中与其相对应的点，作为视差计算与视差细化的输入；
[0031]视差计算：根据双目相机图像的对应点对坐标，计算初始视差值；根据初始视差值与其邻域信息，拟合二次曲线，计算亚像素视差；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于3D视觉的自动穿鞋带方法，其特征在于包括如下步骤：步骤1，将待穿鞋孔的鞋上料到工位；步骤2，对双目3D相机进行标定后对上述工位上的目标进行图像采集，并对采集得到的图像执行畸变矫正预处理；双目3D相机其中一个相机为1号相机，另一个相机为2号相机；步骤3，对两个3D相机的3D重建得到鞋目标工件的3D点云；步骤4，将3D点云对齐映射到1号相机；步骤5：对采用的1号相机和机器手臂进行手眼标定；步骤6：根据相机1拍摄得到的点云图像进行鞋孔3D位置提取；步骤7：机器人机械手执行和完成穿鞋带，根据提取得到的鞋孔位置，规划穿孔路径规划，并将路径发送给机器人；机器机械手按照上述得到的穿孔路径执行穿鞋带动作，将机械手臂携带的鞋带穿设于一鞋子的多个鞋孔中。2.根据权利要求1所述的基于3D视觉的自动穿鞋带方法，其特征在于：所述步骤3具体包含：步骤3.1目标工件有效区域提取，对图像中的鞋子目标工件所在区域进行提取，剔除背景；步骤3.2基于绝对相位的立体匹配以及视差计算；步骤3.3像素与点云映射：将视差信息映射到深度信息，根据深度信息计算得到像素对应的空间坐标，多个三维空间点构成目标工件的3D点云集合。3.根据权利要求1所述的基于3D视觉的自动穿鞋带方法，其特征在于：所述步骤6具体包含：步骤6.1，利用1号相机得到得到的二维图像进行圆孔定位，对二维图像进行二值化处理得到鞋面二值图，之后经过Canny算子进行轮廓提取；步骤6.2，对提取得到的多个轮廓计算轮廓包含的面积S1，按照面积S1计算理论周长L1,计算轮廓的实际周长为L2，如果该轮廓为圆形，则L1与L2的偏差小于等于一定阈值M，若该轮廓为非圆形，则L1与L2的偏差大于一定阈值M。在判断得到鞋孔圆形轮廓后，将属于同一区域且鞋孔连分别处于两排的多个圆形作为最终得到的鞋孔，其他区域的圆形作为误检测鞋孔进行剔除；将二维上的圆孔区域映射到对应的3D点云区域上，则提取...

【专利技术属性】
技术研发人员：邹洪洲，汪小星，魏从文，
申请(专利权)人：易麦斯智能科技无锡有限公司，
类型：发明
国别省市：