一种基于视觉重叠运算的动态路径生成系统及其生成方法技术方案

本发明专利技术公开了一种基于视觉重叠运算的动态路径生成系统及其生成方法，涉及动态视觉技术领域，其技术方案要点是：一种基于视觉重叠运算的动态路径生成系统，包括工作台和设置在工作台上的六轴机械手，六轴机械手的输出端固定有悬臂，悬臂上设置有2D彩色相机、3D双目立体相机和针头模块，还包括可通讯连接于六轴机械手、2D彩色相机和3D双目立体相机的计算机，其包括以下步骤：A、手眼标定工作坐标；B、2D边缘识别；D、创建点云；E、拟合图像；F、运动轨迹校准；G、六轴机械手运动路径的生成。本发明专利技术达到动态匹配的运动轨迹效果,克服了运动路径因产品外观扭曲与变形所造成点胶制程良品率不高的问题。的问题。的问题。

【技术实现步骤摘要】
一种基于视觉重叠运算的动态路径生成系统及其生成方法


[0001]本专利技术涉及动态视觉
，更具体地说，它涉及一种基于视觉重叠运算的动态路径生成系统及其生成方法。

技术介绍

[0002]目前，在精密穿戴式装置如智能手表、手环、眼镜、VR/AR眼镜产品的组装粘接过程中，该类装置的各产品通常具有不规则曲率，现有的点胶方式难以保证点胶位置的精度，容易导致产品粘接不良甚至报废，大大增加了智能制造装配行业的生产成本，并且现有技术中需要通过人工示教来设定点胶运动路径，如此不同的产品需要进行不同的示教，费时费力，且人工作业不确定因素较大，很容易造成运动路径不一致，导致偏差较大的问题。此外，除了上述的时间和人力成本外，现行方法更无法针对产品的异形外观做出任何自动辨识与引导校正。
[0003]因此需要提出一种新的方案来解决这个问题。

技术实现思路

[0004]针对现有技术存在的不足，本专利技术的目的在于提供一种基于视觉重叠运算的动态路径生成系统及其生成方法，通过标定算法对2D与3D图像进行重叠生成六轴机械手点胶路径的3D点云图达到动态匹配的运动轨迹效果,克服了运动路径因产品外观扭曲与变形所造成点胶制程良品率不高的问题，并且通过第一次质检和第二次质检的设置，使得六轴机械手路径的动态引导校准更加精准。
[0005]本专利技术的上述技术目的是通过以下技术方案得以实现的：一种基于视觉重叠运算的动态路径生成系统，包括工作台和设置在工作台上的六轴机械手，所述六轴机械手的输出端固定有悬臂，所述悬臂上设置有2D彩色相机、3D双目立体相机和针头模块，还包括可通讯连接于六轴机械手、2D彩色相机和3D双目立体相机的计算机。
[0006]在其中一个实施例中，所述彩色相机为红绿蓝(RGB)相机。
[0007]在其中一个实施例中，所述针头模块与悬臂滑动连接，所述2D彩色相机、3D双目立体相机分别通过可调角度结构与悬臂活动连接。
[0008]在其中一个实施例中，所述可调角度结构包括用于安装2D彩色相机或3D双目立体相机的相机支架，所述相机支架上一体设置有弧形滑块，所述悬臂上设置有与弧形滑块适配的弧形滑槽，所述弧形滑块可活动的配合在弧形滑槽内，所述悬臂上还贯穿弧形滑槽设置有腰型槽，所述弧形滑块上螺纹连接有螺栓，所述螺栓的端帽位于腰型槽的外侧。
[0009]在其中一个实施例中，一种基于视觉重叠运算的动态路径生成方法，使用所述的基于视觉重叠运算的动态路径生成系统，包括以下步骤：
[0010]A、手眼标定工作坐标：将产品置于工作台上，并使得产品在2D彩色相机和3D双目立体相机的视觉范围内，标定六轴机械手的坐标系、2D彩色相机的坐标系和3D双目立体相机的坐标系；
[0011]B、2D边缘识别：2D彩色相机拍照，2D边缘识别算法工具将产品的轮廓特征图片分区段，抓取定义特征点或边特征线，并通过增益算法和平滑算法优化所抓取的边特征线以创建完整的2D轨迹路径，在此路径上的每个点位(x,y)输出为2D彩色相机的像素值；
[0012]C、定义分段区2D边缘像素长度确认和质量确认：将步骤B中抓取得到的特征边线与标准值对比以进行第一次质检，以确保抓取的特征边线符合产品的工程规范需求；
[0013]D、创建点云：3D双目立体相机同时拍照生成3D图，即点云图，其中每一个点代表3D双目立体相机的坐标点(x,y,z)；
[0014]E、拟合图像：将输出的2D图像与3D图像重合，按1：1的比例重叠步骤B输出的2D轨迹路径至步骤D输出的点云图像中拟合撷取该3D轨迹点云坐标系(x,y,z),自此步骤形成最终的3D运动轨迹路径，并将该运动轨迹输出转变为六轴机械手的运动轨迹，其中该路径上的点位输出为3D轨迹点云坐标系(x,y,z)；
[0015]F、运动轨迹校准：在实现运动轨迹前，3D轨迹点云会与产品的标准CAD图档进行标准比较以进行第二次质检判断；
[0016]G、六轴机械手运动路径的生成：步骤F中撷取出的被允许的点云路径通过空间维度转换矩阵算法，由点云坐标转换成六轴机械手的运动坐标点，由此根据2D彩色相机、3D双目立体相机取得的路径，实现六轴机械手路径的动态引导。
[0017]在其中一个实施例中，步骤B中所述的产品轮廓特征图片可根据产品的曲面变化路径分割成多个区段。
[0018]在其中一个实施例中，由于步骤F中3D轨迹点云和CAD图档分别处于不同的空间坐标系中，因此需要通过临近点标准算法将3D轨迹点云和CAD图档进行空间对齐，其具体采用点到面的方式进行对齐，其中的计算公式如下：
[0019][0020]在其中一个实施例中，步骤F中，在CAD图档的基础上建立有公差范围内的3D对比环，所述3D对比环用作允收或拒收的标准。
[0021]在其中一个实施例中，步骤B中所述的增益算法具体是在两个原生点云的点位之间加入另一中间点位，在每次增益演算演迭后，整体点云的点位数量增加一倍。
[0022]在其中一个实施例中，步骤B中所述的平滑算法为曲线平滑处理，其具体是将点云的多个点位使用平滑曲线连接。
[0023]综上所述，本专利技术具有以下有益效果：本专利技术提供了一种基于2D与3D相机重叠运算下的动态运动路径生成系统及其方法,利用2D彩色相机算法抓取产品实际点胶路径内的特征边线,并通过增益算法和平滑算法优化路径点位生成完整的2D平面点胶路径,通过标定算法对2D与3D图像进行重叠生成六轴机械手点胶路径的3D点云图达到动态匹配的运动轨迹效果,克服了运动路径因产品外观扭曲与变形所造成点胶制程良品率不高,粘接质量差以及不良品报废率高的问题，并且通过第一次质检和第二次质检的设置，使得六轴机械手路径的动态引导校准更加精准。
附图说明
[0024]图1为本申请的实施例的基于视觉重叠运算的动态路径生成系统的结构示意图；
[0025]图2为本申请的实施例的基于视觉重叠运算的动态路径生成方法的流程图；
[0026]图3为为本申请的实施例的基于视觉重叠运算的动态路径生成方法中所使用的算法模块架构图；
[0027]图4为2D图像撷取并生成2D轨迹的图像；
[0028]图5为由2D图像重叠到3D图像形成点云的图像；
[0029]图6为2D图像与3D图像拟合过程的图像；
[0030]图7为动态轨迹经平滑处理、增益处理以及处理后的轨迹示意图；
[0031]图8为邻近像素点之间的距离(d)与2D轨迹上所有识别点距离之间的总和(D)的判断基准图；
[0032]图9为邻近像素点判断基准中正常允收情况图；
[0033]图10为邻近像素点判断基准中轻微异常情况图；
[0034]图11为邻近像素点判断基准中严重异常拒收情况图；
[0035]图12为临界值方法过滤离散点的示意图；
[0036]图13为增益算法的示意图；
[0037]图14为完整的点云路径图；
[0038]图15为3D对比环的示意图；
[0039]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉重叠运算的动态路径生成系统，包括工作台(1)和设置在工作台(1)上的六轴机械手(2)，其特征在于：所述六轴机械手(2)的输出端固定有悬臂(5)，所述悬臂(5)上设置有2D彩色相机(3)、3D双目立体相机(4)和针头模块(6)，还包括可通讯连接于六轴机械手(2)、2D彩色相机(3)和3D双目立体相机(4)的计算机。2.根据权利要求1所述的基于视觉重叠运算的动态路径生成系统，其特征在于：所述彩色相机为红绿蓝(RGB)相机。3.根据权利要求1所述的基于视觉重叠运算的动态路径生成系统，其特征在于：所述针头模块(6)与悬臂(5)滑动连接，所述2D彩色相机(3)、3D双目立体相机(4)分别通过可调角度结构(7)与悬臂(5)活动连接。4.根据权利要求3所述的基于视觉重叠运算的动态路径生成系统，其特征在于：所述可调角度结构(7)包括用于安装2D彩色相机(3)或3D双目立体相机(4)的相机支架，所述相机支架上一体设置有弧形滑块，所述悬臂(5)上设置有与弧形滑块适配的弧形滑槽，所述弧形滑块可活动的配合在弧形滑槽内，所述悬臂(5)上还贯穿弧形滑槽设置有腰型槽，所述弧形滑块上螺纹连接有螺栓，所述螺栓的端帽位于腰型槽的外侧。5.一种基于视觉重叠运算的动态路径生成方法，其特征在于：使用权利要求1
‑
4任意一项所述的基于视觉重叠运算的动态路径生成系统，包括以下步骤：A、手眼标定工作坐标：将产品置于工作台(1)上，并使得产品在2D彩色相机(3)和3D双目立体相机(4)的视觉范围内，标定六轴机械手(2)的坐标系、2D彩色相机(3)的坐标系和3D双目立体相机(4)的坐标系；B、2D边缘识别：2D彩色相机(3)拍照，2D边缘识别算法工具将产品的轮廓特征图片分区段，抓取定义特征点或边特征线，并通过增益算法和平滑算法优化所抓取的边特征线以创建完整的2D轨迹路径，在此路径上的每个点位(x,y)输出为2D彩色相机(3)的像素值；C、定义分段区2D边缘像素长度确认和质量确认：将步骤B中抓取得到的特征边线与标准值对比以进行第一次质检，...

【专利技术属性】
技术研发人员：王景昱，
申请(专利权)人：苏州星宇智能制造有限公司，
类型：发明
国别省市：