面向焊缝跟踪的线结构光骨架提取及毛刺去除方法技术

本发明专利技术涉及面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，对线结构光图像创建金字塔；对金字塔顶层图像提取线结构光骨架；重复应用图像上采样及骨架提取两步骤，初步获得焊缝图像线结构光骨架；从细化后焊缝图像第一列和最后一列向图像中间搜索，找到两个端点，即骨架起点和终点；从起点沿骨架向前搜索，找出所有分支；沿分支向前搜索，确定其端点及分支点；从分支端点沿分支骨架向前跟踪，遇到分支点停止搜索，去除分支，获取清晰准确的线结构光骨架图像。本发明专利技术可以实现面向焊缝跟踪的线结构光骨架在线、实时、自动、准确提取，提取速度快、精度高；对焊缝类型无约束；对焊接过程的弧光、飞溅、烟尘及工件反光等噪声干扰鲁棒。烟尘及工件反光等噪声干扰鲁棒。烟尘及工件反光等噪声干扰鲁棒。

【技术实现步骤摘要】
面向焊缝跟踪的线结构光骨架提取及毛刺去除方法


[0001]本专利技术属于计算机视觉领域，具体的说涉及面向焊缝跟踪的线结构光骨架提取及毛刺去除方法。

技术介绍

[0002]随着我国国民经济的快速发展，自动化生产已经成为未来发展的必然趋势和方向。利用机器代替人工进行自动焊接，不仅可以显著提高生产效率，而且可以有效改善生产质量，节约生产成本，提高生产效率和安全系数，降低工人劳动强度，成为越来越多企业的理想选择。
[0003]为了实现机器人自动焊接，需要准确地提取到焊缝特征点位置。结构光测量方法具有实时性强，设备简单等特点，使其受到越来越多的重视，对于测量设备的体积、重量、功耗等方便要求比较严格的应用场合，结构光测量的自身优势体现得更加明显。
[0004]结构光测量方法作为一种主动式光学测量技术，其主要原理是利用结构光投射器向被测物体表面投射可控制的光点、光条或光面，然后通过图像传感器(比如摄像机)获取图像，根据系统的几何关系，运用三角原理计算得到物体的三维坐标。根据结构光投射器向被测物体表面投射结构分别为可控制的光点、光条或光面，可将结构光分为点结构光、线结构光和面结构光。点结构光测量方法需要逐点扫描物体从而进行测量，被测物体越大，图像获取和处理时间将越长，难以实现实时测量；面结构光提供的三维坐标点数据量非常大，计算时间亦会随之增加。因此，线结构光更适用于工程应用。
[0005]焊缝焊接过程中，尽管已经在硬件方面采取了一系列措施，如在视觉传感器上加装挡板来阻隔飞溅、烟尘，在视觉传感器前端加装滤光片以滤除弧光等，飞溅、弧光、烟尘等噪声还会对焊缝图像产生很大的干扰。因此，准确提取线结构光骨架是实现焊缝跟踪的关键所在。

技术实现思路

[0006]为了解决焊接过程中飞溅、弧光、烟尘等噪声干扰，以及工件自身反光等问题对线结构光骨架提取造成的影响，本专利技术提供一种提取速度快，鲁棒性强，能够实时提取线结构光骨架及去除毛刺的方法。
[0007]本专利技术为实现上述目的所采用的技术方案是：面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，包括以下步骤：
[0008]对线结构光焊缝图像创建图像金字塔；
[0009]对于金字塔顶层图像，提取线结构光骨架；
[0010]依次迭代图像上采样、骨架提取两步骤，初步获得焊缝图像线结构光骨架；
[0011]分别从结构光骨架图像线第一列和最后一列向图像中间搜索，找到两个端点，即为骨架的起点和终点；
[0012]从起点开始沿骨架延伸方向搜索，找出所有分支；
[0013]沿每条分支延伸方向搜索，确定其端点及分支点坐标；从分支端点开始沿分支骨架延伸方向跟踪，直至遇到分支点停止搜索，去除分支，得到去除毛刺的线结构光骨架图像。
[0014]所述创建图像金字塔，采用邻域平均进行滤波。
[0015]所述创建图像金字塔，通过均值滤波获得一系列下采样图像，即第i层均值金字塔通过邻域平均获得i+1层金字塔图像，步骤如下：
[0016](1)对图像I
i
进行均值模糊，计算表达式如下，
[0017][0018]式中，I(x,y)表示图像中(x,y)像素点处的灰度值，i表示图像金字塔层数，I
’
(x,y)表示均值滤波后的图像；
[0019](2)将所有偶数行和列去除，即
[0020]I
i+1
(x,y)＝I
’
i
(2x,2y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0021](3)返回步骤(1)，通过对输入图像I
i
不停迭代，得到整个金字塔；其中，I0为原始像素分辨率图像，即输入的线结构光焊缝图像。
[0022]所述对于金字塔顶层图像，提取线结构光骨架，具体为：采用中轴变换法，通过判定条件，判断某一个像素点是否处于区域边缘，将判定为边缘的像素点删除，直到区域的宽度为1个像素，从而获取图像的中心线，即得到线结构光骨架。
[0023]所述对于金字塔顶层图像，提取线结构光骨架，包括以下步骤：
[0024]图像中背景的灰度值为0，目标的灰度值为1；同时满足下列边界点的判定条件，则第一次迭代移除右下方的边界点：
[0025](1)2≤N(p1)≤6，满足此条件时说明该点不是孤立点、端点或内部点；
[0026](2)S(p1)＝1，如果删除S(p1)＞1的点就无法保证细化后线条的连通；
[0027](3)p2·
p4·
p6＝0；
[0028](4)p4·
p6·
p8＝0；
[0029]其中，p1为待判断是否需要移除的像素点，其灰度值为1，p2、p3……
p9为p1顺时针方向标记的8邻域，N(p1)是p1的邻域中不为0的点的个数，即,
[0030]N(p1)＝p2+p3+...+p8+p9ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0031]S(p1)是从p2到p9再到p2的序列中，点的值发生从0到1的变化的次数；孤立点为N(p1)＝0的点，端点为N(p1)＝1的点，内部点为N(p1)＞6的点。
[0032]同时满足下列边界点的判定条件，则第二次迭代移除左上方的边界点：
[0033](1)2≤N(p1)≤6，满足此条件时说明该点不是孤立点、端点或内部点；
[0034](2)S(p1)＝1，如果删除S(p1)＞1的点就无法保证细化后线条的连通；
[0035](3)p2·
p4·
p8＝0；
[0036](4)p2·
p6·
p8＝0；
[0037]反复第一次迭代和第二次迭代，直到没有待移除的点为止，即得到该区域的骨架。
[0038]所述依次重复迭代应用图像上采样及、骨架提取两步骤，具体如下：
[0039]1)将金字塔顶层图像在u、v两方向扩大到原来的两倍，新增的行和列以0填充；
[0040]2)使用与创建图像金字塔步骤相同的内核与放大后的图像卷积，获得新增像素的
灰度值；
[0041]3)利用中轴变换法对当前层图像进行骨架提取；
[0042]4)返回步骤1)，遍历金字塔所有层，直至金字塔最底层，初步获得焊缝图像线结构光骨架。
[0043]所述确定焊缝图像骨架的起点和终点，分别从线结构光骨架图像第一列和最后一列向图像中间搜索，找到两个端点，即为骨架的起点和终点。
[0044]所述端点和分支点，定义如下：
[0045]端点：本身是骨架像素；其8邻域范围内仅存在一个连续的骨架像素区域；本身不是肿块的一部分；
[0046]分支点：本身是骨架像素；其8邻域范围内存在至少三个连续骨架像素区域，或者存在两个连续骨架像素区域、且其中一个是四像素长度或更长的连续区域。
[0047]所述肿块，为骨架中2
×
...

【技术保护点】

【技术特征摘要】
1.面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，其特征在于，包括以下步骤：对线结构光焊缝图像创建图像金字塔；对于金字塔顶层图像，提取线结构光骨架；依次迭代图像上采样、骨架提取两步骤，初步获得焊缝图像线结构光骨架；分别从结构光骨架图像线第一列和最后一列向图像中间搜索，找到两个端点，即为骨架的起点和终点；从起点开始沿骨架延伸方向搜索，找出所有分支；沿每条分支延伸方向搜索，确定其端点及分支点坐标；从分支端点开始沿分支骨架延伸方向跟踪，直至遇到分支点停止搜索，去除分支，得到去除毛刺的线结构光骨架图像。2.根据权利要求1所述的面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，其特征在于，所述创建图像金字塔，采用邻域平均进行滤波。3.根据权利要求1或2所述的面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，其特征在于，所述创建图像金字塔，通过均值滤波获得一系列下采样图像，即第i层均值金字塔通过邻域平均获得i+1层金字塔图像，步骤如下：(1)对图像I
i
进行均值模糊，计算表达式如下，式中，I(x,y)表示图像中(x,y)像素点处的灰度值，i表示图像金字塔层数，I
’
(x,y)表示均值滤波后的图像；(2)将所有偶数行和列去除，即I
i+1
(x,y)＝I
’
i
(2x,2y)
ꢀꢀꢀꢀꢀ
(2)(3)返回步骤(1)，通过对输入图像I
i
不停迭代，得到整个金字塔；其中，I0为原始像素分辨率图像，即输入的线结构光焊缝图像。4.根据权利要求1所述的面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，其特征在于，所述对于金字塔顶层图像，提取线结构光骨架，具体为：采用中轴变换法，通过判定条件，判断某一个像素点是否处于区域边缘，将判定为边缘的像素点删除，直到区域的宽度为1个像素，从而获取图像的中心线，即得到线结构光骨架。5.根据权利要求1或4所述的面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，其特征在于，所述对于金字塔顶层图像，提取线结构光骨架，包括以下步骤：图像中背景的灰度值为0，目标的灰度值为1；同时满足下列边界点的判定条件，则第一次迭代移除右下方的边界点：(1)2≤N(p1)≤6，满足此条件时说明该点不是孤立点、端点或内部点；(2)S(p1)＝1，如果删除S(p1)＞1的点就无法保证细化后线条的连通；(3)p2·
p4·
p6＝0；(4)p4·
p6·
p8＝0；...

【专利技术属性】
技术研发人员：王爽，吴清潇，欧锦军，嵇冠群，付双飞，朱枫，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：