一种基于图像显著性检测的焊缝识别方法技术

本发明专利技术的目的是解决现有技术存在的问题和不足，提出了一种基于图像显著性检测的焊缝识别方法，实现焊缝识别的自动化，提高焊接的准确度。为了实现这一目的，本发明专利技术采用以下技术方案。概括的，首先使用彩色CCD摄像机拍摄焊缝图像，然后通过比较图像中焊缝区域与母材区域的特征，包括颜色、纹理以及亮度特征，检测出图像中的显著区域，最后根据得到的显著图提取出焊缝的边缘。

A method of seam recognition based on image saliency detection

The purpose of the invention is to solve the problems and shortcomings existing in the existing technology, and puts forward a recognition method of welding seam based on image saliency detection, realizes the automation of welding seam recognition, and improves the accuracy of welding. In order to achieve this goal, the invention adopts the following technical scheme. Generally, the first use of color CCD camera image, and then through the comparison of the characteristics of the weld zone and base metal area in the image, such as color, texture and brightness characteristics of salient regions in an image are detected, according to the final saliency map obtained from the edge of weld.

【技术实现步骤摘要】
一种基于图像显著性检测的焊缝识别方法
本专利技术属于焊接自动化和智能化领域，具体涉及一种基于图像显著性检测的焊缝识别方法。
技术介绍
实现焊缝自动识别跟踪技术的关键是焊缝跟踪传感器，目前已研究了多种焊缝跟踪传感器。CCD视觉传感器是近年来发展较为迅速的一类焊缝跟踪传感器。它通过CCD摄像机获取二维焊缝图像，对图像进行分析，从中提取焊缝区域的特征信息，进而实现焊缝的识别。现有的基于视觉传感器的焊缝识别方法结合了图像处理技术，其中包括：基于纹理分割的焊缝识别方法和基于图像色彩信息的焊缝识别方法。基于纹理分割的焊缝识别方法是从CCD获取的焊缝图像中分析焊缝区域和母材区域纹理特征的差异性，区分出焊缝区域，从而提取焊缝边缘。该方法提取纹理特征时，需要根据图像纹理特征和焊缝识别精度要求将图像划分成子图像，不易获取适合的子图像尺寸，并将子图像作为基本单元，计算纹理特征并提取焊缝边缘，该方法的效果依赖于子图像的划分结果，因此焊缝识别结果不够稳定和准确。基于图像色彩信息的焊缝识别方法是依据焊缝区域与母材区域颜色特征的差异性，提出了彩色空间变换的方法,根据灰度直方图对图像进行阈值分割,得到二值化图像。经过阈值分割的图像只是大致地区分出焊缝区域和母材区域，其结果并不准确，且依赖于焊缝区域和母材区域颜色特征的差异性。
技术实现思路
本专利技术的目的是解决现有技术存在的问题和不足，提出了一种基于图像显著性检测的焊缝识别方法，实现焊缝识别的自动化，提高焊接的准确度。为了实现这一目的，本专利技术采用以下技术方案。概括的，首先使用彩色CCD摄像机拍摄焊缝图像，然后通过比较图像中焊缝区域与母材区域的特征，包括颜色、纹理以及亮度特征，检测出图像中的显著区域，最后根据得到的显著图提取出焊缝的边缘。本专利技术提出的基于显著图分割的焊缝识别方法具体包括以下步骤。采集焊缝图像，使用彩色CCD摄像机采集包含焊缝的图像，尽可能的使焊缝处于图像中心位置。特征提取，从上一步获得的彩色图像中提取颜色特征，在RGB空间中提取图像的R,G,B三个颜色分量，在CIELab空间中提取图像的a,b颜色分量。进一步地，在CIELab空间中提取图像的L分量，即图像的亮度特征。进一步地，使用灰度共生矩阵提取图像的纹理特征。灰度共生矩阵反映的是图像灰度关于方向、相邻间隔、变化幅度的综合信息。具体地，先将图像划分成子块，然后在每个子块中计算灰度共生矩阵,设子块中含有N个像素，则该子块的灰度共生矩阵P为一个N*N阶矩阵，即Pd(i,j)(i,j＝0,1,2,…,M-1),其中M表示图像的灰度级，i,j分别表示像素的灰度。表示从灰度为i的像素离开某个固定位置关系d＝(DX,DY)达到灰度为j的像素的概率，如图1所示。最后基于上述得到的灰度共生矩阵可以计算出描述纹理状况的4个统计量：二阶矩f1、对比度f2、熵f3和均匀性f4，如式(1)—(4)所示。显著性度量，将上述步骤得到的图像特征组合作为图像像素的特征向量，根据该特征向量计算图像的显著性，用以区别出焊缝和母材。具体地，在多尺度k的条件下，依据“中心-外周”原则计算各尺度下每个像素点与其相邻的n个像素点的特征差和位置距离，然后通过式(5)将各尺度的计算结果进行线性融合，求得每个像素的局部对比度。在式(5)中，disf(ic，jc)为尺度c下像素i与像素j的特征差,disl(ic，jc)为尺度c下像素i与像素j的位置距离。依据像素的颜色特征、位置特征以及纹理特征，通过SLIC(简单线性迭代聚类算法，在图像处理
内已属于现有技术)对图像进行超像素分割，分割成多个超像素。在每个超像素中，使用平均特征向量表示该超像素的特征向量，平均位置坐标表示该超像素的位置坐标。通过式(6)计算基于超像素的全局对比度，即与所有的超像素比较。在式(6)中，Di表示超像素i的空间分布，其中locj表示超像素j的中心位置，ui表示特征fri的中心，ωij描述超像素i和超像素j之间的相似度，Zi为归一化常数。进一步地，在超像素分割的基础上，先选取图像边缘的超像素，然后计算这些超像素的平均特征，将与平均特征相差较大的超像素剔除掉之后作为背景模板SPbg，图像中其余的超像素记为SPfg，最后通过式(7)计算SPfg中每个超像素与SPbg中所有超像素之间特征向量的欧氏距离作为该超像素的显著值，得到显著图Sbg。将上述步骤得到的三个显著图进行融合，具体通过式(7)计算出最终的显著图S。S＝Sl·Sg·Sbg(8)显著图分割，根据焊缝区域和母材区域颜色、亮度和纹理特征的区别，选定阈值T，对上述所得显著图进行分割，将特征值大于等于阈值的像素标记为白色，即焊缝区域，将特征值小于该阈值的像素标记为黑色，即表示母材区域，这样便得到了初步的显著图分割结果。提取焊缝，由于区域对比度可以保留住目标的轮廓信息依据之前计算得到的区域对比度，找到归一化之后最亮的部分，将该部分连接起来，可以大致描绘出焊缝边界。优选地，依据上述得到的焊缝边界，将得到的初步分割结果中处于焊缝边界外侧的部分重新标记为母材区域，得到最终的焊缝。本专利技术提出的基于显著图分割的焊缝识别方法，充分利用焊缝区域和母材区域在颜色、亮度以及纹理上的差异性，并且结合使用优势互补的显著性度量方法，全方位地度量焊缝和母材之间的各种差异性，确保了焊缝识别的精确度。附图说明图1为灰度共生矩阵示意图；图2为基于图像显著性检测的焊缝识别方法流程；图3为本专利技术实施例的具体实现流程。具体实施方式为了更好地理解本专利技术的技术方案，下面结合相关附图和实施例作进一步的详细描述。如图2、图3所示是基于图像显著性检测的焊缝识别方法的流程图，具体步骤如下。步骤101、采集焊缝图像。使用彩色CCD摄像机采集包含焊缝的图像，置焊缝处于图像中心位置，采集原始图像信息。步骤102、提取步骤101图像信息中的颜色特征：在RGB空间中提取图像的R,G,B三个颜色分量，在CIELab空间中提取图像的a,b颜色分量。步骤103、提取步骤101图像信息中的亮度特征：在CIELab空间中提取图像的L分量。步骤104、分割步骤101图像信息：使用SLIC算法将图像划分成50个图像块，供步骤105处理。步骤105、在每个图像块中计算灰度共生矩阵。具体地，设某图像块中含有N个像素点，则该图像块的灰度共生矩阵P为一个N*N阶矩阵，即Pd(i,j)(i,j＝0,1,2,…,255),共生矩阵中的每个元素表示一组灰度组合出现的次数，例如：元素Pd(1,0)表示图像上位置关系为d的两个像素灰度分别为1和0的情况出现的次数。步骤106、基于步骤105得到的灰度共生矩阵计算出描述纹理状况的4个统计量来描述纹理特征。步骤107、完成图像特征提取：将步骤102、步骤103、步骤106得到的图像特征组合作为图像中每个像素点的特征向量，分别用于步骤201、步骤203。步骤201、在5个尺度下，依据“中心-外周”原则计算每个像素点与相邻若干像素点的特征向量和位置坐标的欧氏距离disf(ic，jc),disl(ic，jc)。所述5个尺度分别为：(1)以所求像素点为中心，边长为5的正方形区域，即相邻的24个像素点；(2)以所求像素点为中心，边长为7的正方形区域，即相邻的48个像素点；(3)以所求像素点为中心，本文档来自技高网...

【技术保护点】
一种基于图像显著性检测的焊缝识别方法，其特征在于，首先使用彩色CCD摄像机拍摄焊缝图像，然后通过比较图像中焊缝区域与母材区域的特征，包括颜色、纹理以及亮度特征，检测出图像中的显著区域，最后根据得到的显著图提取出焊缝的边缘。

【技术特征摘要】
1.一种基于图像显著性检测的焊缝识别方法，其特征在于，首先使用彩色CCD摄像机拍摄焊缝图像，然后通过比较图像中焊缝区域与母材区域的特征，包括颜色、纹理以及亮度特征，检测出图像中的显著区域，最后根据得到的显著图提取出焊缝的边缘。2.如权利要求1所述的方法，其特征在于，具体包括步骤:步骤101、采集焊缝图像；使用彩色CCD摄像机采集包含焊缝的图像，置焊缝处于图像中心位置，采集原始图像信息；步骤102、提取步骤101图像信息中的颜色特征：在RGB空间中提取图像的R,G,B三个颜色分量，在CIELab空间中提取图像的a,b颜色分量；步骤103、提取步骤101图像信息中的亮度特征：在CIELab空间中提取图像的L分量；步骤104、分割步骤101图像信息：使用SLIC算法将图像划分成50个图像块，供步骤105处理；步骤105、在每个图像块中计算灰度共生矩阵。设某图像块中含有N个像素点，则该图像块的灰度共生矩阵P为一个N*N阶矩阵，即Pd(i,j)(i,j＝0,1,2,…,255),共生矩阵中的每个元素表示一组灰度组合出现的次数，例如：元素Pd(1,0)表示图像上位置关系为d的两个像素灰度分别为1和0的情况出现的次数；步骤106、基于步骤105得到的灰度共生矩阵计算出描述纹理状况的4个统计量来描述纹理特征；步骤107、完成图像特征提取：将步骤102、步骤103、步骤106得到的图像特征组合作为图像中每个像素点的特征向量，分别用于步骤201、步骤203；步骤201、在5个尺度下，依据“中心-外周”原则计算每个像素点与相邻若干像素点的特征向量和位置坐标的欧氏距离disf(ic,jc),disl(ic,jc)。所述5个尺度分别为：(1)以所求像素点为中心，边长为5的正方形区域，即相邻的24个像素点；(2)以所求像素点为中心，边长为7的正方形区域，即相邻的48个像素点；(3)以所求像素点为中心，边长为9的正方形区域，即相邻的80个像素点；(4)以所求像素点为中心，边长为11的正方形区域，即相邻的120个像素点；(5)以所求像素点为中心，边长为13的正方形区域，...

【专利技术属性】
技术研发人员：洪晶，祝传贝，
申请(专利权)人：上海万如科技发展有限公司，
类型：发明
国别省市：上海,31