面向自动化焊接的图像增强与特征提取方法技术

本发明专利技术涉及一种面向自动化焊接的图像增强与特征提取方法，包括：对焊件图像进行图像增强：利用RGB分离与归一化方法，分别对Red通道归一化图像、Green通道归一化图像、Blue通道归一化图像增强处理，得到增强后的R通道图像、G通道图像、B通道图像，然后进行RGB合成，得到重构焊件图像；对焊件图像进行前景分割：对图像提取感兴趣区域，然后前景切割，得到RGB前景焊件图像；对增强后的焊件图像进行特征提取：对RGB前景焊件图像进行边缘检测，然后进行焊缝中心线提取，得到边缘与焊缝信息。本发明专利技术实现焊件图像边缘和焊缝的高效提取。现焊件图像边缘和焊缝的高效提取。现焊件图像边缘和焊缝的高效提取。

【技术实现步骤摘要】
面向自动化焊接的图像增强与特征提取方法


[0001]本专利技术涉及一种面向自动化焊接的图像增强与特征提取方法，属于图像处理的


技术介绍

[0002]随着焊接机器人与计算机视觉技术的发展与进步，自动化焊接技术的实现与发展得到了重要支撑。计算机视觉技术在自动化焊接中主要表现为焊件图像处理技术，包括对焊件图像的采集、提取、检测、跟踪等。
[0003]焊缝信息提取与边缘检测是自动化焊接技术的关键步骤之一，高效精准的焊缝信息提取与边缘检测技术可以准确定位焊件的焊接路径，有利于后续的焊接流程。传统的边缘检测方法受光照等干扰因素的影响比较大，难以适用于复杂多变的焊接环境中。因此，在自动化焊接技术中，焊件识别与焊缝的准确定位是自动化焊接技术的基础，因此需要设计专门的焊件图像采集与处理系统，获取焊件的边缘和/或焊缝的位置信息，用于指导焊接机器人的路径规划、零件焊接等操作具有十分重要的意义。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提供一种面向自动化焊接的图像增强与特征提取方法，其具体技术方案如下：
[0005]一种面向自动化焊接的图像增强与特征提取方法，包括以下步骤：
[0006]步骤1：对焊件图像进行图像增强：利用RGB分离与归一化方法，分别对Red通道归一化图像、Green通道归一化图像、Blue通道归一化图像增强处理，得到增强后的R通道图像、G通道图像、B通道图像，然后进行RGB合成，得到重构焊件图像；
[0007]步骤2：对焊件图像分割：先提取图像的目标区域作为标记，然后进行图像前景分割，得到焊件图像的感兴趣区域；
[0008]步骤3：对增强后的焊件图像进行特征提取：对步骤2得到的焊件图像进行边缘检测，然后进行焊缝中心线提取，得到边缘和/或焊缝信息。
[0009]进一步的，所述步骤1采用基于Retinex模型的焊件图像增强算法，具体过程为：
[0010]Retinex理论对图像的增强基于单通道灰度图完成，在图像增强前常需进行灰度转换；
[0011]在Retinex模型中，观测到的图像I(x,y)分为两部分，一部分是物体的入射部分即光照图像，对应于图像的低频部分；另一部分是物体的反射光照即反射图像，对应于图像的高频部分，表达式为：
[0012]I(x,y)＝R(x,y)*L(x,y)
ꢀꢀ
(1)
[0013]其中，I(x,y)是观察到的图像信号，R(x,y)是图像的反射分量，L(x,y)是图像的入射分量；
[0014]首先提取R、G、B三通道的灰度图像，之后再对每一个通道分别使用Retinex算法进
行增强，最后合成彩色RGB图像。
[0015]进一步的，所述步骤2采用基于GrabCut的焊件图像分割算法，具体过程为：首先通过阈值分割选取目标区域，然后将其应用于GrabCut自动化分割算法中作为前景标记，从而实现图像的自动化分割，以达到提取焊件图像感兴趣区域的目的。
[0016]进一步的，所述阈值分割选取目标区域的具体过程为：
[0017]1)图像二值化：搜索最小化类内方差的阈值，迭代多次以求得最合适的阈值，选择阈值进行图像二值化分割后，前景与背景图像的类间方差最大；
[0018]2)数学形态学处理：数学形态学包括膨胀、腐蚀、开运算和闭运算，膨胀与腐蚀都是通过在程序中操作结构元素在图像上平移来实现的，其中，腐蚀是把区域的内边界变成背景，完成区域的向内缩小，膨胀是将区域的外边界变成对象，完成区域的向外扩展，此处选用膨胀算法对前景图像进行处理，膨胀后的前景图像覆盖前景目标区域；
[0019]2)连通域标记：将具有相同像素值的相邻像素找出来并标记。
[0020]进一步的，在传统GrabCut算法中，图像中像素总集合可以被定义为I,像素点的个数定义为n，为描述图像中相邻元素的关系，将相邻元素所组成的无序对写为{i,j}(i,j∈I)，将无序对的集合写为P，设二元矢量A＝{A1,A2,...,A
i
,...,A
n
}，其中A
i
是I中第i个像素值，在二元分割任务中，A
i
＝0表示背景，A
i
＝1则表示前景，从输入图中创建相应的无向图ξ＝<u,v>,其中途中的节点u对应于图像中某一个像素i∈I，v是无向图中边的集合，除了节点和边之外，该无向图中还需添加前景节点s和背景节点t，以对整个无向图的信息进行辅助分离，且前景节点s、背景节点t与图像像素节点u之间的关系满足：
[0021]u＝I∪{s,t}
ꢀꢀ
(2.1)
[0022]由于分割通常是在对特定的目标区域进行划分，这意味着需要对上述无向图ξ的边界和区域施加一种约束，一般采用软约束，即MRF，该约束可以用采用下述能量函数E(A)进行描述：
[0023]E(A,k,θ,I)＝U(A,k,θ,I)+V(A,I)
ꢀꢀ
(2.2)
[0024]其中，U(A,k,θ,I)表示对像素属于前景还是背景施加一定的惩罚，具体形式表示为该像素属于前景抑或是背景的负对数似然函数；V(A,I)为边界项惩罚，即表示两像素组成的无向图的边的惩罚，GrabCut即为沿着能量最小化的路径，即绿色切割路径所经过的红、黄、蓝曲线之和能量最小，即沿着细曲线进行切割；
[0025]从数学模型的角度出发，U(A,k,θ,I)的数学表达式为
[0026][0027]其中D(A
i
,k
i
,θ,i)为
[0028][0029]其中GMM的参数θ主要包括
[0030]θ＝{π(A,K),μ(A,K),σ(A,k),A＝0,1；k＝1,2,...,K}
ꢀꢀ
(2.5)
[0031]其中K指的是高斯分量；针对RGB颜色空间，一般K＝5，并且采用下式中K个高斯分
量全协方差GMM来对图像中的前景和背景进行建模；
[0032][0033]其中π
j
表示权重，g
j
(x,μ
j
,σ
j
)为
[0034][0035]其中d是数据维度，从上式可以看出GMM中每一个高斯分量都有权重π,均值向量μ和协方差矩阵σ，在RGB图像中，均值μ为3
×
1的向量，σ为3
×
3的矩阵；在经过GMM建模之后，即可得到向量k＝{k1,...,k
i
,...,k
n
},其中k
i
(k
i
∈{1,...,K})就是像素i相对应的高斯分量，经过建模之后，图像中任一像素都将会被划分为前景或者背景；
[0036]对于像素p和q之间相连边的惩罚项V:
[0037][0038]从式(2.5)可以看出，当邻域中i,j两元素之间相差很小时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向自动化焊接的图像增强与特征提取方法，其特征在于：包括以下步骤：步骤1：对焊件图像进行图像增强：利用RGB分离与归一化方法，分别对Red通道归一化图像、Green通道归一化图像、Blue通道归一化图像增强处理，得到增强后的R通道图像、G通道图像、B通道图像，然后进行RGB合成，得到重构焊件图像；步骤2：对焊件图像进行图像分割：先提取图像的目标区域作为标记，然后进行图像前景分割，得到焊件图像的感兴趣区域；步骤3：对增强后的焊件图像进行特征提取：对步骤2得到的焊件图像进行边缘检测，然后进行焊缝中心线提取，得到边缘和/或焊缝信息。2.根据权利要求1所述的面向自动化焊接的图像增强与特征提取方法，其特征在于：所述步骤1采用基于Retinex模型的焊件图像增强算法，具体过程为：Retinex理论对图像的增强基于单通道灰度图完成，在图像增强前常需进行灰度转换；在Retinex模型中，观测到的图像I(x,y)分为两部分，一部分是物体的入射部分即光照图像，对应于图像的低频部分；另一部分是物体的反射光照即反射图像，对应于图像的高频部分，表达式为：I(x,y)＝R(x,y)*L(x,y)
ꢀꢀ
(1)其中，I(x,y)是观察到的图像信号，R(x,y)是图像的反射分量，L(x,y)是图像的入射分量；首先提取R、G、B三通道的灰度图像，之后再对每一个通道分别使用Retinex算法进行增强，最后合成彩色RGB图像。3.根据权利要求1所述的面向自动化焊接的图像增强与特征提取方法，其特征在于：所述步骤2采用基于GrabCut的焊件图像分割算法，具体过程为：首先通过阈值分割选取目标区域，然后将其应用于GrabCut自动化分割算法中作为前景标记，从而实现图像的自动化分割，以达到提取焊件图像感兴趣区域的目的。4.根据权利要求3所述的面向自动化焊接的图像增强与特征提取方法，其特征在于：所述阈值分割选取目标区域的具体过程为：1)图像二值化：用最大类间方差法寻找最佳阈值，即搜索最小化类内方差的阈值，迭代多次以求得最合适的阈值，选择阈值进行图像二值化分割后，前景与背景图像的类间方差最大；2)数学形态学处理：数学形态学包括膨胀、腐蚀、开运算和闭运算，膨胀与腐蚀都是通过在程序中操作结构元素在图像上平移来实现的，其中，腐蚀是把区域的内边界变成背景，完成区域的向内缩小，膨胀是将区域的外边界变成对象，完成区域的向外扩展，此处选用膨胀算法对前景图像进行处理，膨胀后的前景图像覆盖前景目标区域；2)连通域标记：将具有相同像素值的相邻像素找出来并标记。5.根据权利要求3所述的面向自动化焊接的图像增强与特征提取方法，其特征在于：在传统GrabCut算法中，图像中像素总集合可以被定义为I,像素点的个数定义为n，为描述图像中相邻元素的关系，将相邻元素所组成的无序对写为{i,j}(i,j∈I),i,j表示图像中相邻元素,将无序对的集合写为P，设二元矢量A＝{A1,A2,...,A
i
,...,A
n
}，其中A
i
是I中第i个像素值，在二元分割任务中，A
i
＝0表示背景，A
i
＝1则表示前景，从输入图中创建相应的无向图ξ＝<u,v>,其中途中的节点u对应于图像中某一个像素i∈I，v是无向图中边的集合，除了
节点和边之外，该无向图中还需添加前景节点s和背景节点t，以对整个无向图的信息进行辅助分离，且前景节点s、背景节点t与图像像素节点u之间的关系满足：u＝I∪{s,t}
ꢀꢀ
(2.1)由于分割通常是在对特定的目标区域进行划分，这意味着需要对上述无向图ξ的边界和区域施加一种约束，一般采用软约束，即MRF，该约束可以用采用下述能量函数E(A)进行描述：E(A,k,θ,I)＝U(A,k,θ,I)+V(A,I)
ꢀꢀ
(2.2)其中，U(A,k,θ,I)表示对像素属于前景还是背景施加一定的惩罚，具体形式表示为该像素属于前景抑或是背景的负对数似然函数；V(A,I)为边界项惩罚，即表示两像素组成的无向图的边的惩罚，GrabCut即为沿着能量最小化的路径，即绿色切割路径所经过的红、黄、蓝曲线之和能量最小，即沿着细曲线进行切割；从数学模型的角度出发，U(A,k,θ,I)的数学表达式为其中D(A
i
,k
i
,θ,i)为其中GMM的参数θ主要包括θ＝{π(A,K),μ(A,K),σ(A,k),A＝0,1；k＝1,2,...,K}
ꢀꢀ
(2.5)其中K指的是高斯分量；针对RGB颜色空间，一般K＝5，并且采用下式中K个高斯分量全协方差GMM来对图像中的前景和背景进行建模；其中π
j
表示权重，g
j
(x,μ
j
,σ
j
)为其中x是个二维向量，d是数据维度，从上式可以看出GMM中每一个高斯分量都有权重π,均值向量μ和协方差矩阵σ，在RGB图像中，均值μ为3
×
1的向量，σ为3
×
3的矩阵；在经过GMM建模之后，即可得到向量k＝{k1,...,k
i
,...,k
n
},其中k
i
(k
i
∈{1,...,K})就是像素i相对应的高斯分量，经过建模之后，图像中任一像素都将会被划分为前景或者背景；对于像素p和q之间相连边的惩罚项V:从式(2.5)可以看出，当邻域中i,j两元素之间相差很小时，二者大概率属于同一区域，此时惩罚项V(A,I)较大；在两像素相差较大时，二者大概率不属于同一区域，而处于边缘部
分，此时惩罚项V(A,I)较小，便于分割；所述GrabCut自动化分割算法的步骤如下：(1)输入图像，使用阈值分割获得的感兴趣区域来标记图像中的前景区域F,将矩形区域外的区域标记为背景区域B；(2)将前景区域F内的像素点的标签置为A
i
＝1，将背景区域B内的像素点标签置为A
i
＝0；(3)通过K
‑
means聚类算法，根据设置的K值将F和B中的像素分别进行聚类；(4)基于F(A
i
＝1)和B(A
i
＝0)初始化K个高斯分量的GMM，根据式(2.1)和式(2.2)就得到二者相应的GMM参数(π,μ,σ)；(5)将F中每个像素带入到两个GMM中，得到相应的概率p(i|F)和p(j|B)，随后根据式(1)得到区域的惩罚项U；(6)根据式(2.2)，计算F中两相邻像素之间的距离，从而计算得出边界的惩罚项V；(7)根据能量最小原则，通过最小割或者最大流方法计算能量的最小值minE(A,k,θ,I)，并将计算的结果再次输入前景区域F，并按照步骤(2)为F中的像素分配标签；(8)不断重复步骤(4)～(7)，直到得到最终的分割结果。6.根据权利要求1所述的面向自动化焊接的图像增强与特征提取方法，其特征在于：所述步骤3采用基于改进型自适应Canny算子的焊件图像特征提取算法，具体过程为：步骤3.1：基于改进型自适应Canny算子的焊件图像边缘检测：首先，构建基于八方向的5*5的Sobel检测...

【专利技术属性】
技术研发人员：朱雪妍，赵壮，陆骏，韩静，张毅，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：