一种基于双向熔池几何及纹理特征融合的熔透识别方法技术

一种基于双向熔池几何及纹理特征融合的熔透识别方法，涉及焊接熔池图像的实时传感、图像信息提取和基于熔池图像信息的熔透识别方法。本发明专利技术利用双向同步视觉传感系统从熔池后上方和侧上方获取清晰、同步的熔池图像，然后对双向熔池图像进行图像处理，提取后上方熔池图像的几何特征和侧上方熔池图像的纹理特征信息，并基于此建立RBF熔透识别模型，利用实时熔池图像预判熔透状态，经由控制器反馈给焊机实现熔透控制。本发明专利技术利用焊接过程中实时传感采集的双向同步熔池图像中提取的几何特征和纹理特征，较仅基于单向熔池图像几何信息的熔透识别模型更为准确，可广泛应用于熔焊质量的非接触式在线信息传感、监测和熔透控制。

【技术实现步骤摘要】
一种基于双向熔池几何及纹理特征融合的熔透识别方法
本专利技术属于焊接质量在线传感和智能控制领域，具体说的是一种基于双向熔池几何与纹理特征融合的熔透识别方法。
技术介绍
熔透控制是实现焊接质量控制的重点，实现熔透控制的前提是能够获得准确反映熔透状态的焊接过程信息。目前能够反映熔透状态的信息包括焊接温度分布、熔池振荡、电弧声信息、电压电流信息、视觉信息等，其中视觉信息最为直观。目前基于熔池图像的熔透控制研究大多集中于单向或多向熔池图像几何特征信息的提取，并基于此进行熔透控制。事实上，熔池图像内部信息丰富，除了几何信息之外，图像的纹理特征信息能够综合反映图像的灰度分布和细节变化，但目前基于熔池图像纹理特征的熔透控制研究较少。CN200710175859利用焊缝区和母材区的纹理特征的差异识别焊缝区域，确定焊缝边缘，该研究主要针对多层焊盖面焊前的焊缝识别问题，拍摄的是凝固后的焊缝图像，并未对焊接过程中的熔池图像以及熔池图像纹理特征能否反映熔透质量进行研究。文献[1]《铝合金双丝PMIG焊熔池视觉特征规律及表面形态三维重构》中提出了基于单向熔池图像几何和纹理特征的熔透识别，分别选用BP神经网络和RBF神经网络进行熔透识别，两种模型均把后上方熔池的几何特征和部分纹理特征作为输入量，存在的问题是BP神经网络容易陷入局部极小化，需要多次训练才能得到正确率较高的熔透识别模型，RBF神经网络熔透识别时正确率高于BP神经网络熔透识别模型，存在的问题是几何特征参数较多，提取速度较慢且误差较大，纹理特征参数较少，不能全面反映熔池图像特征，导致该模型多次测试获得的正确率不稳定，计算精度较低。两种熔透识别模型最大的不足是仅仅利用了后上方熔池图像的几何特征和纹理特征信息，侧上方熔池图像的信息并未加以利用。众所周知，对接时焊枪正下方为熔池区域，但由于传感条件所限，从后上方进行熔池视觉传感时焊枪遮挡了部分电弧和熔池信息，而焊工在焊接过程中兼顾后方和侧面熔池、电弧等综合信息后对焊接质量进行预判，从而实时控制焊接质量，侧面熔池图像中包含的电弧形态、熔池流动状态及邻近区域的灰度变化比后方熔池图像更丰富直观，而纹理特征与其周围的灰度变化规律密切相关，不仅能够反映灰度的分布特征，也反映同样亮度或接近灰度的像素之间的位置分布特性，与焊接质量密切相关，但目前针对侧面熔池图像纹理特征与焊接质量之间关系的研究明显不足。
技术实现思路
为解决上述技术问题，本专利技术提供一种基于双向熔池几何与纹理特征融合的熔透识别方法，较仅利用单向熔池图像特征进行识别的方法训练迭代次数更少，计算精度更高，预测的熔透状态正确率更高，识别模型更稳定。为实现上述技术目的，所采用的技术方案是：一种基于双向熔池几何与纹理特征融合的熔透识别方法，该方法针对焊接过程中的熔池从后上方和侧上方两个角度进行实时、同步视觉传感，对后上方角度获得的熔池图像进行二值图像处理，得到后上方熔池图像的几何特征参数；基于侧上方熔池图像的灰度共生矩阵，定义并提取侧上方熔池图像的纹理特征参数，将后上方熔池图像的几何特征参数和侧上方熔池图像的纹理特征参数作为输入量，将未熔透、熔透和过熔透三种特征作为输出量，建立RBF神经网络模型，对熔透状态进行识别。熔池图像从熔池后上方和侧上方实时同步获取，双摄像机通过外触发模式实现同步采集，后上方熔池图像最佳传感角度为摄像机轴线与水平面夹角30-40°，侧上方熔池图像最佳传感角度为摄像机轴线与水平面夹角10-20°。后上方熔池图像的几何特征参数包括后上方熔池图像中提取的熔池宽度W、熔池抛物线系数α和熔池分散度D。熔池宽度W指熔池图像轮廓最宽值，抛物线系数α指熔池尾部向熔池宽度的张开幅度，熔池分散度D指熔池周长C的平方与熔池面积S的比值。熔池宽度W、熔池抛物线系数α和熔池分散度D的具体计算方法是：对后上方熔池图像进行中值滤波、灰度拉伸、形态学处理和轮廓提取，得到二值图像，对二值图像轮廓进行逐行扫描，记下每行左、右端点位置，每行左右端点间距中的最大值即为熔池宽度W，记录熔池宽度W的左右端点坐标，然后逐列扫描，记下二值图像轮廓中每列上下端点间距最大位置的下部端点(xb，yb)，通过熔池宽度W的左右端点和(xb，yb)三个点的曲线进行抛物线拟合，获得的系数即为熔池抛物线系数α，对每行熔池宽度累加求和，即为熔池面积S，将提取的二值图像轮廓上的所有像素数之和记为熔池周长C，计算得到熔池分散度D＝C2/S。侧上方熔池图像的纹理特征是指从侧上方获取的熔池图像中提取的平均能量AVG_ASM、平均熵AVG_ENT、平均对比度AVG_CON和平均逆差矩AVG_IDM，计算步骤如下：步骤一：设在θ方向上，相隔距离d的一对像素分别具有灰度值i和j出现的概率，记为p(i,j,d,θ)，设f(x,y)为图像像素坐标(x,y)的点所对应的灰度值，M和N分别为图像行和列的维数，则任意一对像素对(x1,y1)和(x2,y2)在0°、45°、90°和135°四个方向上的共生矩阵分别按式(1)-(4)计算：其中#(X)表示集合X中的元素个数；步骤二：依据步骤一，分别按式(5)-(8)计算侧上方熔池图像在0°、45°、90°和135°方向上的能量ASM、图像熵ENT、对比度CON和逆差矩IDM，其中G表示图像灰度级；步骤三：将步骤二获得的0°、45°、90°和135°四个方向上的能量ASM求平均值，获得侧上方熔池图像的纹理特征参数之一平均能量AVG_ASM；步骤四：将步骤二获得0°、45°、90°和135°四个方向上的图像熵ENT求平均值，获得侧上方熔池图像的纹理特征参数之二平均图像熵AVG_ENT；步骤五：将步骤二获得0°、45°、90°和135°四个方向上的对比度CON求平均值，获得侧上方熔池图像的纹理特征参数之三平均对比度AVG_CON；步骤六：将步骤二获得0°、45°、90°和135°四个方向上的逆差矩IDM求平均值，获得侧上方熔池图像的纹理特征参数之四平均逆差矩AVG_IDM。本专利技术有益效果是：(1)本专利技术利用后上方和侧上方同步传感采集到的熔池图像中提取的几何特征和纹理特征信息，较仅利用单向或多向视觉传感获得的几何信息更全面；(2)本专利技术首次将侧上方熔池图像的纹理特征信息用于熔透状态识别，尤其是侧上方图像提取的纹理特征信息在反映熔透状态时比后上方信息的准确度更高；(3)本专利技术进行图像纹理信息提取时不需要预处理，计算速度快，可批量处理；(4)本专利技术建立的RBF熔透识别模型更稳定，平均正确率更高，可以用于碳钢、铝合金等材料熔焊过程中的熔透控制。附图说明图1为熔池双向实时同步视觉传感系统示意图；图2为不同熔透状态下后上方和侧上方获取的同步熔池图像图；图3为后上方熔池图像处理及几何特征参数提取步骤示意图；图4为现有技术中基于RBF神经网络模型的熔透识别系统本文档来自技高网...

【技术保护点】
1.一种基于双向熔池几何与纹理特征融合的熔透识别方法，其特征在于：该方法针对焊接过程中的熔池从后上方和侧上方两个角度进行实时、同步视觉传感，对后上方角度获得的熔池图像进行二值图像处理，得到后上方熔池图像的几何特征参数；基于侧上方熔池图像的灰度共生矩阵，定义并提取侧上方熔池图像的纹理特征参数，将后上方熔池图像的几何特征参数和侧上方熔池图像的纹理特征参数作为输入量，将未熔透、熔透和过熔透三种特征作为输出量，建立RBF神经网络模型，对熔透状态进行识别。/n

【技术特征摘要】
1.一种基于双向熔池几何与纹理特征融合的熔透识别方法，其特征在于：该方法针对焊接过程中的熔池从后上方和侧上方两个角度进行实时、同步视觉传感，对后上方角度获得的熔池图像进行二值图像处理，得到后上方熔池图像的几何特征参数；基于侧上方熔池图像的灰度共生矩阵，定义并提取侧上方熔池图像的纹理特征参数，将后上方熔池图像的几何特征参数和侧上方熔池图像的纹理特征参数作为输入量，将未熔透、熔透和过熔透三种特征作为输出量，建立RBF神经网络模型，对熔透状态进行识别。


2.如权利要求1所述的一种基于双向熔池几何与纹理特征融合的熔透识别方法，其特征在于：熔池图像从熔池后上方和侧上方实时同步获取，双摄像机通过外触发模式实现同步采集，后上方熔池图像最佳传感角度为摄像机轴线与水平面夹角30-40°，侧上方熔池图像最佳传感角度为摄像机轴线与水平面夹角10-20°。


3.如权利要求1所述的一种基于双向熔池几何与纹理特征融合的熔透识别方法，其特征在于：后上方熔池图像的几何特征参数包括后上方熔池图像中提取的熔池宽度W、熔池抛物线系数α和熔池分散度D。


4.如权利要求3所述的一种基于双向熔池几何与纹理特征融合的熔透识别方法，其特征在于：熔池宽度W指熔池图像轮廓最宽值，抛物线系数α指熔池尾部向熔池宽度的张开幅度，熔池分散度D指熔池周长C的平方与熔池面积S的比值。


5.如权利要求4所述的一种基于双向熔池几何与纹理特征融合的熔透识别方法，其特征在于：熔池宽度W、熔池抛物线系数α和熔池分散度D的具体计算方法为，首先，对后上方熔池图像进行中值滤波、灰度拉伸、形态学处理和轮廓提取，得到二值图像，对二值图像轮廓进行逐行扫描，记下每行左、右端点位置，每行左右端点间距中的最大值即为熔池宽度W，记录熔池宽度W的左右端点坐标，然后逐列扫描，记下二值图像轮廓中每列上下端点间距最大位置的下部端点(xb，yb)，通过熔池宽度W的左右端点和(xb，yb)三个点的曲线进行抛物线拟合，获得的系数即为抛物线系数α，对...

【专利技术属性】
技术研发人员：杨嘉佳，吴统立，倪增磊，曹慧，韩澎，陈耀东，王庆博，李英杰，杨文广，
申请(专利权)人：华北水利水电大学，
类型：发明
国别省市：河南;41