一种基于实例分割的熔覆池形貌识别及闭环控制方法技术

本发明专利技术公开了一种基于实例分割的熔覆池形貌识别及闭环控制方法，包括如下步骤：初始化弧焊增材制造输出功率及输出功率变化量；采集弧焊增材制造熔覆池彩色图像；更新弧焊增材制造输出功率；分割出熔覆池彩色图像中的熔覆池，同时生成熔覆池的实例掩码和候选框的像素坐标，完成熔覆池的实例分割；用候选框的像素坐标表示长轴和熔宽像素数大小，计算熔宽像素数变化量，并将生成的输出功率变化量进行反馈；判断当前熔覆池彩色图像是否为最后一帧。本发明专利技术方法实时性好、识别精度高，在有熔滴覆盖熔覆池边缘时，也能实现精准检测与识别，验证了算法的有效性和鲁棒性，实现低成本高效率的检测熔覆池形貌，为弧焊增材制造实时评价提供了可靠依据。

【技术实现步骤摘要】
一种基于实例分割的熔覆池形貌识别及闭环控制方法
本专利技术属于弧焊增材制造与机器视觉的
，具体涉及一种基于实例分割的熔覆池形貌识别及闭环控制方法。
技术介绍
弧焊增材制造是以电弧为热源、以金属焊丝为材料，通过对目标的三维CAD模型转化为STL模型为基础，按照一定的厚度和方向对模型进行分层切片，并对生成的轮廓进行路径规划，按照逐层累积的方式完成材料的填充，最终快速生成实体工件。而在逐层累积的过程中，熔覆池是目标件的最小成形单元，外界环境或者工艺参数的改变都会对其形状和尺寸造成影响，而其波动程度又直接影响着目标件成形质量的好坏，因此需要对熔覆池的形貌进行在线监测，用以评价成形质量，并对后续工艺参数的调整提供理论依据。在弧焊增材制造过程中，影响熔覆池形貌和尺寸的因素有很多，如激光的功率、送丝速度、打印速度和外界环境的变化等，而这些变化因素可以统一反映在熔覆池的形貌和尺寸的变化上，因此对熔覆池的形貌和尺寸进行监控对弧焊增材制造打印出质量优良的工程件至关重要。目前对弧焊增材制造过程中熔覆池形貌和尺寸的分析识别，有的通过经验丰富的工人对单道熔覆层打印质量的好坏进行判别，但这种方法需要工人有丰富的经验且效率较低；有的通过多经验参数的方式进行边缘检测，但是经验参数的有效性难以验证，适用性较低；还有的通过相位一致性模型进行边缘检测，但是算法计算量大、效率低，难以在工程实际中应用。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，提供一种基于实例分割的熔覆池形貌识别及闭环控制方法，该方法实时性好、识别精度高，在有熔滴覆盖熔覆池边缘时，也能实现精准检测与识别，验证了算法的有效性和鲁棒性，实现了低成本、高效率的检测熔覆池形貌，为弧焊增材制造实时评价提供依据。技术方案：为实现上述目的，本专利技术提供一种基于实例分割的熔覆池形貌识别及闭环控制方法，包括如下步骤：S1：初始化弧焊增材制造输出功率及输出功率变化量；S2：采集弧焊增材制造熔覆池彩色图像；S3：更新弧焊增材制造输出功率；S4：分割出熔覆池彩色图像中的熔覆池，同时生成熔覆池的实例掩码和候选框的像素坐标，完成熔覆池的实例分割；S5：用候选框的像素坐标表示长轴和熔宽像素数大小，计算熔宽像素数变化量，并将生成的输出功率变化量反馈至步骤S3；S6：判断当前熔覆池彩色图像是否为最后一帧，如果是，则结束打印，如果不是，则回到步骤S2。进一步的，所述步骤S2中弧焊增材制造熔覆池彩色图像的采集方法为：搭建熔覆池图像采集系统，利用高清摄像机和滤光片，采集彩色的弧焊增材制造过程中熔覆池图像。进一步的，所述步骤S3中弧焊增材制造输出功率的更新方法为：根据步骤S5得到的输出功率变化量ΔP，更新弧焊增材制造输出功率P，进行更新的公式为P＝P+ΔP。进一步的，所述步骤S4的具体过程为：S4.1：将步骤S2获取的熔覆池彩色图像输入到主干神经网络中进行特征提取并生成不同大小的特征图，对特征图进行自上而下的融合进而生成特征金字塔网络；S4.2：将步骤S4.1得到的特征金字塔网络输入到区域建议网络中，采用滑动窗口的方式，对特征图里的所有像素点进行遍历，对存在熔覆池的区域生成候选框；S4.3：将步骤S4.2得到的候选框通过R0IAlign层对特征图的大小进行统一；S4.4：将步骤S4.3每个候选框进行全连接操作，对候选框的位置进行回归、判别候选框内物体是否为熔覆池，得到候选框的像素坐标；S4.5：将步骤S4.2得到的候选框通过一个轻量级的预测头为每个候选框生成粗预测掩码；S4.6：从步骤S4.1得到的特征金字塔网络中选择一部分点进行独立预测并和步骤S4.5生成的粗预测掩码一起输入到多层感知机中，对熔覆池生成边缘更加精细平滑的掩码，完成熔覆池图像的实例分割。进一步的，所述步骤S4.1中主干神经网络包括残差网络ResNet50和特征金字塔网络；残差网络ResNet50有16个残差块，每个残差单元有三层，将整个残差网络ResNet50分为5个阶段，其中不改变特征图大小的层为一个阶段，每次抽取的特征是各个阶段最后一层的输出，每个残差单元可表示为：yi＝f(h(yi-1)+F(yi-1))；其中，yi是第i个残差单元的输出，yi-1是第i-1个残差单元的输出，f()是激活函数ReLU，h(yi-1)是第i-1个残差单元的恒等映射，F(yi-1)是yi-1的残差映射；特征金字塔网络是将整个残差网络ResNet50输出的5个阶段的特征图进行自上而下的融合，残差网络ResNet50输出的每个阶段的特征图分别经过卷积和上采样操作，进而与其他阶段的特征图进行融合。进一步的，所述步骤S4.2具体包括如下步骤：S4.2.1：对融合后的特征图，采用滑动窗口的方式，在不同大小的特征图上按不同的比例对所有像素点进行遍历，生成候选框ROI，候选框的大小分别为64*64、128*128、256*256，候选框长和宽的比例分别为2：1、1：1和1：2，每个像素点都会生成9个大小不同的候选框，整个图像上会有将近20万个相互重叠的特征框；再分别对候选框进行二分类和回归，得到候选框内物体是前景或者背景的分数、概率值以及每个候选框的坐标值；S4.2.2：对候选框按照前景得分进行过滤和保留，取前6000个得分最高的保留，再通过非极大值抑制(NMS算法)，将前景得分最高的候选框和其他有重合的候选框进行对比，若重合度大于设定值则舍弃，否则就保留，筛选出最佳的边界框，去除冗余。进一步的，所述步骤S4.3具体包括如下步骤：S4.3.1：遍历所有的候选框，将候选框映射到特征图上对应位置；S4.3.2：将每个候选框分割为若干个单元，每个单元再均分为若干个小区域，对每个小区域用双线性插值的方法求出中心点像素值；其中，双线性插值是对原图像像素信息进行重新分布，在图像放大或者缩小时能够尽可能少丢失像素信息，每个小区域内四个顶点的坐标值分别为A(x1,y1)、B(x1,y2)、C(x2,y2)和D(x2,y1)，像素值分别为f(A)、f(B)、f(C)和f(D)，且x2＞x1、y2＞y1，这个小区域的中心点坐标为G(x,y)，双线性插值算法如下：A1：对横坐标方向上进行插值，得到E、F点像素值f(E)、f(F)；A2：对点E和F在纵坐标轴上进行插值，得到小区域像素点G的像素值f(G)；S4.3.3：对每个单元的小区域进行最大池化操作，保留最大的像素值，也即每个小区域的中心点像素值。进一步的，所述步骤S4.4的具体过程为：在进行ROIAlign操作后，不同的候选框转换到特征图上的大小已经统一，尺寸为7*7，并在全连接操作后输入Softmax函数，将特征图映射为一个固定长度的特征向量，对候选框的位置进行回归、对候选框内的物体进行分类，得到属于熔覆池的置信度概率值，用来判断候选框内是否为熔覆池，并得到候选框像素坐标(M,N,W,本文档来自技高网...

【技术保护点】
1.一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：包括如下步骤：/nS1：初始化弧焊增材制造输出功率及输出功率变化量；/nS2：采集弧焊增材制造熔覆池彩色图像；/nS3：更新弧焊增材制造输出功率；/nS4：分割出熔覆池彩色图像中的熔覆池，同时生成熔覆池的实例掩码和候选框的像素坐标，完成熔覆池的实例分割；/nS5：用候选框的像素坐标表示长轴和熔宽像素数大小，计算熔宽像素数变化量，并将生成的输出功率变化量反馈至步骤S3；/nS6：判断当前熔覆池彩色图像是否为最后一帧，如果是，则结束打印，如果不是，则回到步骤S2。/n

【技术特征摘要】
1.一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：包括如下步骤：
S1：初始化弧焊增材制造输出功率及输出功率变化量；
S2：采集弧焊增材制造熔覆池彩色图像；
S3：更新弧焊增材制造输出功率；
S4：分割出熔覆池彩色图像中的熔覆池，同时生成熔覆池的实例掩码和候选框的像素坐标，完成熔覆池的实例分割；
S5：用候选框的像素坐标表示长轴和熔宽像素数大小，计算熔宽像素数变化量，并将生成的输出功率变化量反馈至步骤S3；
S6：判断当前熔覆池彩色图像是否为最后一帧，如果是，则结束打印，如果不是，则回到步骤S2。


2.根据权利要求1所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：所述步骤S2中弧焊增材制造熔覆池彩色图像的采集方法为：搭建熔覆池图像采集系统，利用高清摄像机和滤光片，采集彩色的弧焊增材制造过程中熔覆池图像。


3.根据权利要求1所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：所述步骤S3中弧焊增材制造输出功率的更新方法为：根据步骤S5得到的输出功率变化量ΔP，更新弧焊增材制造输出功率P，进行更新的公式为P＝P+ΔP。


4.根据权利要求1所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：所述步骤S4的具体过程为：
S4.1：将步骤S2获取的熔覆池彩色图像输入到主干神经网络中进行特征提取并生成不同大小的特征图，对特征图进行自上而下的融合进而生成特征金字塔网络；
S4.2：将步骤S4.1得到的特征金字塔网络输入到区域建议网络中，采用滑动窗口的方式，对特征图里的所有像素点进行遍历，对存在熔覆池的区域生成候选框；
S4.3：将步骤S4.2得到的候选框通过R0IAlign层对特征图的大小进行统一；
S4.4：将步骤S4.3每个候选框进行全连接操作，对候选框的位置进行回归、判别候选框内物体是否为熔覆池，得到候选框的像素坐标；
S4.5：将步骤S4.2得到的候选框通过一个轻量级的预测头为每个候选框生成粗预测掩码；
S4.6：从步骤S4.1得到的特征金字塔网络中选择一部分点进行独立预测并和步骤S4.5生成的粗预测掩码一起输入到多层感知机中，对熔覆池生成边缘更加精细平滑的掩码，完成熔覆池图像的实例分割。


5.根据权利要求4所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：所述步骤S4.1中主干神经网络包括残差网络ResNet50和特征金字塔网络；
残差网络ResNet50有16个残差块，每个残差单元有三层，将整个残差网络ResNet50分为5个阶段，其中不改变特征图大小的层为一个阶段，每次抽取的特征是各个阶段最后一层的输出，每个残差单元可表示为：yi＝f(h(yi-1)+F(yi-1))；
其中，yi是第i个残差单元的输出，yi-1是第i-1个残差单元的输出，f()是激活函数ReLU，h(yi-1)是第i-1个残差单元的恒等映射，F(yi-1)是yi-1的残差映射；
特征金字塔网络是将整个残差网络ResNet50输出的5个阶段的特征图进行自上而下的融合，残差网络ResNet50输出的每个阶段的特征图分别经过卷积和上采样操作，进而与其他阶段的特征图进行融合。


6.根据权利要求4所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：所述步骤S4.2具体包括如下步骤：
S4.2.1：对融合后的特征图，采用滑动窗口的方式，在不同大小的特征图上按不同的比例对所有像素点进行遍历，生成候选框ROI；再分别对候选框进行二分类和回归，得到候选框内物体是前景或者背景的分数、概率值以及每个候选框的坐标值；
S4.2.2：对候选框按照前景得分进行过滤和保留，再通过非极大值抑制，将前景得...

【专利技术属性】
技术研发人员：谢非，朱腾飞，刘宗熙，杨继全，刘益剑，李宗安，章悦，汪璠，陆飞，
申请(专利权)人：南京师范大学，
类型：发明
国别省市：江苏;32