一种基于改进ResNet的定向能量沉积熔池状态识别方法技术

本发明专利技术涉及一种基于改进ResNet的定向能量沉积熔池状态识别方法，属于增材制造技术领域。包括如下步骤：采集定向能量沉积加工时所产生的熔池加工图像数据及对应熔池状态数据，通过阈值分割与边缘检测等预处理操作后贴标签；构建基于改进ResNet的深度学习网络，实现了熔池状态的有效识别；本发明专利技术具有图像特征提取能力精细、模型泛用性强，适用于多种定向能量沉积加工场景的优点，可实现在背景的干扰比较突出的场景下，精准实时识别熔池状态，保证加工产品质量可控。加工产品质量可控。加工产品质量可控。

【技术实现步骤摘要】
一种基于改进ResNet的定向能量沉积熔池状态识别方法


[0001]本专利技术涉及一种基于改进ResNet的定向能量沉积熔池状态识别方法，涉及数控机床铣削刀具磨损量监测与刀具磨损临界状态识别
，属于增材制造


技术介绍

[0002]增材制造得益于其加工过程的优越性，近年来增材制造技术在航空航天，汽车、医疗等制造领域得到了广泛关注。在增材制造过程中，由于制造过程环境的恶劣以及受技术原理的限制，使加工对象在成形过程中可能产生影响性能的缺陷，这种质量控制方面的不足成为增材制造技术广泛工业化的瓶颈。
[0003]熔池作为激光增材制造加工中的重要物理现象及多场耦合的重要载体，决定着增材制造加工质量与产品性能。因此，探究熔池状态预测方法，对增材制造过程质量控制具有十分重要的意义，也为工艺稳定性与构件质量的在线诊断识别及反馈控制提供重要的理论与数据支持。
[0004]现有研究与应用表明，激光增材制造熔池状态识别技术达到了一定水平，但现有方法的适用范围仍存在一定局限性，尚未达到准确、多场景稳定识别的程度。由于传统机器视觉方法依靠模型设计者先验知识进行设计，导致在生产应用过程中存在识别场景单一、熔池状态识别率低的问题，无法满足后续质量在线预测的要求，进而影响激光增材制造产品质量，增加后续工艺成本，经济损失严重。

技术实现思路

[0005]针对以上技术需求及问题，本专利技术旨在提供一种基于改进ResNet(残差网络)的定向能量沉积熔池状态识别方法，其能够避免经验设计特征提取方法导致的识别场景单一、熔池状态识别率低的问题。通过利用阈值分割与边缘检测方法提取熔池区域，将提取后的熔池图像数据输入到神经网络模型内，从而有效提升熔池识别模型精度。更具体的，所述识别方法在增材制造加工过程中，从CMOS(互补金属氧化物半导体)相机中获取的熔池加工图像信息及其对应的原始熔池状态数据(过熔、正常熔融、欠熔)，对原始数据进行阈值分割与边缘检测，形成熔池图像数据集，在此基础上进行数据增强，并将数据集划分为训练集与测试集，将训练样本代入至深度学习网络训练，可视化模型参数变化情况。
[0006]模型训练完成后，代入测试样本集进行验证，将熔池状态作为输出，识别精度作为主要的考虑因素，利用控制变量法优选改进ResNet模型的超参数，并可视化参数变化情况。训练完成后，代入测试样本集进行验证，将输出的熔池状态与实际熔池状态状态对比，若不符合精准度要求，则重新训练状态识别模型，直至模型能够精准识别熔池状态，从而为实现熔池状态监测打下基础。如此，本专利技术通过对加工图像进行阈值分割与边缘检测，并利用改进后的ResNet网络，能够精准实时识别熔池状态，具有预测准确率高、状态识别精准的优点。
[0007]为实现上述目的，本专利技术提供了一种基于改进ResNet的定向能量沉积熔池状态识
别方法，所述识别方法主要包括以下步骤：
[0008]步骤1：采集定向能量沉积加工过程中的原始熔池图像数据(1280*1024*3)及对应的熔池熔融状态数据，预处理状态数据集并打上标签；
[0009]步骤2：将采集得到的包含熔池背景、粉末飞溅的原始熔池图像数据输入到熔池识别程序中，以获取完整、清晰且符合神经网络输入大小的熔池图像。该程序首先通过分水岭阈值分割方法对图像进行阈值分割，将熔池与图像背景区域进行分离；之后对分离后的熔池进行边缘识别，以得到熔池区域的最小外接矩形；最后以最小外接矩形为中心，将熔池图像进行裁剪，得到可用的熔池图像数据集。
[0010]步骤3：将熔池图像数据集中的训练样本集输入到构建的改进ResNet网络模型中，以熔池图像数据为输入，熔池状态为输出，识别精度作为主要的考虑因素，利用控制变量法优选状态识别模型的超参数，并可视化参数变化情况。训练完成后，代入测试样本集进行验证，将输出的预测刀具临界状态与实际磨损临界状态对比，若符合生产精准度要求，则输入实时刀具磨损值进行在线刀具磨损状态识别，否则返回步骤2；
[0011]进一步地，熔池识别程序的阈值分割部分通过利用OpenCV(Opensource ComputerVisionLibrary：开放源代码计算机视觉库)库中的WaterShed(分水岭)方法，实现熔池主体和背景进行阈值分割。
[0012]进一步地，利用其Canny(坎尼)边缘检测方法对分离后的熔池主体进行边缘检测，Canny方法将对保护气、粉末等非熔池对象与熔池区域同时进行轮廓识别，形成包括所有具有轮廓对象的轮廓键值对。考虑到熔池是所有轮廓区域中面积最大的区域，在此通过对键值对中面积最大的部分进行索引，得到熔池区域的轮廓数据。
[0013]进一步地，利用OpenCV中内置的boundingRect(矩形边框)方法获取熔池边缘轮廓的外接矩形。通过确定矩形左上角的坐标(x,y)和矩形的宽度(w)和高度(h)，可以实现对熔池区域的定位。卷积神经网络需要的图像输入大小通常为224
×
224像素，因此以矩形中心点向外224像素的形式，截取最终的熔池ROI(regionofinterest：感兴趣区域)区域并保存，形成熔池图像数据集。
[0014]进一步地，在熔池图像数据集随机取70％的样本为深度学习网络的训练样本，其余30％为测试样本。为增加模型泛化性，对训练样本中30％的样本的进行旋转、翻转操作以增加模型泛化性。
[0015]进一步地，构建改进ResNet网络，该网络以ResNet50网络模型为基础进行改进，共包括5层。将原网络第1层替换64个5x5卷积核，后接3x3的最大池化层；将原ResNet50模型最后一层后的平均池化层和全连接层，改为由一个有256个输出单元的线性层，接着再连接ReLU层和Dropout层，然后是256x3的线性层，输出为3通道的softmax层。
[0016]进一步的，用图像集训练改进后的ResNet网络。进行将神经网络的各项参数与Dropout参数随机初始化，利用前向传播算法与反向传播算法逐层训练网络，最小化代价函数，提取图像特征、求得最终的熔池状态结果，并保存最优的网络权重与偏置、网络超参数。
[0017]总体而言，通过对比本专利技术以上技术方案与现有技术可知，本专利技术所提供的一种基于深度卷积神经网络的数控机床铣削刀具磨损实时监测方法主要具有以下有益效果：
[0018]1.受增材制造加工特性的影响，熔池图像拍摄过程中存在大量外界环境干扰，如基材反光、粉末飞溅等情况。除此之外熔池相较于整体拍摄图像而言比例很小，导致熔池图
像包含大量冗余的熔池背景信息，增加了网络训练负荷。因此通过对熔池图像进行阈值分割与边缘检测后，准确将熔池区域从背景与干扰信息中提取出来，降低了网络的训练成本，提高了图像数据集质量与准确性，拓宽了熔池识别场景适用性。
[0019]2.将训练样本集输入改进后的ResNet神经网络进行模型训练，利用控制变量法不断修正网络参数，并可视化模型参数变化情况，从而选取模型最优参数与超参数。通过分析熔池特征特征，更本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进ResNet的定向能量沉积熔池状态识别方法，其特征在于，包括以下步骤：步骤1：采集定向能量沉积加工过程中的原始熔池图像信息及其所对应的熔池状态信息，该熔池状态信息包括过熔、正常熔融、欠熔信息；步骤2：将采集得到的包含熔池背景、粉末飞溅的原始熔池图像数据输入到熔池识别程序中，以获取完整、清晰且符合神经网络输入大小的熔池图像，该程序首先通过分水岭阈值分割方法对图像进行阈值分割，将熔池与图像背景区域进行分离；之后对分离后的熔池进行边缘识别，以得到熔池区域的最小外接矩形；最后以最小外接矩形为中心，将熔池图像进行裁剪，贴标签后得到可用的熔池图像数据集；步骤3：将熔池图像数据集作为改进ResNet网络的输入，将熔池状态信息作为输出，识别精度作为主要的考虑因素，利用控制变量法优选熔池状态识别模型的超参数，并可视化参数变化情况，识别模型训练完成后，代入测试样本集验证，将输出的熔池状态与实际熔池状态对比，若符合精准度要求，得到最终的图像识别分类结果。2.如权利要求1所述...

【专利技术属性】
技术研发人员：杨国哲，倪致家，陈克强，姜兴宇，王子生，张壬，刘同明，李家振，宋博学，张凯，
申请(专利权)人：沈阳工业大学，
类型：发明
国别省市：