一种増材制造过程中零件缺陷在线检测的方法及检测系统技术方案

本发明专利技术属于増材制造领域，公开了一种増材制造过程中零件缺陷在线检测的方法及检测系统。该方法包括下列步骤：(a)采集増材制造过程中的零件表面缺陷的图像，标注缺陷图像中的缺陷类型和位置，以此训练缺陷检测神经网络建立预测模型，该预测模型包括图像缺陷区域生成模块和图像分类定位模块；(b)将待预测图像输入预测模型中的图像缺陷区域生成模块，提取并获得该待预测图像对应的特征图，然后获得缺陷的大小、尺寸和位置；(c)将获得的缺陷所在的区域输入图像缺陷分类定位模块中，获得缺陷的类型和具体位置。通过本发明专利技术，避免在恶劣增材制造环境下人工肉眼检测，实现缺陷识别分类和定位，准确率高、检测速度快、装置简单成本低等优势。

A method and system for on-line detection of part defects in the process of material added manufacturing

【技术实现步骤摘要】
一种増材制造过程中零件缺陷在线检测的方法及检测系统
本专利技术属于増材制造领域，更具体地，涉及一种増材制造过程中零件缺陷在线检测的方法及检测系统。
技术介绍
增材制造作为一种零件快速逐层堆叠加工成型方式，具有一体化制造、零件工艺质量高、快速成型等优势，在高端制造业如航空航天领域大型结构件和高端精密部件如医疗器件等领域应用广泛，高端制造业对增材制造零部件的工艺质量提出了严格的要求，因此迫切需要提出和实施增材制造零件工艺质量精密检测方法，尤其是零件缺陷检测方法。然而，现有的增材制造零件缺陷检测方法主要存在以下的劣势：一是增材制造零件通常是大型结构件，检测区域大，使用传统的电涡流探伤、超声探伤的检测范围有限，存在很多检测盲区，难以完全检测到零件加工表面和内部的缺陷，二是传统的基于图像处理的缺陷检测方法应用在增材制造零件表面的缺陷检测时，由于实时检测时加工环境复杂，缺陷类型多样，导致缺陷检测的准确度不够高，难以直接应用在实际的增材制造缺陷检测中，三是采用卷积神经网络和机器学习分类算法实现缺陷特征提取和分类，图像特征提取后进行分类器多标签分类，两阶段没有反馈机制，分类方式过于粗略，丢失过多图像特征，导致分类准确率不够高，四是目前现有的绝大部分传统图像处理检测算法和机器学习算法无法达到实际制造过程中检测的实时性，巨大的运算成本和计算耗时无法满足实际生产加工过程中的检测要求或者对于检测成本要求过高。
技术实现思路
针对现有技术的以上不足和改进需求，本专利技术提供了一种増材制造过程中零件缺陷在线检测的方法及检测系统，通过在预测模型中构建图像缺陷区域生成模块和图像分类定位模块，然后分阶段对图像采集装置或者激光超声探测装置采集的图像进行处理，以此获得图像中缺陷的相关信息，包括尺寸大小、类型和位置等，该在线检测方法识别的准确率高，能够避免在恶劣增材制造环境下人工肉眼检测零件质量，具有识别分类和定位准确率高、装置简单成本低等优势。为实现上述目的，按照本专利技术的一个方面，提供了一种増材制造过程中零件缺陷在线检测的方法，该方法包括下列步骤：(a)采集増材制造过程中的零件表面缺陷的图像，对缺陷图像中的缺陷类型和位置进行标注，以此获得缺陷类型和位置确定的图像，利用该图像训练缺陷类型预测的卷积神经网络模型，即预测模型，该预测模型中包括图像缺陷区域生成模块和图像分类定位模块，所述图像缺陷区域生成模块用于在待预测图像中搜寻并由搜寻的结果重构生成缺陷区域，所述图像分类定位模块用于在待预测图像中对缺陷类型进行分类和准确定位；(b)将待预测图像输入所述预测模型中的图像缺陷区域生成模块，提取并获得该待预测图像对应的特征图，然后根据该特征图获得缺陷的大小、尺寸和位置，具体按照下列步骤进行：(b1)在所述特征图上设定多个尺寸的滑动窗口，并将每个滑动窗口中划分为多个候选窗口，将所述每个滑动窗口在所述特征图上进行扫描，并提取每个滑动窗口中每个所述候选窗口中的特征，以此获得每个滑动窗口中所有候选窗口中对应的特征，将所有滑动窗口中提取的特征进行融合，以此获得由多个候选窗口组合形成的缺陷；(b2)将步骤(b1)中形成缺陷的候选窗口以及该候选窗口中的特征映射至所述待预测图像中，以此获得所述候选窗口以及每个候选窗口中的特征在所述预测图像中的位置；(b3)在所述预测图像中将所述候选窗口划分为多个区域，对每个区域进行池化运算，以此获得在所述预测图像中缺陷所在的区域，包括缺陷的大小、尺寸和初步的位置；(c)将经过步骤(b3)获得的缺陷所在的区域输入所述预测模型中的图像缺陷分类定位模块中，获得缺陷的类型和具体位置。进一步优选地，在步骤(c)中，所述获得的缺陷类型是通过计算步骤(b3)中的缺陷对应的缺陷类型的概率，其中概率最大的缺陷类型即为预测的缺陷类型。进一步优选地，在步骤(c)中，所述获得的缺陷的具体位置通过采用边框坐标回归的方式。进一步优选地，在步骤(a)中，当采集増材制造过程中的零件表面缺陷的图像时，优选对图像进行扩充以此增加图像的数量，扩充的方式包括对原图像的大小随机缩放，上下和左右对称变换，颜色亮度随机调整，饱和度随机调整，图像随机拼接，图像随机旋转，随机裁剪，镜像变换，然后将扩充获得的图像采用生成对抗神经网络进行数据生成，生成得到不同于原图像的新图像，该新的图像和扩充前的图像共同用于建立预测模型。按照本专利技术的另一方面，提供了一种上述所述的方法的检测系统，该检测系统包括图像采集装置、激光超声探测装置、控制器、数据存储器和实时显示装置，其中，所述图像采集装置用于拍摄増材制造中零件制造过程的视频；所述激光超声探测装置用于拍摄预设厚度内零件的超声图像；所述控制器中设置有预测模型，该控制器接受所述图像采集装置采集的视频和激光超声探测装置采集的超声图像，利用所述预测模型对所述采集的视频和超声图像中缺陷的类型和位置进行预测；所述数据存储与所述控制器连接，用于存储所述控制器中的数据；所述实时显示装置与所述控制器连接，用于将所述控制器检测的缺陷的类型和位置进行实时的显示。进一步优选地，所述图像采集装置采集的视频输入所述控制器后，还需对所述视频的逐帧图像进行图像预处理，使得该图像对应的灰度直方图中的灰度分布均匀，避免图像过曝或过暗。进一步优选地，所述图像进行图像预处理后还需进行图像去雾处理，以此去除増材制造过程中图像中拍摄的环境气氛中的金属小颗粒形成的金属雾。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：1、本专利技术通过采用超声探测装置将探测到的零件内部缺陷与图像采集装置采集的光学图像通过多阶段缺陷检测算法识别到的零件表面缺陷进行统一决策，建立增材制造零件加工工艺参数决策模型，依据零件的加工工艺要求，如表面粗糙度，平整度，实时调整增材制造的工艺参数，如激光功率，金属丝供给速度等，调节零件的下一层堆叠时的成型质量，减少零件的加工工艺缺陷，通过仿真和实验的方式确定失效阈值，当缺陷检测的结果超过设定的失效阈值时，反馈给零件加工中心停止当前零件的加工，确保良品率和减少物料的加工成本；2、本专利技术中激光超声探测装置中超声换能器将电信号转换为机械振动向零件发出超声波，零件内部不同材料反射不同能量的超声波，由超声换能器接收到超声波后通过成像芯片的压电效应或光电效应将探测物体再次成像，通过超声成像的方法探测出零件内部的缺陷，再次经由预测模型多阶段图像缺陷检测模块分类和识别出缺陷，方便快捷，准确率高；3、本专利技术增材制造过程中实时在线进行原位缺陷检测，不仅仅能够检测到制造零件的表面缺陷，逐层检测保证了能够检测到逐层堆叠增材时的缺陷，超声成像探测零件内部缺陷，极大程度上提高了缺陷检测系统的准确性和鲁棒性。附图说明图1是按照本专利技术的优选实施例所构建的零件缺陷在线检测的示意图；图2是按照本专利技术的优选实施例所构建的在线检测方法的详细流程图。具体实施方式为了使本专利技术的目的、技术方案及本文档来自技高网...

【技术保护点】
1.一种増材制造过程中零件缺陷在线检测的方法，其特征在于，该方法包括下列步骤：/n(a)采集増材制造过程中的零件表面缺陷的图像，对缺陷图像中的缺陷类型和位置进行标注，以此获得缺陷类型和位置确定的图像，利用该图像训练缺陷预测的卷积神经网络模型，即预测模型，该预测模型中包括图像缺陷区域生成模块和图像分类定位模块，所述图像缺陷区域生成模块用于在待预测图像中搜寻并由搜寻的结果重构生成缺陷区域，所述图像分类定位模块用于在待预测图像中对缺陷类型进行分类和准确定位；/n(b)将待预测图像输入所述预测模型中的图像缺陷区域生成模块，提取并获得该待预测图像对应的特征图，然后根据该特征图获得缺陷的大小、尺寸和位置，具体按照下列步骤进行：/n(b1)在所述特征图上设定多个尺寸的滑动窗口，并将每个滑动窗口中划分为多个候选窗口，将所述每个滑动窗口在所述特征图上进行扫描，并提取每个滑动窗口中每个所述候选窗口中的特征，以此获得每个滑动窗口中所有候选窗口中对应的特征，将所有滑动窗口中提取的特征进行融合，以此获得由多个候选窗口组合形成的缺陷；/n(b2)将步骤(b1)中形成缺陷的候选窗口以及该候选窗口中的特征映射至所述待预测图像中，以此获得所述候选窗口以及每个候选窗口中的特征在所述预测图像中的位置；/n(b3)在所述预测图像中将所述候选窗口划分为多个区域，对每个区域进行池化运算，以此获得在所述预测图像中缺陷所在的区域，包括缺陷的大小、尺寸和初步的位置；/n(c)将经过步骤(b3)获得的缺陷所在的区域输入所述预测模型中的图像缺陷分类定位模块中，获得缺陷的类型和具体位置。/n...

【技术特征摘要】
1.一种増材制造过程中零件缺陷在线检测的方法，其特征在于，该方法包括下列步骤：
(a)采集増材制造过程中的零件表面缺陷的图像，对缺陷图像中的缺陷类型和位置进行标注，以此获得缺陷类型和位置确定的图像，利用该图像训练缺陷预测的卷积神经网络模型，即预测模型，该预测模型中包括图像缺陷区域生成模块和图像分类定位模块，所述图像缺陷区域生成模块用于在待预测图像中搜寻并由搜寻的结果重构生成缺陷区域，所述图像分类定位模块用于在待预测图像中对缺陷类型进行分类和准确定位；
(b)将待预测图像输入所述预测模型中的图像缺陷区域生成模块，提取并获得该待预测图像对应的特征图，然后根据该特征图获得缺陷的大小、尺寸和位置，具体按照下列步骤进行：
(b1)在所述特征图上设定多个尺寸的滑动窗口，并将每个滑动窗口中划分为多个候选窗口，将所述每个滑动窗口在所述特征图上进行扫描，并提取每个滑动窗口中每个所述候选窗口中的特征，以此获得每个滑动窗口中所有候选窗口中对应的特征，将所有滑动窗口中提取的特征进行融合，以此获得由多个候选窗口组合形成的缺陷；
(b2)将步骤(b1)中形成缺陷的候选窗口以及该候选窗口中的特征映射至所述待预测图像中，以此获得所述候选窗口以及每个候选窗口中的特征在所述预测图像中的位置；
(b3)在所述预测图像中将所述候选窗口划分为多个区域，对每个区域进行池化运算，以此获得在所述预测图像中缺陷所在的区域，包括缺陷的大小、尺寸和初步的位置；
(c)将经过步骤(b3)获得的缺陷所在的区域输入所述预测模型中的图像缺陷分类定位模块中，获得缺陷的类型和具体位置。


2.如权利要求1所述的一种増材制造过程中零件缺陷在线检测的方法，其特征在于，在步骤(c)中，所述获得的缺陷类型是通过计算步骤(b3)中的缺陷对应的缺陷类型的概率，其中概率最大的缺陷类型即为预测的缺陷类型。


3.如权利要求...

【专利技术属性】
技术研发人员：刘胜，韩峰，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42