一种铸造材料扫描电镜图像缺陷识别与量化方法技术

本发明专利技术公开了一种铸造材料扫描电镜图像缺陷识别与量化方法，首先对铸造材料拉伸断口的扫面电镜图片比例尺进行检测识别；根据比例尺大小分别采用数字图像处理方法和深度学习图像识别方法对缺陷进行检测识别；将识别后的缺陷通过降噪、膨胀等方法进行后处理；根据识别出来的比例尺，对处理后的缺陷进行量化统计。本方法对铸造材料扫描电镜图片中的缺陷进行准确快速识别，实现全自动化；在深度学习模型中基于待识别缺陷的特点进行了针对性的改进和调优，提高模型性能；能够准确地对缺陷进行量化，相比人工标注计算极大地提升了处理速度，十分高效的解决了定量统计方面的问题。十分高效的解决了定量统计方面的问题。十分高效的解决了定量统计方面的问题。

【技术实现步骤摘要】
一种铸造材料扫描电镜图像缺陷识别与量化方法


[0001]本专利技术属于缺陷分割量化领域，更具体地，涉及基于图像处理的铸造材料扫描电镜图像缺陷识别与量化方法。

技术介绍

[0002]铸造工艺可以制成形状复杂的零件，具有效率高，工序简单等优点，在汽车、电子、航空航天和运动器材等行业均获得广泛应用。然而，铸造工艺带来的孔洞缺陷，如气孔、缩孔和缩松，显著降低了铸造材料的力学性能和疲劳性能。为了定量描述缺陷对性能的影响，需要对铸造材料的断口缺陷进行量化分析。铸件断口的缺陷通常具有如下特点：大小不等，外形不规则，分布不均匀，数量无明显规律。这些特点给缺陷识别带来了巨大挑战。
[0003]传统上利用人工判定的方法量化缺陷大小，首先需要使用SEM扫描断口获取缺陷图片，随后导入Image
‑
Pro或Image
‑
J等图像处理软件，利用阈值分割或手动描边的方法定义出缺陷所占区域，此外还需要定义比例尺在图像中的长度及其代表的实际尺寸，最终由软件给出缺陷量化数据。这种方法不仅步骤繁琐，不适用于批量处理数据；并且受测量者主观因素影响，由不同人测量或同一人测量多次所获得的数据有很大波动性，因此定量数据准确性较低。
[0004]因此如何快速高效地识别和统计铸造材料断口缺陷，进而助力铸造材料缺陷控制及工艺优化不仅具有重要的学术研究价值,同时有着非常重要的工业应用潜力。近年来,随着以卷积神经网络(Convolutional neural network,CNN)为代表的深度学习模型在诸多计算机视觉(Computer vision,CV)领域成功应用,例如人脸识别、行人重识别、场景文字检测、目标跟踪和自动驾驶等。先进的深度学习算法，超强并行计算架构和大量的训练数据在图像处理上获得了巨大的成功。然而，现有的图像识别方法对显微图像的识别精度和速度还有待提高。如何改进这些方法，实现金属断口扫描电镜图像的自动识别以及缺陷的量化，已经引起工业界的广泛关注。
[0005]对于断口缺陷检测，现有技术已经提供了一些相关解决方案，主要包括目标检测和图像分割两类模型。现有的算法大多属于目标检测，这种算法能够快速准确地检测出是否存在缺陷以及其缺陷的位置。例如，CN202110259892.7公开了一种基于深度学习的材料显微图像缺陷识别方法、设备及装置，其中通过目标检测深度学习模型对显微图片进行缺陷预测，解决了合金结构显微图片缺陷标注的问题。由于目标检测只能分割出缺陷的位置，无法得到缺陷的具体形状，因此目标检测模型不适用于铸造材料扫描电镜图像的缺陷识别。图像分割是计算机视觉的另一方向，图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。数字图像处理的图像分割算法可以应用在大部分图片上，但是数字图像处理方法无法实现自动化，分割结果误差较大，并且无法应用在像素值接近的图片上；数字深度学习的图像分割算法应用在铸造材料扫描电镜图片上的结果一般，IOU并未达到预期效果，并且运行速度较慢。对于缺陷的统计量化，目前还未找到相关技术解决该问题。
[0006]有鉴于此，有必要设计一种基于图像处理的铸造材料扫描电镜图像缺陷识别与量化方法，以解决上述问题。该方法经过重新标定后，可以应用于增材制造材料扫描电镜图像缺陷的定量统计。

技术实现思路

[0007]为了解决现有技术中存在的不足，本专利技术提出一种铸造材料扫描电镜图像缺陷识别与量化方法，将基于深度学习的图像分割算法、数据增广技术、文字检测技术以及数字图像处理技术相结合，可以对铸造材料扫描电镜图片中的缺陷进行准确快速识别，实现全自动化；并且能够对缺陷进行量化分析，有效地解决了分割效果差以及运行速度缓慢的问题；相比人工标注极大地提升了处理速度，也十分高效的解决了定量统计方面的问题。
[0008]本专利技术所采用的技术方案如下：
[0009]一种铸造材料扫描电镜图像缺陷识别与量化方法，包括：
[0010]获得待识别铸造材料的图像；
[0011]将所述待识别图像输入到缺陷识别与量化模型，得到图像中缺陷的基本信息；所述缺陷的基本信息包括缺陷类别信息、缺陷位置信息、缺陷数量信息和缺陷面积信息；
[0012]所述缺陷识别与量化模型包括：
[0013]比例尺检测识别模型，对图像中比例尺进行检测识别；
[0014]图像放大倍数分类器，对图像放大倍数类别进行划分；
[0015]图像分割模型，包括数字图像分割模型和深度学习图像分割模型，根据图像放大倍数分类器输出的图像放大倍数选取图像分割模型，用于对待识别图像的缺陷的实际位置进行分割；
[0016]图像后处理模型，对图像分割模型输出的掩膜进行后处理；
[0017]定量分析模型，对处理后的缺陷进行定量表征。
[0018]进一步，所述比例尺检测识别模型具体如下：
[0019]S1.通过比例尺特征定位将比例尺的大致位置检测出；
[0020]S2.将检测出的比例尺图片，通过OCR(Optical character recognition)技术将比例尺的大小以及所占像素长度识别出来，用于采用图像分割模型的参照以及缺陷定量统计。
[0021]进一步，所述图像放大倍数分类器具体如下：
[0022]S1.根据待检测图像数据集的实际情况，确定像素长度阈值；
[0023]S2.每次检测中，将比例尺检测识别模型计算得到的像素长度和阈值进行比较，自动完成类别划分。
[0024]进一步，所述图像分割模型中数字图像分割模块包括如下步骤：
[0025]S1.不需做任何尺寸调整以及预处理，采用全局阈值分割的图像处理算法，根据像素点的像素值，设置好阈值，对全局图像进行像素点阈值分割，可将缺陷区域分割出来；
[0026]进一步，所述图像分割模型中深度学习图像分割模型的构建和分割过程包括如下步骤：
[0027]S1.构建基于传统U
‑
net神经网络进行改进的模型，在编码下采样层和解码输出层将卷积池化结构替换为空洞卷积池化金字塔(ASPP)网络结构，在特征提取的每个卷积层之
后加入注意力机制；
[0028]S2.首先对图片进行多步长特征提取，得到多个特征图；由ASPP网络对每一步得到的特征图从多尺度空洞卷积分支进行各自的卷积计算；通过注意力模块提供的通道权重和位置权重，将多个特征图和卷积后的特征图进行加权特征融合，得到最终的特征结果；对最终的特征图进行上采样，上采样到与原图同样大小后，实现对缺陷像素点的识别，从而实现图像分割。
[0029]进一步，所述图像分割模型中深度学习图像分割模型的训练方法包括如下步骤：
[0030]S1.随机初始化深度学习图像分割模型的参数，所述深度学习图像分割模型；
[0031]S2.将训练集输入构建的所述深度学习图像分割模型；
[0032]S3.每次图像输入到深度学习图像分割模型后，会提取到多组不同维度的特征图；不同维度的特征图融合后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种铸造材料扫描电镜图像缺陷识别与量化方法，其特征在于，包括：获得待识别铸造材料的图像；将所述待识别图像输入到缺陷识别与量化模型，得到图像中缺陷的基本信息；所述缺陷的基本信息包括缺陷类别信息、缺陷位置信息、缺陷数量信息和缺陷面积信息；所述缺陷识别与量化模型包括：比例尺检测识别模型，对图像中比例尺进行检测识别；图像放大倍数分类器，对图像放大倍数类别进行划分；图像分割模型，包括数字图像分割模型和深度学习图像分割模型，根据图像放大倍数分类器输出的图像放大倍数选取图像分割模型，用于对待识别图像中缺陷的实际位置进行分割；图像后处理模型，对图像分割模型输出的掩膜进行后处理；定量分析模型，对处理后的缺陷进行定量表征。2.根据权利要求1所述的一种铸造材料扫描电镜图像缺陷识别与量化方法，其特征在于，所述比例尺检测识别模型具体如下：S1.通过比例尺特征定位将比例尺的位置检测出；S2.将检测出的比例尺图片，通过OCR技术将比例尺的大小以及所占像素长度识别出来，用于采用图像分割模型的参照以及缺陷定量统计。3.根据权利要求1所述的一种铸造材料扫描电镜图像缺陷识别与量化方法，其特征在于，所述图像放大倍数分类器具体如下：S1.根据待检测图像数据集的实际情况，确定像素长度阈值；S2.每次检测中，将比例尺检测识别模型计算得到的像素长度和阈值进行比较，自动完成类别划分。4.根据权利要求1所述的一种铸造材料扫描电镜图像缺陷识别与量化方法，其特征在于，所述数字图像分割模块进行分割的方法为：采用全局阈值分割的图像处理算法，根据像素点的像素值，设置阈值，对全局图像进行像素点阈值分割，将缺陷所在区域分割出来。5.根据权利要求1所述的一种铸造材料扫描电镜图像缺陷识别与量化方法，其特征在于，所述深度学习图像分割模型的构建和分割过程包括如下步骤：S1.构建基于传统U
‑
net神经网络进行改进的模型，在编码下采样层和解码输出层将卷积池化结构替换为空洞卷积池化金字塔网络结构，在特征提取的每个卷积层之后加入注意力机制；S2.首先对图片进行多步长特征提取，得到多个特征图；由ASPP网络对每一步得到的特征图从多尺度空洞卷积分支进行各自的卷积计算；通过注意力模块提供的通道权重和位置权重，将多个特征图和卷积后的特征图进行加权特征融合，得到最终的特征结果；对最终的特征图进行上采样，上采样到与原图同样大小后，实现对缺陷像素点的识别，从而实现图像分割。6.根据权利要求4所述的一种铸造材料扫描电镜图像缺陷识别与量化方法，其特征在于，所述图像分割模型中深度学习图像分割模型的训练方法包括如下步骤：S1.随机初始化深度学习图像分割模型的参数，所述深度学习图像分割模型；
S2.将训练集输入构建的所述深度学习图像分割模型；S3.每次图像输入到深度学习图像分割模型后，会提取到多组不同维度的特征图；不同维度的特征图融合后将缺陷进行分割，得到缺陷的掩膜；再与真实缺陷像素点集合进行对比，计算出...

【专利技术属性】
技术研发人员：黄诗尧，丁佳俊，蒲亮兮，杨雨童，王秋锋，赵海龙，黄理，陈秋任，包祖国，韩维建，
申请(专利权)人：长三角先进材料研究院，
类型：发明
国别省市：