基于深度学习的铸件内部缺陷分级评估系统及方法技术方案

本发明专利技术公开了一种基于深度学习的铸件内部缺陷分级评估系统及方法，所述系统包括深度学习网络；所述深度学习网络包括依次连接的第一卷积层、最大池化层、m个残差模块‑双流通道注意力模块组合、平均池化层、全连接层和softmax分类层；各所述残差模块‑双流通道注意力模块组合包括相串联的残差模块和双流通道注意力模块；铸件内部缺陷区域图像经所述深度学习网络训练后得到1×X的概率向量，所述概率向量中数值最大的元素所处的位置即为铸件内部缺陷的评估等级；其中，m＞1，X＞1，X为缺陷的等级个数。本发明专利技术可实现24小时自动在线评定缺陷等级，具有高鲁棒性，有利于提高铸件内部缺陷分级评估的准确性和稳定性。

Grading evaluation system and method of casting internal defects based on deep learning

【技术实现步骤摘要】
基于深度学习的铸件内部缺陷分级评估系统及方法
本专利技术涉及一种基于深度学习的铸件内部缺陷分级评估系统及方法。
技术介绍
缺陷分级评估，是指对缺陷进行检测和分类后，按缺陷的严重程度进行等级评定的过程。在铸件内部缺陷识别和分级评估上，目前主要还是依靠计算机辅助人工来评定，劳动量大，效率低，且受个人能力和经验影响大，可靠性和准确性受限，制约了其应用于大批量生产中铸件缺陷的自动在线检测。虽然实现铸件缺陷的自动检测、识别和分级评估具有十分重大的意义，但是目前针对铸件缺陷的自动识别与评估刚刚起步，在国内外均处于发展、研究阶段。
技术实现思路
本专利技术的目的是为解决目前对铸件缺陷的识别与评估效率低，可靠性和准确性受限的技术问题，提供一种基于深度学习的铸件内部缺陷分级评估系统及方法，以提高评估效率、可靠性及准确性。为了解决上述技术问题，第一方面，本专利技术提供一种基于深度学习的铸件内部缺陷分级评估系统，包括深度学习网络；所述深度学习网络包括依次连接的第一卷积层、最大池化层、m个残差模块-双流通道注意力模块组合、平均池化层、全连接层和softmax分类层；各所述残差模块-双流通道注意力模块组合包括相串联的残差模块和双流通道注意力模块；铸件内部缺陷区域图像经所述深度学习网络训练后得到1×X的概率向量，所述概率向量中数值最大的元素所处的位置即为铸件内部缺陷的评估等级；其中，m＞1，X＞1，X为缺陷的等级个数。进一步地，m＝4。进一步地，各所述残差模块包括尺寸均为3×3×n的卷积层一、卷积层二、卷积层三和卷积层四，其中，所述卷积层三的步长为2；所述卷积层一的输出端连接至所述卷积层二的输入端，所述卷积层三的输出端连接至所述卷积层四的输入端；输入特征图依次经过所述卷积层一和卷积层二后的第一输出值与所述输入特征图相加得到第一和值，所述第一和值依次经过所述卷积层三和卷积层四后的第二输出值与所述第一和值相加得到第二和值；其中，各所述残差模块中的n值随所述深度学习网络的深度的增加而增大。进一步地，四个所述残差模块中的n值分别为64、128、256和512。进一步地，各所述双流通道注意力模块包括第一注意力通道和第二注意力通道；所述第一注意力通道包括依次连接的全局平均池化层、全连接层一、全连接层二和sigmoid激活函数一，所述第二注意力通道包括依次连接的全局最大池化层、全连接层三、全连接层四和sigmoid激活函数二；原始特征图经所述第一注意力通道后得到第一权重向量，原始特征图经所述第二注意力通道后得到第二权重向量；所述第一权重向量与原始特征图相乘得到第一权重特征图，所述第二权重向量与原始特征图相乘得到第二权重特征图；所述第一权重特征图与第二权重特征图相加得到加权特征图。第二方面，本专利技术提供一种基于深度学习的铸件内部缺陷分级评估方法，包括如下步骤：建立铸件内部缺陷数据集，确定缺陷的等级为1至X；将所述数据集内的样本依次输入深度学习网络进行训练得到1×X的概率向量；取所述概率向量中数值最大的元素所处的位置作为铸件内部缺陷的评估等级；所述深度学习网络包括依次连接的第一卷积层、最大池化层、m个残差模块-双流通道注意力模块组合、平均池化层、全连接层和softmax分类层；各所述残差模块-双流通道注意力模块组合包括相串联的残差模块和双流通道注意力模块；其中，m＞1，X＞1，X为缺陷的等级个数。进一步地，m＝4。进一步地，各所述残差模块包括尺寸均为3×3×n的卷积层一、卷积层二、卷积层三和卷积层四，其中，所述卷积层三的步长为2；将所述卷积层一的输出端连接至所述卷积层二的输入端，将所述卷积层三的输出端连接至所述卷积层四的输入端；将输入特征图依次经过所述卷积层一和卷积层二后的第一输出值与所述输入特征图相加得到第一和值，将所述第一和值依次经过所述卷积层三和卷积层四后的第二输出值与所述第一和值相加得到第二和值；其中，各所述残差模块中的n值随所述深度学习网络的深度的增加而增大。进一步地，四个所述残差模块中的n值分别为64、128、256和512。进一步地，各所述双流通道注意力模块包括第一注意力通道和第二注意力通道；所述第一注意力通道包括依次连接的全局平均池化层、全连接层一、全连接层二和sigmoid激活函数一，所述第二注意力通道包括依次连接的全局最大池化层、全连接层三、全连接层四和sigmoid激活函数二；将原始特征图输入所述第一注意力通道后得到第一权重向量，将原始特征图输入所述第二注意力通道后得到第二权重向量；将所述第一权重向量与原始特征图相乘得到第一权重特征图，将所述第二权重向量与原始特征图相乘得到第二权重特征图；将所述第一权重特征图与第二权重特征图相加得到加权特征图。本专利技术相对于现有技术，具有如下预料不到的技术效果：1.不依赖人眼主观评价，避免了人工评定的易疲倦且受经验影响大等缺点，可以实现24小时自动在线评定缺陷等级。2.特征提取是基于卷积神经网络自动学习得出，而非基于人工设计的特征(如灰度，长宽比，HOG，LBP等)，所以该特征十分鲁棒，有利于提高铸件内部缺陷分级评估的准确性和稳定性。3.残差模块可以有效避免因层数增加而出现的梯度消失现象，从而训练较深的神经网络，提高网络的学习能力；双流通道注意力模块可以自主学习出各个通道对分级评估的贡献大小，使网络更加注意缺陷区域，从而优化网络的特征提取能力。附图说明图1是铸件内部缺陷区域的X射线数字图像。图2是本专利技术一个实施例中深度学习网络的结构示意图。图3是本专利技术一个实施例中残差模块的结构示意图。图4是本专利技术一个实施例中双流通道注意力模块的结构示意图。图5是本专利技术一个实施例中施加了双流通道注意力模块的深度学习网络对三个缺陷图像的类激活图与传统未施加双流通道注意力模块的深度学习网络对这三个缺陷图像的类激活图的对比示意图。具体实施方式现在结合附图和实施例对本专利技术作进一步详细的说明。本专利技术的一个实施例，首先建立铸件内部缺陷的数据集：基于工业数字化射线成像系统，采集1000张以上的如图1所示的数字图像，由专业的评片人员标注出图像中的缺陷区域和缺陷种类，并将缺陷区域图像的分辨率统一至224×224，最后对照国家标准或自行定义的标准中的缺陷数字图像参考图谱，确定缺陷的等级1至X，X代表国家标准或自行定义的标准对某种缺陷等级个数的规定，如铝合金缩孔缺陷，国家标准将缩孔缺陷等级划分为8个等级，则X＝8。如图1所示，其中的缺陷按其严重程度被划分为第7级。其次将数据集中的缺陷图像样本依次输入深度学习网络中进行训练，如，将图1所示的铸件内部缺陷区域图像输入图2所示的深度学习网络中进行训练，具体训练过程如下：将铸件内部缺陷区域图像输入至卷积层1，卷积层1的尺寸为7×7×64，步长为2，随后进入一个存储为3×3，步长为2的最大池化层1，得到尺寸为56×56×64的特征图1。特征图是指图像经过某个卷积层的卷积计算后得到的特征向量。特征向量一般是3维的，大小为H×W×C，本文档来自技高网...

【技术保护点】
1.基于深度学习的铸件内部缺陷分级评估系统，其特征在于，包括深度学习网络；所述深度学习网络包括依次连接的第一卷积层、最大池化层、m个残差模块-双流通道注意力模块组合、平均池化层、全连接层和softmax分类层；各所述残差模块-双流通道注意力模块组合包括相串联的残差模块和双流通道注意力模块；铸件内部缺陷区域图像经所述深度学习网络训练后得到1×X的概率向量，所述概率向量中数值最大的元素所处的位置即为铸件内部缺陷的评估等级；其中，m＞1，X＞1，X为缺陷的等级个数。/n

【技术特征摘要】
1.基于深度学习的铸件内部缺陷分级评估系统，其特征在于，包括深度学习网络；所述深度学习网络包括依次连接的第一卷积层、最大池化层、m个残差模块-双流通道注意力模块组合、平均池化层、全连接层和softmax分类层；各所述残差模块-双流通道注意力模块组合包括相串联的残差模块和双流通道注意力模块；铸件内部缺陷区域图像经所述深度学习网络训练后得到1×X的概率向量，所述概率向量中数值最大的元素所处的位置即为铸件内部缺陷的评估等级；其中，m＞1，X＞1，X为缺陷的等级个数。


2.根据权利要求1所述的基于深度学习的铸件内部缺陷分级评估系统，其特征在于，m＝4。


3.根据权利要求2所述的基于深度学习的铸件内部缺陷分级评估系统，其特征在于，各所述残差模块包括尺寸均为3×3×n的卷积层一、卷积层二、卷积层三和卷积层四，其中，所述卷积层三的步长为2；所述卷积层一的输出端连接至所述卷积层二的输入端，所述卷积层三的输出端连接至所述卷积层四的输入端；输入特征图依次经过所述卷积层一和卷积层二后的第一输出值与所述输入特征图相加得到第一和值，所述第一和值依次经过所述卷积层三和卷积层四后的第二输出值与所述第一和值相加得到第二和值；其中，各所述残差模块中的n值随所述深度学习网络的深度的增加而增大。


4.根据权利要求3所述的基于深度学习的铸件内部缺陷分级评估系统，其特征在于，四个所述残差模块中的n值分别为64、128、256和512。


5.根据权利要求3或4所述的基于深度学习的铸件内部缺陷分级评估系统，其特征在于，各所述双流通道注意力模块包括第一注意力通道和第二注意力通道；所述第一注意力通道包括依次连接的全局平均池化层、全连接层一、全连接层二和sigmoid激活函数一，所述第二注意力通道包括依次连接的全局最大池化层、全连接层三、全连接层四和sigmoid激活函数二；原始特征图经所述第一注意力通道后得到第一权重向量，原始特征图经所述第二注意力通道后得到第二权重向量；所述第一权重向量与原始特征图相乘得到第一权重特征图，所述第二权重向量与原始特征图相乘得到第二权重特征图；所述第一权重特征图与第二权重特征图相加得到加权特征图。


6.基于深度学习的铸件内部缺...

【专利技术属性】
技术研发人员：李兴捷，于涵，尚尔峰，
申请(专利权)人：沈阳铸造研究所有限公司，
类型：发明
国别省市：辽宁;21