一种基于选择性搜索与CNN的铸件X光图像缺陷识别方法技术

本发明专利技术属于铸件制造配套工艺相关技术领域，并公开了一种基于选择性搜索与CNN的铸件X光图像缺陷识别方法，其包括：针对待进行质量检测的每个铸件拍摄X射线图像并进行图像预处理；采用选择性搜索算法将图像内的所有可疑缺陷全部框选出来；建立模型图像数据库，基于卷积神经网络构建缺陷分类模型，并训练直至满足预测精度要求；基于上述构建的缺陷分类模型预测各缺陷类别并标记，同时根据图像像素信息计算缺陷相对尺寸和位置，获得铸件X射线图像缺陷检测报告。通过本发明专利技术，能够更为精确、便捷地自动检测出铸件X射线图像内各类缺陷，并自动判定出缺陷类别，减少人工工作量，且部分检测结果可直接与生产相联，从而为优化铸造工艺提供数据反馈。

A Casting X-ray Image Defect Recognition Method Based on Selective Search and CNN

The invention belongs to the related technical field of casting manufacturing matching process, and discloses a method of casting X-ray image defect recognition based on selective search and CNN, which includes: taking X-ray image for each casting to be inspected for quality and preprocessing the image; selecting all suspicious defects in the image frame by selective search algorithm; and establishing the number of model images. In database, defect classification model is constructed based on convolution neural network, and trained to meet the prediction accuracy requirements; defect classification model is constructed based on the above to predict each defect category and mark, and defect relative size and location are calculated according to image pixel information, and defect detection report of casting X-ray image is obtained. The invention can automatically detect various defects in X-ray image of castings more accurately and conveniently, and automatically determine the types of defects, so as to reduce manual workload, and some test results can be directly linked with production, thus providing data feedback for optimizing casting process.

【技术实现步骤摘要】
一种基于选择性搜索与CNN的铸件X光图像缺陷识别方法
本专利技术属于铸件制造配套工艺相关
，更具体地，涉及一种基于选择性搜索与CNN(卷积神经网络)的铸件X光图像缺陷识别方法。
技术介绍
铸造是现代制造工业的基础工艺之一。铸件各类缺陷严重影响铸造产品的安全使用，因此实现铸件缺陷检测是控制铸件质量的重要环节。随着无损检测技术的高速发展，各类检测技术在工业检测领域获得了广泛应用，如超声检测、红外检测和射线检测等，这些检测结果为提升产品的质量安全提供了数据支持；其中X射线成像检测通过透射试件内部，可高效获得其内部缺陷数量、各缺陷形态和位置分布等信息，因此越来越多地获得了本领域的重视和关注。然而，进一步的研究表明，现有的铸件X射线图像检测方案仍具备以下的缺陷或不足：首先，目前常规的做法是，当铸件经过X射线实时扫描和成像后，将对应底片物理打印出来，专业人员再对成像胶片进行人工检测，从而判定缺陷的类型、量化尺寸并记录位置信息等；该种手工检测方法存在人员主观依赖性强、缺陷存在误检漏检等问题，且过程步骤较为繁琐，缺陷检测效率不高，信息保存和查询极为不便，不能实时反馈被检铸件的质量情况。其次，对于造型浇注的整体生产线而言，其涉及到的环节和数据信息较多，质量检测环节作为检验铸件工艺成果的主要环节之一，保持检测结果与整体生产流程信息的及时关联性尤为重要，从而能及时为工艺优化提供准确的数据反馈。相应地，本领域亟需寻找针对性的解决方案，以便更好地满足实际生产实践中面临的以上技术需求。
技术实现思路
针对现有技术的以上不足或改进需求，本专利技术提供了一种基于选择性搜索与CNN的铸件X光图像缺陷识别方法，其中通过紧密结合浇注成型生产线的相关数据特征及工艺需求分析，从多种算法中选择引入特定的图像搜索和缺陷类别预测模型，相应不仅可以更为精确、及时地反馈铸件质量检测结果信息，跟踪追溯得出铸件质量缺陷的根源及关键过程，进而能够快速掌握整个浇注工艺过程质量问题产生的规律性，因此尤其适用于现代化制造过程中需要对铸件质量执行高效率、高质量在线监控的应用场合。为实现上述目的，按照本专利技术，提供了一种基于选择性搜索与CNN的铸件X光图像缺陷识别方法，其特征在于，该方法包括下列步骤：(S1)针对待进行质量检测的每个铸件拍摄X射线图像，并对其执行图像滤波和增强处理；(S2)采用选择性搜索算法将图像内的所有可疑缺陷全部框选出来候选并给予编号，其中所述可疑缺陷既包含真实缺陷区域、又包含铸件结构设计所导致的灰度突变区域；(S3)将铸件质量缺陷划分为高密度夹杂、低密度夹杂、气孔、缩孔、未熔合、裂纹、缩松缺陷和铸件结构背景共8个类别，然后处理图像内缺陷区域，给定缺陷标签并剪切下来，建立图像数据集，进一步根据特定比例将数据集分成训练集和验证集；接着，基于卷积神经网络来构建缺陷分类预测模型，再将图像训练集送入模型中进行训练和优化，然后验证集验证模型精度直至满足要求；(S4)将上述步骤(S2)框选出来的候选区域输入至通过上述步骤(S3)优化后的预测模型，相应得出铸件质量缺陷的所属类别并给予位置标定，由此完成整体的铸件X光图像缺陷识别过程。作为进一步优选地，在步骤(S1)中，所述增强处理优选包括亮度增强、色度增强、对比度增强和锐度增强等操作。作为进一步优选地，在步骤(S4)中，优选还包括得出铸件质量缺陷相对尺寸大小的操作，该过程设计如下：当确定所述候选区域的缺陷类别后，优选将其标记在图像内的缺陷一侧，同时打印各缺陷外接区域方框左下和右上对角线上的两个参考点的坐标值，由此对缺陷在候选区域中的位置给予定位；接着将这两个参考点的坐标值做差以计算外接方框的宽高，由此对缺陷在候选区域中的尺寸大小给予表征。作为进一步优选地，在步骤(S4)中，优选还包括以一张完整的铸件X射线图像为单位，对应生成铸件缺陷检测报告的操作，并且将此报告存储在所述数据库中备用。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：1、该方法依据图像内目标物体特征自动进行搜索和分类，脱离了人为主观性，减少了漏检和误检情况；此外整个检测过程无需将底片打印出来单独检测和管理，节省人力物力成本，同时减少人工劳动量，缩短检测时间，提高了检测效率；2、本专利技术还进一步通过对铸件缺陷类别预测过程的特定模型相应算法进行了优化设计，较多的实际测试表明，其相应能够显著提高铸件缺陷类型的预测准确度及缺陷位置和尺寸的数据精度；3、该检测方法实时检测铸件即出电子化缺陷检测报告，报告存储和归档查询与铸件信息直接对应，部分检测结果可单独提取与铸件生产制造相联系，为优化铸造工艺及时提供准确的数据反馈。附图说明图1是按照本专利技术优选实施方式所构建的铸件X光图像缺陷识别方法的整体工艺流程示意图；图2是更为具体地显示了按照本专利技术采用CNN来构建分类模型及预测的处理过程示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。图1是按照本专利技术优选实施方式所构建的铸件X光图像缺陷识别方法的整体工艺流程示意图。如图1中所示，该工艺主要包括下列流程步骤：首先，针对待进行质量检测的每个铸件拍摄X射线图像，并对其执行图像滤波和增强处理等预处理。更具体而言，可根据铸件X射线图像目标特征，选取适合的图像滤波与增强组合，以改善后续处理的图像质量。滤波时考虑到铸件存在尺寸较小的缺陷，所以在选择滤波器或者窗口尺寸时注意保留图像细节。针对铸件X射线图像为灰度图像，可适当增强图像亮度、色度、对比度以及锐度，以提高图像目标与背景的对比，改善后续检测效果。接着，优选可采用选择性搜索算法将图像内的所有可疑缺陷全部框选出来候选并给予编号，其中所述可疑缺陷既包含真实缺陷区域、又包含铸件结构设计所导致的灰度突变区域；更具体而言，铸件X射线图像经过处理后，可以检测图像内目标的相似度，包括纹理相似度、尺度相似度和交叠相似度等，基于选择性搜索算法将图像内可疑区域全部框选出来，并譬如可按照图像从左到右从上至下顺序编号。此处的目标既包括真实缺陷，也可能包括铸件结构设计所造成的灰度突变区域，所有候选区域留待后续详细分类。接着，是构建并训练基于CNN的缺陷类别预测模型的步骤。如图2更具体所示，在本专利技术中将铸件质量缺陷划分为高密度夹杂、低密度夹杂、气孔、缩孔、未熔合、裂纹、缩松缺陷和铸件结构背景共8个类别，然后处理图像内缺陷区域，给定缺陷标签并剪切下来，建立图像数据集，进一步根据特定比例将数据集分成训练集和测试集；接着，基于卷积神经网络来构建缺陷分类预测模型，再将图像训练集送入模型中进行训练和优化，然后验证集验证模型精度直至满足要求；模型结构主要包括输入层、5层卷积池化层、3层全连接层和输出层，此构建原理为本领域所熟知，因此在此不再赘述。更具体而言，在进行模型训练之前，先准备图像数据集。将图像内框选出来的候选区域给定标签，具体类别为高密度夹杂、低密度夹杂、气孔、缩孔、未熔合、裂纹、缩松缺陷和铸件结构背景等8个类别，分类依据为各类别目标的灰度差别、边本文档来自技高网...

【技术保护点】
1.一种基于选择性搜索与CNN的铸件X光图像缺陷识别方法，其特征在于，该方法包括下列步骤：(S1)针对待进行质量检测的每个铸件拍摄X射线图像，并对其执行图像滤波和增强处理；(S2)采用选择性搜索算法将图像内的所有可疑缺陷全部框选出来候选并给予编号，其中所述可疑缺陷既包含真实缺陷区域、又包含铸件结构设计所导致的灰度突变区域；(S3)将铸件质量缺陷划分为高密度夹杂、低密度夹杂、气孔、缩孔、未熔合、裂纹、缩松缺陷和铸件结构背景共8个类别，然后处理图像内缺陷区域，给定缺陷标签并剪切下来，建立图像数据集，进一步根据特定比例将数据集分成训练集和验证集；接着，基于卷积神经网络来构建缺陷分类预测模型，再将图像训练集送入模型中进行训练和优化，然后验证集验证模型精度直至满足要求；(S4)将上述步骤(S2)框选出来的候选区域输入至通过上述步骤(S3)优化后的预测模型，相应得出铸件质量缺陷的所属类别，并给予位置标定，由此完成整体的铸件X光图像缺陷识别过程。

【技术特征摘要】
1.一种基于选择性搜索与CNN的铸件X光图像缺陷识别方法，其特征在于，该方法包括下列步骤：(S1)针对待进行质量检测的每个铸件拍摄X射线图像，并对其执行图像滤波和增强处理；(S2)采用选择性搜索算法将图像内的所有可疑缺陷全部框选出来候选并给予编号，其中所述可疑缺陷既包含真实缺陷区域、又包含铸件结构设计所导致的灰度突变区域；(S3)将铸件质量缺陷划分为高密度夹杂、低密度夹杂、气孔、缩孔、未熔合、裂纹、缩松缺陷和铸件结构背景共8个类别，然后处理图像内缺陷区域，给定缺陷标签并剪切下来，建立图像数据集，进一步根据特定比例将数据集分成训练集和验证集；接着，基于卷积神经网络来构建缺陷分类预测模型，再将图像训练集送入模型中进行训练和优化，然后验证集验证模型精度直至满足要求；(S4)将上述步骤(S2)框选出来的候选区域输入至通过上述步骤(S3)优化后的预测模型，相应得出铸件质量缺陷的所属类别，并给予位置...

【专利技术属性】
技术研发人员：计效园，颜秋余，周建新，殷亚军，沈旭，武博，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42