一种工业X光图像的分类方法技术

本发明专利技术公开了一种工业X光图像的分类方法，该方法实现了对工业生产过程中无损探伤检测环节的自动化，能够代替人工对该环节产生的X光图像进行病疵种类的快速分类。本发明专利技术还针对底纹对病疵图像识别的影响作出改进，通过提出去底纹函数，构造出纯底纹图像，利用原图与纯底纹图像的差异，在一定程度上去除原图中的底纹，大幅提升这种情况下图像分类的准确率。此外本发明专利技术通过对神经网络训练过程中残差的利用，大大降低训练耗时，确保了方法的高效性。

An industrial X optical image classification method

The invention discloses an industrial X optical image classification method, which realizes the automation of the nondestructive detection detection link in the industrial production process, and can replace the rapid classification of the disease fault types by the artificial X light images produced by the link. The invention also improves the effect of the bottom print on the recognition of the disease image. By putting forward the bottom grain function, the original image is constructed, and the difference between the original and the pure base pattern is used to remove the bottom lines in the original image to a certain extent, and the accuracy of the image classification is greatly improved. In addition, the invention reduces the training time and ensures the efficiency of the method by utilizing the residual in the training process of the neural network.

【技术实现步骤摘要】
一种工业X光图像的分类方法
本专利技术属于工业图像分类
，具体涉及一种工业X光图像的分类方法。
技术介绍
质量检验在工业界中是控制产品质量的一种重要手段，但是目前很多产品成型后都无法从表面对产品内部的结构性问题进行检验，因而产生了一些无损探伤检测的方法。这些无损探伤检测方法中，大部分是利用射线穿透金属，形成能反映一定内部结构的图像，然后人工进行识别。目前工业界在使用的主要方法是雇佣相应的技术工人，凭借个人知识对产品的X光图片进行判断，确定产品是否有问题以及存在问题的种类。但是这种传统的方法，因为对人力的大规模使用，也存在一些问题：(1)这种方法要求工人熟悉产品的内部结构，能够将图片中的内容与实际产品联系起来，这样就要求工人有长时间相关的工作经验并需要加以培训；(2)工人长期在X光设备附近工作，在工厂的维护下高频率生成X光图片，很难保证不受到辐射环境的侵害，可能会对身体健康造成影响；(3)工人在品质检验过程中，需要长时间、大频率、高精力进行X光图像的查看与判断，由于工作状态、个体差异等多种与人相关的因素，可能对结果造成人为的影响。此外还有根据带钢表面缺陷图像具有复杂纹理结构、包含大量干扰信息、具备高维非线性几何结构等特点，提出的基于监督双限制连接等距映射(Isomap)方法的带钢表面缺陷图像降维方法，用于对产品是否有缺陷和缺陷类型做分类。但是其在工业上的应用，往往是根据研究者的先验知识，通过滤波、降维等等的特征抽取手段，对其特定的应用场景能有比较好的应用效果，但缺乏相对的灵活性，而且先验知识及人工特征抽取的过程对结果有着很大的影响。
技术实现思路
鉴于上述，本专利技术提供了一种工业X光图像的分类方法，能够代替人工实现对工业产品X光图像的缺陷类型进行分类，实现全自动化，保证过程不受到人为变化因素的干扰。一种工业X光图像的分类方法，包括如下步骤：(1)获取由大量关于目标对象工业X光图像组成的数据库，将该数据库转换成VOC(VisualObjectClasses，虚拟对象分类)格式，并使数据库中的图像分为训练集、验证集和测试集，所述图像事先通过人工的方式标记有ROI(感兴趣区域)及其分类信息；(2)对数据库中的图像进行锐化处理，得到锐化数据集；(3)对于锐化数据集中的任一图像，使其与底纹图片进行差值化处理以确定该图像对应的正值图和负值图；(4)使训练集得到的正值图和负值图组成样本集合，并利用样本集合中的图像逐一输入至由ResNet(残差网络)与RPN(RegionProposalNet)组成的神经网络中进行训练，进而将该神经网络的输出结果作为Softmax分类器的输入，ROI的分类信息作为Softmax分类器的输出以对其进行训练，得到工业X光图像的分类模型；(5)利用验证集对该分类模型进行调试，利用测试集对调试后的分类模型进行分类测试。进一步地，所述步骤(1)中将数据库转换成VOC格式的具体方法为：创建Annotations、ImageSets和JPEGImages三个目录，其中目录Annotations用于存放每张图像对应的XML描述文件(包含有图像文件名、尺寸、ROI类型和位置等信息)，目录JPEGImages用于存放图像，目录ImageSets存放有train.txt、val.txt、test.txt三个文件，分别记录训练集、验证集和测试集中包含的图像文件名。进一步地，所述步骤(2)中对数据库中的图像进行锐化处理，具体方法为：首先根据方差σ＝1.5的高斯分布曲线对图像做半径为1的高斯模糊得到对应的高斯模糊图；然后根据公式x'＝(x-wz)/(1-w)对图像进行锐化处理，其中x和x'分别为图像中任一像素点锐化处理前后的像素值，z为该像素点在高斯模糊图中的像素值，w为预设的高斯权重；最后将锐化处理后图像中的像素值缩放至0～255范围内，遍历得到锐化数据集。进一步地，所述步骤(3)的具体实现过程如下：3.1对于锐化数据集中的任一图像，从该图像顶部向下截取h×m大小的图块，使该图块自上而下反复拷贝拼接形成尺寸与该图像大小相同的底纹图片，m为该图像的长度；3.2使该图像与其底纹图片做差生成正值图和负值图，即对于图像中的任一像素，若该像素值与底纹图片中对应的像素值的差值a大于等于0，则使正值图中对应的像素值为f(a)，负值图中对应的像素值为255；若差值a小于0，则使正值图中对应的像素值为255，负值图中对应的像素值为f(a)，f(a)＝255-(a2/255)；3.3根据步骤3.1和3.2使宽度h在预设区间[h1,h2]逐一遍历，得到多张正值图和负值图，取像素值和最大的正值图及其对应的负值图作为最终结果。进一步地，所述步骤(4)的具体实现过程为：首先将样本集合中的图像缩放至最小边为600像素；然后将缩放后的图像输入至ResNet中生成残差矩阵，进而使该残差矩阵作为RPN的输入，RPN的输出作为Softmax分类器的输入，数据库中对应原图像人工标记过的ROI的分类信息作为Softmax分类器的输出；最后通过训练以确立由ResNet、RPN以及Softmax分类器依次连接组成的分类模型。基于上述技术方案，本专利技术工业X光图像分类方法可以在工厂代替人工快速完成质检过程，并且随着工厂不断大量产生的图片，更新模型、提升效果；具体总结为以下几点益处：1.工业生产及质检为长期的流水过程，能产生大量的X光图像样本供模型学习，一般来说，样本越多，模型的能力就会越强。2.模型一旦形成，就能非常容易的扩展和复制，在整个领域中应用，且从始至终都有着比较好的判断能力。3.任务由机器来完成，不会因为各种人为因素而影响判断结果。4.模型在使用过程中，可以不断地学习而获得更好的判断能力。5.模型和方法在某个领域(如轮胎检测)有良好的表现后，由于神经网络方法的特点，非常容易扩展到其他领域(如化工)。附图说明图1为64号病疵的样例图片。图2为利用本专利技术分类方法对图1的处理流程示意图。图3为图1所对应生成的正值图。具体实施方式为了更为具体地描述本专利技术，下面结合附图及具体实施方式对本专利技术的技术方案进行详细说明。图1是轮胎生产过程中拍摄的X光图片，由左中右三张图片拼接而成，各占整图的大约三分之一，在图1中由纯黑色竖直粗线分割，左中右三部分分别为轮胎的左胎侧、胎面和右胎侧。图1中间偏左的位置有一根明显的跳线，对应轮胎实物中存在一根异常弯曲的钢丝，属于64号病疵。针对上述案例，利用本专利技术方法对数据集进行处理并训练生成分类模型，如图2所示，进而利用该分类模型对流水线中产生的图像进行分类，生成病疵的分类结果，具体流程如下：(1)先将数据集转换为VOC格式，即创建目录包含Annotations、ImageSets和JPEGImages三个子目录；其中Annotations目录下包含对JPEGImages中图片的XML描述文件，每个图对应一个文件，内容包括文件名、尺寸、对象(此处为病疵)类型和位置等；ImageSets目录下包括一个Main目录，其中有train.txt、val.txt、test.txt分别描述训练集、验证集、测试集，方式是逐行记录数据集包含的文件名。(2)接着对整个数据集的图片做处理，根据方差σ＝1.5的高斯分布曲线，根据该高斯分布曲线对图像本文档来自技高网...

【技术保护点】
一种工业X光图像的分类方法，包括如下步骤：(1)获取由大量关于目标对象工业X光图像组成的数据库，将该数据库转换成VOC格式，并使数据库中的图像分为训练集、验证集和测试集，所述图像事先通过人工的方式标记有ROI及其分类信息；(2)对数据库中的图像进行锐化处理，得到锐化数据集；(3)对于锐化数据集中的任一图像，使其与底纹图片进行差值化处理以确定该图像对应的正值图和负值图；(4)使训练集得到的正值图和负值图组成样本集合，并利用样本集合中的图像逐一输入至由ResNet与RPN组成的神经网络中进行训练，进而将该神经网络的输出结果作为Softmax分类器的输入，ROI的分类信息作为Softmax分类器的输出以对其进行训练，得到工业X光图像的分类模型；(5)利用验证集对该分类模型进行调试，利用测试集对调试后的分类模型进行分类测试。

【技术特征摘要】
1.一种工业X光图像的分类方法，包括如下步骤：(1)获取由大量关于目标对象工业X光图像组成的数据库，将该数据库转换成VOC格式，并使数据库中的图像分为训练集、验证集和测试集，所述图像事先通过人工的方式标记有ROI及其分类信息；(2)对数据库中的图像进行锐化处理，得到锐化数据集；(3)对于锐化数据集中的任一图像，使其与底纹图片进行差值化处理以确定该图像对应的正值图和负值图；(4)使训练集得到的正值图和负值图组成样本集合，并利用样本集合中的图像逐一输入至由ResNet与RPN组成的神经网络中进行训练，进而将该神经网络的输出结果作为Softmax分类器的输入，ROI的分类信息作为Softmax分类器的输出以对其进行训练，得到工业X光图像的分类模型；(5)利用验证集对该分类模型进行调试，利用测试集对调试后的分类模型进行分类测试。2.根据权利要求1所述的分类方法，其特征在于：所述步骤(1)中将数据库转换成VOC格式的具体方法为：创建Annotations、ImageSets和JPEGImages三个目录，其中目录Annotations用于存放每张图像对应的XML描述文件，目录JPEGImages用于存放图像，目录ImageSets存放有train.txt、val.txt、test.txt三个文件，分别记录训练集、验证集和测试集中包含的图像文件名。3.根据权利要求1所述的分类方法，其特征在于：所述步骤(2)中对数据库中的图像进行锐化处理，具体方法为：首先根据方差σ＝1.5的高斯分布曲线对图像做半径为1的高斯模糊得到对应的高斯模糊图；然后根据公...

【专利技术属性】
技术研发人员：罗智凌，晁德文，李莹，尹建伟，吴朝晖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33