基于图像重构卷积神经网络的零件外观瑕疵检测方法技术

本发明专利技术涉及一种基于图像重构卷积神经网络的零件外观瑕疵检测方法，该方法通过构建好的网络模型，对输入图像进行瑕疵检测。在网络模型训练过程中，对原始输入图像进行预处理后初步提取瑕疵区域，根据所提取出的瑕疵特点进行自适应多尺度图像重构及随轮廓局部图像重构，创建输入图像重构集合，最后利用重构图像集合进行卷积神经网络的训练。在检测过程中，对输入图像做与训练过程中相同的预处理，然后将处理后的图像按其尺寸等分成若干个设定边长的正方形的图像块，并将每个图像块按位置标记编号，将每一个图像块输入到已经训练完成的卷积神经网络模型中进行特征提取及分类。最后，输出检测结果并定位。本发明专利技术提高了提高零件外观瑕疵检测的准确性和鲁棒性。

【技术实现步骤摘要】
基于图像重构卷积神经网络的零件外观瑕疵检测方法
本专利技术属于图像处理
的，具体涉及一种基于图像重构卷积神经网络的零件外观瑕疵检测方法。
技术介绍
精密零件，特别是精密金属零件，在生产和存储运输过程中，不可避免地会造成零件外观损伤，形成瑕疵。而精密零件的外观质量直接影响着最终产品的稳定性和使用寿命。因此，在投入使用之前，对这些零件外观瑕疵进行全面的检查筛选是必不可少的。作为图像处理的热点问题及自动化生产质量保障的关键技术，外观瑕疵检测方法的研究早在20世纪80年代就已开始，并吸引了国内外诸多学者进行了大量的研究。随着计算机与相机等硬件设备的迅速发展，基于视觉的外观检测技术更是受到了极大的推动。基于视觉的外观瑕疵检测技术中，依靠人工提取特征，再根据这些特征进行分类的方式，我们称之为传统的瑕疵检测方法。一般情况下，传统的瑕疵检测方法需要针对不同的外观瑕疵进行不同的特征提取操作，设置不同的检测阈值。这就使得检测算法的通用性较差。而通过人工进行特征选择使得算法效果很大程度上依赖人的经验，并且带有较强的主观性，当经验较少或认识不够全面时，容易导致检测算法仅对少部分样本有效，而对全部样本偏差较大。近年来，随着深度学习在语义识别、图像理解中取得的显著效果，利用神经网络自动训练特征表达的目标检测方法得到了越来越快的发展。深度学习模型是一种基于数据的端对端的数据描述模型。它具有非常强大的特征描述能力和建模能力。通过有监督或无监督的训练方式，自动地逐层优化参数，学习目标特征，实现对目标层次化的抽象和描述。鉴于卷积神经网络在图像识别领域的优秀表现，学者们开始将其应用于目标检测领域。这些分类技术在很多应用领域中都取得了较好的效果，但是针对零件外观瑕疵具有种类多样、对比度高低不等不易识别、精度要求高、受外界环境影响大等特点，依然给外观瑕疵检测及分类技术带来很大挑战。目前常用的方法都很难达到较好的效果。
技术实现思路
为了解决现有技术中的上述问题，即为了提高零件外观瑕疵检测的准确性和鲁棒性，本专利技术提供了一种基于图像重构卷积神经网络的零件外观瑕疵检测方法，该方法包括：1、一种基于图像重构卷积神经网络的零件外观瑕疵检测方法，其特征在于，包括以下步骤：步骤S1，对采集的零件外观图像进行增进可读性的预处理，得到第一零件外观图像；步骤S2，将第一零件外观图像进行等分，并对等分后的图像块进行位置编号；步骤S3，将每一个图像块输入到训练好的零件外观瑕疵检测模型中进行特征提取及分类，并输出检测及定位结果；其中，所述零件外观瑕疵检测模型基于卷积神经网络构建，并采用公有识别库进行预训练、采用预先构建的重构图像集合进行调优训练。在一些优选实施例中，所述重构图像集合，其创建步骤为：步骤A1，对训练样本中原始输入图像进行增进可读性的预处理，对零件瑕疵区域进行阈值分割，并初步提取瑕疵区域；步骤A2，根据步骤A1所提取的瑕疵区域计算自适应尺度参数并进行自适应多尺度图像重构及随轮廓局部图像重构，创建输入图像的重构图像集合。在一些优选实施例中，步骤A1中“初步提取瑕疵区域”，其提取阈值TH的计算公式为：其中，P0(t)(u0(t))2为目标的方差，P1(t)(u1(t))2为背景的方差，ω为目标方差权重。在一些优选实施例中，步骤A2中“根据步骤A1所提取的瑕疵区域计算自适应尺度参数”，自适应尺度参数n的计算方法为：步骤A211，对于训练样本图像Xi，利用加权最大类间差法，提取其瑕疵区域，并计算该瑕疵区域输出边长hn，初始尺度输出边长为n＝0时hn的值，记作h0；步骤A212，比较h0与网络输入图像块边长hd的大小，若h0<hd对则执行步骤A213，否则执行步骤A215；步骤A213，n＝n+1，将输入图像放大2n倍，得到对应瑕疵区域输出边长hn＝2n×h0；步骤A214，若hn+1>hd则输出自适应尺度参数n的值，否则执行步骤A213；步骤A215，n＝n-1，将输入图像缩小1/2n，得到对应瑕疵区域输出边长hn＝2n×h0；步骤A216，若hn-1<hd则输出自适应尺度参数n的值，否则执行步骤A215。在一些优选实施例中，步骤A2中“自适应多尺度图像重构”，其方法为：基于自适应尺度参数n，对该尺度图像hn进行无重叠的图像区块采集，采集图像区块大小为hd×hd。得到的多尺度图像集合定义为：其中，为第i幅训练图像得到的多尺度图像集合，为第i幅训练图像得到的尺度为n的重构图像，i为训练图像序号，n为自适应尺度参数。在一些优选实施例中，所述初始尺度输出边长为n＝0时hn的值记作h0，由下式计算：h0＝max{w,h}其中，w、h为提取出的瑕疵区域最小外接矩形的宽和高。在一些优选实施例中，步骤A2中“随轮廓局部图像重构”，包括以下步骤：步骤A221：基于自适应尺度参数n，利用加权自适应阈值分割提取出瑕疵区域Rd，其八连通内轮廓设为点集{Ci}。步骤A222：从轮廓的左上角像素开始，以t为步长沿轮廓{Ci}顺时针依次提取像素点，记为Pi，创建局部提取窗口中心集合P：P＝{Pi}＝{Ct×i},i＝0,1,...,n步骤A223：依次以点集P中各点Pi为中心，以尺寸hd×hd为窗口采集图像区块创建随轮廓局部图像集合：其中，为第i幅训练图像在尺度j下得到的局部图像集合，为第i幅训练图像在尺度j下得到的第m个局部图像。在一些优选实施例中，所述零件外观瑕疵检测模型中卷积神经网络的代价函数为：其中，X为训练样本，K是类别数，nx是每类样本的个数，F为模型函数，θ为模型参数，Y为数据实际标签。在一些优选实施例中，所述公有识别库为ILVCR2012数据集。在一些优选实施例中，步骤S2中“等分后的图像块”像素大小为224×224。本专利技术的有益效果在于：传统的外观瑕疵检测方法，使用阈值分割将瑕疵区域分割出来，再通过人工选取特征进行瑕疵类型的判断。而精密零件的外观瑕疵其瑕疵区域面积非常小，灰度分布没有规律，且一些瑕疵与背景的灰度对比度也比较低。传统的方法常常出现误分割，而分割出的瑕疵在分类时需要设置特定的阈值，使得一种算法无法实现多种不同类型的同时判别。本专利技术利用深度学习模型中卷积神经网络能够自动提取图像特征的特点，结合基于自适应多尺度提取及随轮廓局部提取的图像重构集合，进一步增强瑕疵检测网络的鲁棒性及准确性。具体来说，本专利技术(1)利用卷积神经网络，能够自动提取图像特征，解决了人工提取特征的单一性和不稳定性；(2)通过图像重构集合，进一步扩充了训练样本集中的样本数据，增强了网络的可靠性，实现了多种瑕疵的同时检测，达到了较高的瑕疵检测准确率。附图说明图1为本专利技术所提供方法的流程图；图2为本专利技术所提供图像重构集合的构建流程图。具体实施方式下面参照附图来描述本专利技术的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本专利技术的技术原理，并非旨在限制本专利技术的保护范围。如图1示出本专利技术所提供方法的流程图，本专利技术通过构建好的网络模型，对输入图像进行瑕疵检测。在网络模型训练过程中，先对原始输入图像进行滤波、图像增强等预处理，然后初步提取瑕疵区域，根据所提取出的瑕疵特点进行自适应多尺度图像重构及随轮廓局部图像重构，创建输入图像重构集合，最后利用重构图像集合进行卷积神本文档来自技高网...

【技术保护点】
1.一种基于图像重构卷积神经网络的零件外观瑕疵检测方法，其特征在于，包括以下步骤：步骤S1，对采集的零件外观图像进行增进可读性的预处理，得到第一零件外观图像；步骤S2，将第一零件外观图像进行等分，并对等分后的图像块进行位置编号；步骤S3，将每一个图像块输入到训练好的零件外观瑕疵检测模型中进行特征提取及分类，并输出检测及定位结果；其中，所述零件外观瑕疵检测模型基于卷积神经网络构建，并采用公有识别库进预训练、采用预先构建的重构图像集合进行调优训练。

【技术特征摘要】
1.一种基于图像重构卷积神经网络的零件外观瑕疵检测方法，其特征在于，包括以下步骤：步骤S1，对采集的零件外观图像进行增进可读性的预处理，得到第一零件外观图像；步骤S2，将第一零件外观图像进行等分，并对等分后的图像块进行位置编号；步骤S3，将每一个图像块输入到训练好的零件外观瑕疵检测模型中进行特征提取及分类，并输出检测及定位结果；其中，所述零件外观瑕疵检测模型基于卷积神经网络构建，并采用公有识别库进预训练、采用预先构建的重构图像集合进行调优训练。2.根据权利要求1所述的基于图像重构卷积神经网络的零件外观瑕疵检测方法，其特征在于，所述重构图像集合，其创建步骤为：步骤A1，对训练样本中原始输入图像进行增进可读性的预处理，对零件瑕疵区域进行阈值分割，并初步提取瑕疵区域；步骤A2，根据步骤A1所提取的瑕疵区域计算自适应尺度参数并进行自适应多尺度图像重构及随轮廓局部图像重构，创建输入图像的重构图像集合。3.根据权利要求2所述的基于图像重构卷积神经网络的零件外观瑕疵检测方法，其特征在于，步骤A1中“初步提取瑕疵区域”，其提取阈值TH的计算公式为：其中，P0(t)(u0(t))2为目标的方差，P1(t)(u1(t))2为背景的方差，ω为目标方差权重。4.根据权利要求2所述的基于图像重构卷积神经网络的零件外观瑕疵检测方法，其特征在于，步骤A2中“根据步骤A1所提取的瑕疵区域计算自适应尺度参数”，自适应尺度参数n的计算方法为：步骤A211，对于训练样本图像Xi，利用加权最大类间差法，提取其瑕疵区域，并计算该瑕疵区域输出边长hn，初始尺度输出边长为n＝0时hn的值，记作h0；步骤A212，比较h0与网络输入图像块边长hd的大小，若h0<hd对则执行步骤A213，否则执行步骤A215；步骤A213，n＝n+1，将输入图像放大2n倍，得到对应瑕疵区域输出边长hn＝2n×h0；步骤A214，若hn+1>hd则输出自适应尺度参数n的值，否则执行步骤A213；步骤A215，n＝n-1，将输入图像缩小1/2n，得到对应瑕疵区域输出边长hn＝2n×h0；步骤A216，若hn-1<h...

【专利技术属性】
技术研发人员：孙佳，王鹏，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11