基于区域关联神经网络的工业产品表面缺陷检测方法技术

本发明专利技术提供一种基于区域关联神经网络的工业产品表面缺陷检测方法，首先对图像进行预处理，然后构建区域关联神经网络，包括目标检测网络分支和光流预测网络分支：再将训练集中的图像进行随机反转，输入区域关联神经网络中进行特征提取；对目标检测网络分支和光流预测网络分支的特征信息进行融合；最后通过目标检测网络分支进行缺陷预测；本发明专利技术方法通过多尺度特征金字塔的方式把提取出的差异性特征信息与目标检测网络分支中特征信息进行融合，增强缺陷区域的特征信息，从而提高网络在缺陷检测中检测精度和鲁棒性。

【技术实现步骤摘要】
基于区域关联神经网络的工业产品表面缺陷检测方法
本专利技术涉及计算机视觉，深度学习和工业产品缺陷检测领域，尤其目标检测，光流预测以及印刷电路板表面缺陷检测。
技术介绍
工业生产中的产品缺陷将大大降低商品的价值。对于工业产品表面的缺陷，缺陷不仅影响产品外观，而且破坏产品的功能和可靠性。产品中的缺陷可能是设备精度不够，人工操作失误等原因造成的，为了在避免在生产中出现严重的质量问题，在实际的工业生产中需要大量的人力物力进行缺陷检测检查和筛选。因此，设计工业产品表面缺陷自动检测算法具有重要的意义。由于工业生产中缺陷变化多样，形式不一，难以设计出统一的人工特征，使得很多基于特征设计的传统的计算机室视觉算法在缺陷检测方面的检测精度和鲁棒性都不是特别好。近年来基于深度卷积神经网络的方法在一系列困难的计算机视觉问题上取得了显着进展，其中在目标检测方面使得算法的检测精度有了极大的提高，因此基于目标检测算法的应用在逐渐应用的很多领域。但在工业产品中，由于缺陷种类多，差异大以及尺寸小，使得通用的目标检测算法(例如FasterR-CNN，SSD)在工业数据中检测缺陷的表现难以使人满意。因此，在工业产品缺陷检测方面需要针对其特点设计专用的检测方法。只有通过对处理的工业产品数据进行充分的分析才能较好的设计出特有的工业产品缺陷检测深度神经网络模型。工业数据的特征没有统一的特征表示(例如颜色，大小和形状)，因此，难以通过统一的特征描述符来表达缺陷。但通过分析我们发现，许多工业产品在生产前要制定统一的产品生产标准，并按照预先设计的标准统一生产产品。产品缺陷是指不符合标准设计的产品。对于带有标准模板的此类产品，存在缺陷的产品区域与标准模板完全不同。根据一些工人的检查经验，将要测试的产品与产品的标准模板进行手动比较，以检查缺陷。根据该工业产品标准模板的存在以及手工缺陷检测的一些启发，可以以有助于数据缺陷检测的方式引入产品模板数据信息。通过对工业数据特点的分析，我们认为提取工业产品表面缺陷和没有缺陷的模板图像之间的差异可以作为我们提高工业产品缺陷检测精度的一种思路。近来，由于已经提出了一些基于光流技术的表面缺陷检测方法，这极大地启发了我们的工作。我们调查了工业缺陷信息特征与额外数据形式之间的联系。光流可以表示帧之间数据的变化。这意味着，对于工业产品的表面缺陷检测，可以使用光流来表示缺陷区域相对于模板的数据变化。同时由于目标检测网络较高的精度，在算法设计时可以对当前目标检测算法进行充分的融合和利用。
技术实现思路
针对现有技术中存在的不足，本专利技术提出一种基于区域关联神经网络的工业产品表面缺陷检测方法。在专利技术过程中我们发现工业数据中存在产品生产模版这一数据特点，设计通过光流网络关联模版数据凸显缺陷特征，并通过多尺度特征金字塔方式把差异信息与目标检测网络中的特征信息进行融合，从而提高网络对缺陷的检测精度。在本专利技术中使用电路印刷板作为工业数据的代表，缺陷检测网络由通用目标检测网络分支和光流预测网络FlowNetC组成，其中目标检测网络主要使用的是YOLOV3网络结构。在目标检测网络分支中对检测图像进行特征提取，光流分支网络中同时输入相同产品区域的模版图像和测试图像，通过FlowNetC的多层网络进行特征提取，特征关联以及光流的预测，然后通过融合两个网络分支中提取出的特征信息，并对融合后的特征图进行缺陷的预测。在缺陷检测领域，许多传统的算法研究都是基于具体的行业数据，针对其数据和缺陷的具体特征设计特征描述符，由于缺陷变化多样，特征不一，这种手工设计的特征描述符难以全面的对特征进行表达，使得算法在精度和鲁棒性方面表现的都不是特别好。本专利技术通过神经网络进行特征提取，使对工业数据由更好的普适性，通过光流分支关联模版图像和测试图像之间的差异性，并与目标检测网络分支进行融合能增强缺陷的差异性信息，可以提高在缺陷检测中检测精度和鲁棒性。基于区域关联神经网络的工业产品表面缺陷检测方法，步骤如下：步骤1：对图像进行预处理。步骤2：构建区域关联神经网络；所述的区域关联神经网络包括目标检测网络分支和光流预测网络分支：所述的目标检测网络分支采用YOLOv3，通过YOLOv3中的Darknet53网络结构对输入图像进行特征提取；所述的光流预测网络分支采用FlowNetC光流预测网络，进行特征提取和特征关联。步骤3：将训练集中的图像进行随机反转，输入区域关联神经网络中进行特征提取；步骤4：对目标检测网络分支和光流预测网络分支的特征信息进行融合；步骤5：通过目标检测网络分支进行缺陷预测；通过目标检测网络分支对步骤4获得的融合后的特征图进行缺陷预测，由于只预测是否存在缺陷，所以目标检测网络分支的目标预测类别为1。步骤1：对图像进行预处理；具体步骤如下：1).将测试图像和模版图像进行特征匹配，使两张图像的区域相对应；2).对匹配后的图像进行裁剪，使得每张图像大小为512×512；3).把图像分成训练集和测试集；5).对图像进行像素归一化，把像素从[0，255]转化为[0，1]。步骤3具体操作如下：通过目标检测网络分支对输入的训练集中的测试图像进行特征提取，输出大小为64×64×256、大小为32×32×770和大小为16×16×1026的特征图；将测试图像和模版图像输入光流预测网络分支中；通过FlownetC网络的前三层卷积块对测试图像和模版图像进行下采样，提取它们的特征信息；通过FlownetC网络的卷积关联模块对提取出的测试图像信息和模版图像信息进行特征关联，其数学表达为：其中f1和f2分别表示测试图像和模版图像中参与关联的图像区域，x1和x2表示f1和f2的中心坐标；对关联后得到的特征图进行上采样和下采样，下采样的特征图和上采样生成的特征图进行组合生成新的特征图和光流信息，在光流预测网络分支中生成三种不同尺度的光流和特征图的组合信息：大小为64×64×386的sacle1，大小为32×32×770的scale2和大小为16×16×1026的scale3。步骤4具体步骤如下：1)在光流预测网络中选取scale1与目标检测网络分支中生成的64×64×256大小的特征图通过合并操作融合形成新的特征图，同时通过目标检测网络分支中的卷积块下采样生成32×32×512大小的特征图；2)光流预测网络中的scale2与目标检测网络分支中生成的大小为32×32×512的特征图合并融合形成新的特征图，同时通过目标检测网络分支下采样生成16×16×1024大小的特征图；3)光流预测网络中的scale3与目标检测网络分支中生成的大小为16×16×1024的特征图合并融合形成新的特征图，并通过卷积生成新的特征图，大小为16×16×1024。步骤5具体步骤如下：1)为了充分利用目标检测网络分支中提取的特征信息，在目标预测过程中依旧采用特征金字塔结构；2)对目标检测分子本文档来自技高网...

【技术保护点】
1.基于区域关联神经网络的工业产品表面缺陷检测方法，其特征在于，步骤如下：/n步骤1：对图像进行预处理；/n步骤2：构建区域关联神经网络；/n所述的区域关联神经网络包括目标检测网络分支和光流预测网络分支：/n所述的目标检测网络分支采用YOLO v3，通过YOLO v3中的Darknet53网络结构对输入图像进行特征提取；/n所述的光流预测网络分支采用FlowNetC光流预测网络，进行特征提取和特征关联；/n步骤3：将训练集中的图像进行随机反转，输入区域关联神经网络中进行特征提取；/n步骤4：对目标检测网络分支和光流预测网络分支的特征信息进行融合；/n步骤5：通过目标检测网络分支进行缺陷预测；/n通过目标检测网络分支对步骤4获得的融合后的特征图进行缺陷预测，由于只预测是否存在缺陷，所以目标检测网络分支的目标预测类别为1。/n

【技术特征摘要】
1.基于区域关联神经网络的工业产品表面缺陷检测方法，其特征在于，步骤如下：
步骤1：对图像进行预处理；
步骤2：构建区域关联神经网络；
所述的区域关联神经网络包括目标检测网络分支和光流预测网络分支：
所述的目标检测网络分支采用YOLOv3，通过YOLOv3中的Darknet53网络结构对输入图像进行特征提取；
所述的光流预测网络分支采用FlowNetC光流预测网络，进行特征提取和特征关联；
步骤3：将训练集中的图像进行随机反转，输入区域关联神经网络中进行特征提取；
步骤4：对目标检测网络分支和光流预测网络分支的特征信息进行融合；
步骤5：通过目标检测网络分支进行缺陷预测；
通过目标检测网络分支对步骤4获得的融合后的特征图进行缺陷预测，由于只预测是否存在缺陷，所以目标检测网络分支的目标预测类别为1。


2.根据权利要求1所述的基于区域关联神经网络的工业产品表面缺陷检测方法，其特征在于，步骤1具体步骤如下：
1).将测试图像和模版图像进行特征匹配，使两张图像的区域相对应；
2).对匹配后的图像进行裁剪，使得每张图像大小为512×512；
3).把图像分成训练集和测试集；
5).对图像进行像素归一化，把像素从[0，255]转化为[0，1]。


3.根据权利要求2所述的基于区域关联神经网络的工业产品表面缺陷检测方法，其特征在于，步骤3具体操作如下：
通过目标检测网络分支对输入的训练集中的测试图像进行特征提取，输出大小为64×64×256、大小为32×32×770和大小为16×16×1026的特征图；
将测试图像和模版图像输入光流预测网络分支中；通过FlownetC网络的前三层卷积块对测试图像和模版图像进行下采样，提取它们的特征信息；
通过FlownetC网络的卷积关联模块对提取出的测试图像信息和模版图像信息进行特征关联，其数学表达为：



其中f1和f2分别表示测试图像和模版图像中参与关联的图像...

【专利技术属性】
技术研发人员：颜成钢，白俊杰，龚镖，孙垚棋，张继勇，张勇东，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33