基于孪生神经网络利用模板比对的缺陷检测系统及方法技术方案

本发明专利技术提供了一种基于孪生神经网络利用模板比对的缺陷检测系统及方法，采用深度学习的检测方案，利用孪生神经网络，通过少量数据与先验知识在短时间内训练出优于人工检测漏检率的神经网络模型，所述模型为已训练完成基于孪生神经网络的深度学习模型，通过将待检产品图像与模板图像输入已训练网络得到缺陷的检测结果。本发明专利技术能够解决工业中有模板图像、少数据集、多目标类别的检测任务，同时网络亦可实现传统分类网络的功能，实现高精度的质量检测，有效满足带有模板图像的产品生产中对于视检缺陷的自动化检测的要求。

Defect detection system and method based on twin neural network and template comparison

【技术实现步骤摘要】
基于孪生神经网络利用模板比对的缺陷检测系统及方法
本专利技术涉及计算机视觉、深度学习
，具体地，涉及一种基于孪生神经网络利用模板比对的缺陷检测系统及方法。
技术介绍
工业生产中，几乎所有产品都需要进行质检，其中一大部分的质检过程是由质检员用肉眼视觉完成对产品缺陷的检测(以下称为视检)，尤其是一些表面缺陷，比如装饰板材、金属表面、键盘表面等，这种情况在实际工业中十分常见。由于产品的多样性、缺陷的多样性，比如装饰板材的缺陷即有划痕、污点、斑块、磨损、碎屑等，大大增加了质检员的工作量和工作难度，导致人工视检效率下降且容易由于质检员的疲劳和失误导致漏检、错检等情况，提高生产线的时间成本并可能影响到上市产品的质量。企业往往需要培养专门的质检员，检测环节也大大提高了企业的人力成本。故对于采取人工视检的产品，应用计算机视觉技术和深度学习技术进行图像的采集与处理，采用自动化检测系统及方法进行检测是行之有效，降本增效、控制漏检率的方法。早期的自动化检测方法倾向于根据缺陷的类型提取特定的手工图像特征，采用数字图像处理方法如阈值分割、椭圆Gabor滤波本文档来自技高网...

【技术保护点】
1.一种基于孪生神经网络利用模板比对的缺陷检测方法，其特征在于，包括：/n步骤A：采集真实的待测产品，形成真实图像样本，采集实际的合格产品，形成合格图像样本；/n步骤B：判定真实图像样本是否需要数据增强，对需要进行数据增强的真实图像样本，利用数据增强技术生成第一图像样本，对不需要进行数据增强的真实图像样本记为第二图像样本，对第一图像样本与第二图像样本分别进行人工标注后记为缺陷图像样本；/n步骤C：利用图像处理，对每张缺陷图像样本与合格图像样本形成的标准模板进行匹配，找出每张缺陷图片所对应的标准模板，形成“缺陷—模板”为一组的数据集；/n步骤D：将基于孪生神经网络的模型，在标注后的缺陷图像样本上...

【技术特征摘要】
1.一种基于孪生神经网络利用模板比对的缺陷检测方法，其特征在于，包括：
步骤A：采集真实的待测产品，形成真实图像样本，采集实际的合格产品，形成合格图像样本；
步骤B：判定真实图像样本是否需要数据增强，对需要进行数据增强的真实图像样本，利用数据增强技术生成第一图像样本，对不需要进行数据增强的真实图像样本记为第二图像样本，对第一图像样本与第二图像样本分别进行人工标注后记为缺陷图像样本；
步骤C：利用图像处理，对每张缺陷图像样本与合格图像样本形成的标准模板进行匹配，找出每张缺陷图片所对应的标准模板，形成“缺陷—模板”为一组的数据集；
步骤D：将基于孪生神经网络的模型，在标注后的缺陷图像样本上进行训练，生成已训练的预测模型，根据验证集的准确率的高低选取最合适的模型；
步骤E：实时获取待测产品的图像，在上位计算机内的，利用已训练的预测模型检测图像，分析出待测产品是否存在加工缺陷，判断缺陷类别，得到缺陷的推断结果。


2.根据权利要求1所述的基于孪生神经网络利用模板比对的缺陷检测方法，其特征在于，所述步骤D包括：
步骤S1：对已有数据集进行划分，分为训练集、验证集和测试集，其中训练集用以训练网络，验证集用以调整选择网络参数，测试集用以确定模型的性能；
步骤S2：每一张数据集中的缺陷图像样本均有一个合格样本的模板图像，将该两个图像作为一组输入，分别输入到两个预训练的ResNet神经网络，提取图像的特征信息，其中两个ResNet神经网络共享权重；
步骤S3：得到两个特征向量后，使用拼接函数完成特征向量的拼接，作为单输入进入后方的全连接层；
步骤S4：拼接后的特征向量进入3层全连接层，所述全连接层的最后一层的输出通道数为需要进行分类的标签的数量；
步骤S5：训练中的loss函数的定义是基于交叉熵，进行整个网络的训练。


3.根据权利要求1所述的基于孪生神经网络利用模板比对的缺陷检测方法，其特征在于，所述数据集中人工标注后，同一类真实图像样本的文件名中具有相同且唯一的字符串序列，通过检索可匹配到待测图像的模板文件。


4.根据权利要求1所述的基于孪生神经网络利用模板比对的缺陷检测方法，其特征在于，所述基于交叉熵是用以衡量两个输入图像即真实图像与模板图像的特征向量中语义信息的差别，其计算过程如下：






其中，yi为第i个特征向量中语义信息的差别；
xi为特征向量第i个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵；
Hy′(y)为交叉熵；
yi＇为理想结果，即正确标签向量。


5.根据权利要求1所述的基于孪生神经网络利用模板比对的缺陷检测方法，其特征在于，检测过程中输入待测图片，即可得出缺陷类别，所述缺陷类别根据n类缺陷标签以及“无缺陷”，共n+1类标签进行分类。


6.一...

【专利技术属性】
技术研发人员：乐心怡，张昊东，余一宽，徐嘉文，孔泽隆，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31