工业图像检测方法、系统与计算机可读记录介质技术方案

本发明专利技术提供一种工业图像检测方法、系统与计算机可读记录介质，包括：得到一待测图像的一待测隐向量；测量一正常图像的一训练隐向量与该待测图像的该待测隐向量之间的一距离；以及根据该正常图像的该训练隐向量与该待测图像的该待测隐向量之间的该距离，判断该待测图像是正常或瑕疵。

Industrial image detection method, system and computer readable recording medium

【技术实现步骤摘要】
工业图像检测方法、系统与计算机可读记录介质
本专利技术涉及一种工业图像检测方法、系统与计算机可读记录介质，且特别涉及一种基于生成式对抗网络的非监督式工业图像检测方法、系统与计算机可读记录介质。
技术介绍
随着工业自动化以及产品日新月异，所需检测的产品数量也越趋庞大。自动光学检测(AutomatedOpticalInspection，AOI)系统运用机器视觉做为检测技术，可用于取代传统的人力检测。在工业工艺中，自动光学检测可取得成品的表面状态，再以计算机图像处理技术来检出异物或图案异常等瑕疵。经过自动光学检测机台的自动检测后，可能仍需由检测人员做人工复判工作，使得所需检测人员数量以及事先的人员训练工作也越趋频繁。再者，工业图像的瑕疵通常都需要人为做标注(labeling)分类。但瑕疵变化小且难发掘，造成标注的良率会有所变异。近年来人工智能兴起，卷积式类神经网络(CNN)能够有效的应用在图像上做分类，但仍需要事先标注瑕疵的类别，使得训练过程越加冗长。故而，如何使工业图像检测流程更有效率乃是业界努力方向之一。
技术实现思路
根据本申请一实施例，提出一种工业图像检测方法，包括：得到一待测图像的一待测隐向量；测量一正常图像的一训练隐向量与该待测图像的该待测隐向量之间的一距离；以及根据该正常图像的该训练隐向量与该待测图像的该待测隐向量之间的该距离，判断该待测图像是正常或瑕疵。根据本申请另一实施例，提出一种工业图像检测系统，包括：一自动光学检查设备，对多个样本进行自动光学检查；以及一图像检测模块，耦接于该自动光学检查设备。该图像检测模块架构成用以：得到由该自动光学检查设备所输出的一待测图像的一待测隐向量；测量一正常图像的一训练隐向量与该待测图像的该待测隐向量之间的一距离；以及根据该正常图像的该训练隐向量与该待测图像的该待测隐向量之间的该距离，判断该待测图像是正常或瑕疵。根据本申请又一实施例，提出一种计算机可读记录介质，当由一工业图像检测系统载入并执行时，可以执行如上所述的工业图像检测方法为了对本专利技术的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：附图说明图1显示根据本申请实施例的工业图像检测系统的功能方块示意图。图2显示根据本申请一实施例的图像检测模块的图像检测流程。图3显示根据本申请一实施例的训练阶段的流程图。图4显示根据本申请一实施例的测试阶段的流程图。【符号说明】100：工业图像检测系统120：自动光学检查设备150：图像检测模块170：分类装置210-250、305-345、405-450：步骤具体实施方式本说明书的技术用语系参照本
的习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语的解释以本说明书的说明或定义为准。本公开的各个实施例分别具有一或多个技术特征。在可能实施的前提下，本领域技术人员可选择性地实施任一实施例中部分或全部的技术特征，或者选择性地将这些实施例中部分或全部的技术特征加以组合。图1显示根据本申请实施例的工业图像检测系统的功能方块示意图。在图1中，工业图像检测系统100包括：自动光学检查(AutomatedOpticalInspection，AOI)设备120与图像检测模块150。经过图像检测模块150的检测/分类结果可送至分类装置170，进行分类。自动光学检查设备120例如包括：AOI图像处理软件，AOI传感器系统、AOI检测机台等物件。自动光学检查设备120的架构在本申请实施例中可不特别限定。自动光学检查设备120可对多个样本进行自动光学检查。图像检测模块150可耦接于自动光学检查设备120，进行瑕疵误杀复判的功能。图像检测模块150可执行GAN(生成式对抗网络，GenerativeAdversarialNetwork)的相关功能。图像检测模块150可由处理器等类似装置所实施。分类装置170例如用以将分类后的各样本送至各自的分类区，以进行后续的样本工艺使用、样本瑕疵修补，或样本废弃处理等。分类装置170例如包括：气压缸、输送带、悬臂机构、机器手臂、载台等物件的任意组合。分类装置170的架构在本申请实施例中可不特别限定。此外，虽然在图1中，图像检测模块150接续于自动光学检查设备120之后，但在本申请其他实施例中，图像检测模块也可不接续于自动光学检查设备之后，亦即图像检测模块可以独立自行进行瑕疵检测，此亦在本申请精神范围内。图2显示根据本申请一实施例的图像检测模块的图像检测流程。如图2所示，在步骤210中，利用正常图像来训练GAN(亦即，训练图1中的图像检测模块150的生成器)，其中，“正常图像”是指先前检测结果所得到的正常图像(亦即，经机器或人工检测后，所得到的成功的正常图像)。在步骤220中，判断GAN(或生成器)是否已训练成功。如果否的话，则回到步骤210再次训练GAN(或生成器)(例如，利用更多的正常图像来训练GAN(或生成器))。在步骤230中，得到正常图像的隐向量(也可称为训练隐向量)，其细节将在底下说明。在步骤240中，得到待测图像的隐向量(也可称为待测隐向量)，其细节将在底下说明，其中，“待测图像”是指将检测线上或自动光学检查设备120检测后的图像。在步骤250中，比较正常图像的训练隐向量与待测图像的待测隐向量，以判断待测图像是正常或瑕疵。步骤250例如是，测量正常图像的训练隐向量与待测图像的待测隐向量间的距离，如果该距离小于一阈值的话，则代表待测图像是正常，反之则代表待测图像是瑕疵。现请参考图3，其显示根据本申请一实施例的训练阶段的流程图。在步骤305中，在设定好的隐空间内初始化隐向量(latentvector)。例如是，随机由单位圆(其为自设，可以根据需要而更改)内，用高斯分布产生隐向量。在步骤310中，将隐向量(或称为训练隐向量)输入至图像检测模块150的生成器(generator)。在步骤315中，图像检测模块150的生成器根据隐向量来产生相对应的生成图像。生成器是为了让生成图像越接近正常图像。在本申请实施例中，在步骤320中，正常图像和生成图像一起输入至图像检测模块150的判别器。在步骤325中，由判别器比较正常图像和生成图像，并决定判别器是否能分别出正常图像和生成图像。步骤325的细节例如是，判别器在比较正常图像与生成图像之后，判别器产生预测标注(predictedlabel)。如果判别器判定生成图像接近正常图像，判别器所产生的预测标注为正常(real)；相反地，如果判别器判定生成图像不接近正常图像，判别器所产生的预测标注为失败(fail)。由判别器所产生的预测标注会比较于参考标准标注(groundtruthlabel)，参考标准标注的值为正常与失败之一。如果判别器所产生的预测标注匹配于参考标准标注，则代表此次的判别器的比较结果为正确。相反地，如果判别器所产生的预测标注不匹配于参考标准标注，则代表此次的判别器的比本文档来自技高网...

【技术保护点】
1.一种工业图像检测方法，包括：/n得到待测图像的待测隐向量；/n测量正常图像的训练隐向量与该待测图像的该待测隐向量之间的距离；以及/n根据该正常图像的该训练隐向量与该待测图像的该待测隐向量之间的该距离，判断该待测图像是正常或瑕疵。/n

【技术特征摘要】
20181002 TW 107134854;20180608 US 62/682,2531.一种工业图像检测方法，包括：
得到待测图像的待测隐向量；
测量正常图像的训练隐向量与该待测图像的该待测隐向量之间的距离；以及
根据该正常图像的该训练隐向量与该待测图像的该待测隐向量之间的该距离，判断该待测图像是正常或瑕疵。


2.如权利要求1所述的工业图像检测方法，其中，得到该待测图像的该待测隐向量的该步骤包括：
初始化该待测图像的该待测隐向量；
将该待测图像的该待测隐向量输入至生成器，以让该生成器生成一生成图像；
比较该生成图像与该待测图像之间的像素值差异；
利用该生成图像与该待测图像之间的该像素值差异来计算损失函数，并更新该待测图像的该待测隐向量；
如果判断尚未产生最佳化的该待测图像的该待测隐向量，将更新后的该待测图像的该待测隐向量输入至该生成器，以让该生成器再次生成该生成图像；以及
如果判断已产生最佳化的该待测图像的该待测隐向量，则记录最佳化的该待测图像的该待测隐向量、该待测隐向量的平均值与差异值。


3.如权利要求2所述的工业图像检测方法，其中，在初始化该待测图像的该待测隐向量时，随机由单位圆内，用高斯分布产生该待测图像的该待测隐向量。


4.如权利要求2所述的工业图像检测方法，其中，测量该正常图像的该训练隐向量与该待测图像的该待测隐向量之间的该距离的该步骤包括：根据该待测隐向量的该平均值与该差异值，以及该训练隐向量的平均值与差异值，来测量该正常图像的该训练隐向量与最佳化的该待测图像的该待测隐向量之间的该距离。


5.如权利要求2所述的工业图像检测方法，其中，当该正常图像的该训练隐向量与该待测图像的该待测隐向量之间的该距离小于阈值的话，判断该待测图像是正常，反之则判断该待测图像是瑕疵。


6.如权利要求1所述的工业图像检测方法，还包括：
在训练阶段：
初始化该正常图像的该训练隐向量；
将该正常图像的该训练隐向量输入至生成器，以让该生成器来生成该生成图像；
将该正常图像和该生成图像一起输入至判别器；
由该判别器比较该正常图像和该生成图像，并决定该判别器是否能分别出该正常图像和该生成图像；
根据标注差异来计算损失函数，并更新该生成器、该判别器与该正常图像的该训练隐向量；
如果该生成器能生成预期成果，记录该生成器的模型与参数，以及该正常图像的该训练隐向量，以及该训练隐向量的平均值与差异值；以及
如果该生成器不能生成该预期成果，将该训练隐向量用模限制投影回单位圆，并将所得到的该训练隐向量输入至该生成器，以继续训练该生成器。


7.一种工业图像检测系统，包括：
自动光学检查设备，对多个样...

【专利技术属性】
技术研发人员：赖昱廷，胡竹生，蔡雅惠，张耿豪，
申请(专利权)人：财团法人工业技术研究院，
类型：发明
国别省市：中国台湾;71